科研进展丨多模态神经形态器件与集成
在物联网技术蓬勃发展的驱动下，智能传感环境正变得日益复杂，这对具备实时、低功耗多感官感知能力的神经形态系统提出了迫切需求。传统感官架构因受限于单模态处理模式和集中式计算范式，难以适应多样化、动态化的输入条件要求。而多感觉神经形态装置通过模拟生物系统的分布式、事件驱动处理机制，展现出极具潜力的解决方案。不过，多感觉神经形态装置在信号转换效率、编码兼容性以及融合异构输入时不丢失感官信息等方面仍面临挑战。这些局限性进一步凸显出深入探究多模态神经形态系统所涉及的物理机制与融合原理的必要性。
近日，松山湖材料实验室新型光电功能材料与器件团队林生晃研究员与湖南大学杨蓉教授合作，以“Multisensory Neuromorphic Devices: From Physics to Integration”为题发表相关综述性论文（Nano-Micro Lett. (2026) 18: 113），深入梳理了多模态神经形态器件背后的复杂物理机制。这些机制在感知各种输入信号时的工作原理得到了系统性的阐明。还对它们在多模态感知中的实现策略进行了全面分析，并将多感官神经形态器件分为三个架构类别。针对每个类别，探讨了各种多感官融合方法和信号处理技术，旨在有效地处理多感官刺激并构建高效的神经形态感知系统。文章最后对多模态感知系统当前面临的挑战进行了全面总结，并对未来的发展方向提出了前瞻性的展望。
一、多感觉神经形态装置融合框架分类
图1.多感觉神经形态装置示意图
多模态神经形态器件可同步感知电、光、压力、声音、气体、湿度、温度及化学等多种信号。基于核心原理、硬件配置与场景适配性的差异，研究团队创新性地将此类器件分为三大架构体系：单忆阻器型、单传感器+单忆阻器融合型，以及多传感器+单忆阻器融合型。其中，多传感器+单忆阻器架构采用高性能离散传感器阵列精准捕捉各模态信号，实现高精度、宽频带的信号采集，忆阻器仅需处理预编码后的信号，大幅降低设计复杂度。单传感器+单忆阻器架构通过硬件整合显著减少冗余组件，消除多传感器同步难题，同时提升抗噪性能与系统稳定性。而单忆阻器架构则将传感与计算功能深度集成于均匀忆阻元件中，实现硬件复杂度最小化，且全程无信号转换损耗，从而达成低延迟操作与超低功耗运行。
二、不同电阻切换机制对多模态信号的响应
图2. 神经形态装置对多模态输入刺激的物理机制映射
在多模态神经形态器件中，不同输入刺激引发的突触可塑性变化会直接影响系统构建效果。这类器件通过模拟生物突触特性，利用导电丝、离子迁移、电荷捕获、电化学掺杂、相变、铁电效应等多种电阻切换机制实现功能。这些机制的具体实现方式由材料选择和器件结构设计决定。要构建高效器件，必须明确哪些突触机制更利于多感官整合，并厘清多感官信号融合的底层机制与原理。其中，电荷捕获机制在六类主流电阻切换机制中表现最突出的多模态检测能力，这源于陷阱态对光、电、热等多种外部刺激的天然敏感特性。不同于受限于特定材料相态、离子种类或晶格对称性的其他机制，这种敏感性广泛存在于缺陷半导体与绝缘体的界面或材料本体区域，为多模态信息协同处理提供了普适性物理基础。
图3 电荷捕获型突触器件处理多模态刺激。(a) 通过缺陷捕获实现的电阻切换机制。(b) 包含压力/温度输入的人工多模态系统示意图。(c) 用于检测 NO2 的有机异质结构感觉突触。(d) 光电突触实验装置。(e) 采用h-BN/WSe2材料的启发式生物光电子神经系统。(f) 采用忆阻器电路的蝴蝶启发式视觉化学神经元平台。(g) 处理光学/压力/声音刺激并进行神经信息传输的生物感觉器官。
在上述六种电阻切换机制中，基于电荷捕获机制的神经形态器件可以感知最多种类的信号，如光、电、温度、化学、压力、气体和语音信号。多模态神经形态器件借助缺陷捕获机制实现多模态感知，其核心在于缺陷类型的多样性及特定模式间的相互作用。以空位缺陷为例（如二硫化钼中的硫空位），通过调控光生载流子动力学，可主导光学与电子信号的检测过程。尤为关键的是，缺陷的空间分布特征与动态响应特性进一步强化了器件功能。这些缺陷常形成相互连通的导电网络（如忆阻器中的导电细丝），外部信号会以差异化方式调节局部路径的连通性，从而产生不同的响应特性。基于电荷捕获机制的神经形态器件，其感知能力从单模态向多模态的演进，本质上根植于缺陷耦合与动态演化过程。此外，缺陷分布可在外部场调控下发生动态演化，从而实现器件功能的重构，使其自适应于多模态感知与开关需求。
三、结论与展望
本文系统梳理了神经形态硬件中多模态信号处理涉及的核心物理机制、器件特性与系统集成方案，重点阐述了多模态信息融合的实现路径，包括信号整合方法与跨模态刺激的协同处理策略。同时，将现有多模态神经形态器件归纳为三类主要架构，并逐一剖析其优势与局限，从而为构建高性能神经形态系统提供理论依据与实践指引。
多模态神经形态感知系统的未来发展，将围绕硬件创新、算法融合与场景突破三大方向展开。一方面，通过仿生硬件与异构集成技术的进步，实现多模态传感器与神经形态器件在结构与功能上的深度融合，从而更精准地模拟生物系统的并行处理机制。另一方面，随着光电化学多场耦合器件、通感协同设计框架及情境自适应算法的持续成熟，系统的环境适应性能与能源效率将得到显著提升。相关进展有望广泛应用于机器人、自动驾驶、医疗电子等领域，最终推动“感知-决策-行动”闭环向更高程度的自主化与智能化演进。
本文中，桂安（联培博士生）为第一作者，松山湖材料实验室林生晃研究员、沐浩然副研究员（现为中山大学副教授）以及湖南大学杨蓉教授为论文共同通讯作者。该工作得到了松山湖材料实验室开放研究基金（2023SLABFK09）、国家自然科学基金（92477102、62122084）、国家重点研发计划（2022YFB4400100）的重点支持。
文章链接：
https://link.springer.com/article/10.1007/s40820-025-01940-9