大脑的多感官整合（Multisensory Integration）是一个将不同模态感官信息进行结合的过程，它对于许多生物完成决策、记忆和学习等任务至关重要。例如，大黄蜂可同时利用视觉和触觉信息识别物体，星鼻鼹鼠在无光的地下环境中可使用触觉-嗅觉协同感知的方式对周围环境进行探索。

多感官整合机制依赖高度并行且异步触发的神经元和突触网络。为了实现神经元和突触的基本功能，以人工突触（Artificial Synapse）为代表的神经形态器件获得了广泛关注与研究。然而，与大脑多感官整合机制相关的高级功能尚未在神经形态器件和系统中得到开发与验证。此外，如何从硬件层面在神经形态器件中实现认知智能与类脑智能也是亟待解决的难题。

近日，南开大学电子信息与光学工程学院徐文涛教授团队（蒋程鹏博士为第一作者）在 Nature 子刊 Nature Communications 上发表了题为：Mammalian-brain-inspired neuromorphic motion-cognition nerve achieves crossmodal perceptual enhancement 的研究论文。

该研究利用柔性人工突触器件，开发了一种神经形态运动感知系统，在硬件层面成功实现了大脑的多感官整合功能，并获得了卓越的运动感知性能。

猕猴的自主运动会在内耳前庭和视网膜中激发惯性信号和光流信号等运动信息，大脑皮层的特定区域对编码为尖峰脉冲的运动信息进行处理识别后，最终通过整合不同感官模态的信息实现空间感知。

在神经形态运动感知系统中，加速度计和陀螺仪分别获取加速度和角速度信号，这两种运动信号被编码为两个脉冲序列，随后传输至高性能突触晶体管进行处理。两个脉冲序列的相关性和时序关系影响器件的突触可塑性，从而影响器件输出。通过对脉冲平均发放率和突触器件输出电流进行判定，实现运动信号的分类识别。

该神经形态运动感知系统的设计受启发于猕猴的多感官整合与空间感知机制，a：哺乳动物具有的视觉神经/前庭神经跨模态运动感官系统；b：基于柔性突触晶体管的神经形态运动感知系统。

进一步，利用光流传感器、振动触觉传感器、惯性传感器构建传感单元，该系统可检测视觉、触觉、加速度觉多个模态的传感信息。对来自不同类型传感器的信息进行有效整合，可显着提升运动识别的准确率（高于94%），并且实验结果符合大脑的感知增强效应。此外，得益于可穿戴、高集成、低功耗的特点，该系统可进一步贴附于人体皮肤或装载于小型无人机，完成人体动作识别、无人机飞行模式识别等复杂任务。

从本质上讲，该系统模拟了哺乳动物大脑中感官线索整合的过程，并结合传感信号的脉冲编码策略、突触器件的脉冲整合特性、突触电流信号的时空识别方法实现了类脑水平的运动感知功能。该工作将神经形态认知智能与大脑多模态感知机制相结合，对于类脑器件、仿生电子的开发具有重要的指导意义，可潜在应用于移动机器人、智能可穿戴设备、人机交互等领域。

南开大学电子信息与光学工程学院徐文涛教授我论文通讯作者，蒋程鹏博士为论文第一作者，该研究工作以南开大学为第一完成单位，并获得了国家杰出青年科学基金、科技部重点研发计划、天津市杰出青年基金、国家青年科学基金等资助。

原始出处：

Jiang， C.， Liu， J.， Ni， Y. et al. Mammalian-brain-inspired neuromorphic motion-cognition nerve achieves cross-modal perceptual enhancement. Nat Commun 14， 1344 (2023). https：//doi.org/10.1038/s41467-023-36935-w