​多模态物理信息感知与描述！北航团队AFM发布软体机器人智能感知系统最新进展...

来源：机器人大讲堂

机器人瓦力、机器人大白，都有一双令人记忆深刻的眼睛(●—●)——提到机器人感知环境，人们总能想到他们的眼睛。但是一个物品的材质、粗糙度，是眼睛无法看到的信息。

如何区分一个以假乱真的苹果模型和真实的苹果？如何感知一张桌布的丝滑程度？当视觉无法感知这些信息，我们便需要机器人通过触觉来感知环境——开发一个能够多模态感知和描述物体的机器人，对帮助机器人与环境交互有十分重要的作用。

在人类感知世界的过程中，皮肤的多模态感知为我们感受真实的物理世界提供了重要的工具。正如人们用手指触摸未知的物品，当具有多模态感知能力的机器人手摩擦未知物品时，机器人便能感知到物品的粗糙度；当机器人手隔空拂过位置物品时，它甚至能像X射线和3D扫描仪那样感知到物品的材质和形状。因此，能够感知环境的多模态传感与擅长交互的软体机器人的结合必然能擦出火花。

最新一期《先进功能材料》（Advanced Functional Materials）报道了北京航空航天大学仿生软体机器人实验室在柔性传感器与软体机器人感知领域的最新研究。

该项工作开发了一套智能软体机器人系统，该系统能够对物体的物理特性进行感知、描述和分类，可协助机器人解释物理世界、与物理世界进行交互，为人工智能与世界的交互提供了可能的接口。

智能软体机器人系统根据物体的物理特性对其进行感知、描述和分类。

▍当前研究面临的问题

软体机器人具有与生俱来的安全无损特性，在各种实际应用中逐步展现出独特的优势。基于压电、压阻、电容、摩擦电、和巨磁弹性效应开发的大量柔性传感器，能够赋予软体机器人感知能力，但它们的单一识别模态无法满足机器人全方面智能的要求。软体机器人，特别是软体机器人手，需要类似于人类手部的多模态信息感知和描述能力。为了扩大软体机器人的实际应用范围，开发高性能多模态柔性传感器和集成机器学习的智能软体机器人系统势在必行。

迄今为止，人们已经为开发多模态柔性传感器做出了许多努力，然而在分离和解耦各种刺激类型的信号方面仍存在挑战。虽然研究人员一直致力于开发具有多模态柔性传感器的智能机器人以感知各种环境信息，然而，目前的智能机器手缺乏全面的多模态信息感知，尤其是对表面物理特性的描述能力。这些局限性为软体机器手进一步感知多模态环境信息和执行精细操作任务造成了阻碍。

▍结构简单的双模态自供电柔性传感器

研究团队研发了一种基于摩擦纳米发电机和巨磁效应的双模态自供电柔性传感器（BSFS）。BSFS结构简单，由磁弹性导电薄膜和封装的液态金属线圈组成，可以在10毫秒的响应时间内精确检测和解耦接触和非接触双模态信号。

研究团队在硅胶材料中掺入微磁体和碳纳米管，制备具有多孔结构的磁弹性导电薄膜。随后，使用磁化仪对磁弹性导电薄膜进行磁化，使微磁体重新定向，然后印刷并用硅胶封装液态线圈。所有组件都是由柔性材料制成的，因此BSFS整体结构柔软可变形。磁弹性导电薄膜还表现出显著的磁弹性。

双模态自供电柔性传感器（BSFS）的结构和工作机制。a）BSFS由两层功能性柔性薄膜、磁弹性导电薄膜和带封装薄膜的液态金属线圈组成。b）磁弹性导电薄膜横截面的扫描电子显微镜图像。c）BSFS在弯曲状态下的照片。d）软磁弹性导电薄膜的磁滞回线。初始状态e）和压缩状态f）下软磁弹性薄膜的磁通密度热力图。g）BSFS 的工作机制：(i) 由于摩擦电效应，外部物体（浅蓝色）在多次接触后获得负电荷。(ii) 当外部物体接近磁弹性导电薄膜（金色层）时，由于静电感应效应，薄膜与地面之间的电势发生变化。自由电子在电势的驱动下从磁弹性导电薄膜流向地面。(iii) 由于外部物体的接触作用于磁弹性导电薄膜，BSFS开始变形，进一步促进了自由电子从磁弹性导电薄膜流向地面。同时，液态金属线圈（灰色）根据电磁感应原理产生电流。(iv) 当外部物体与BSFS完成接触时，自由电子停止运动。(v) 当外部压力释放时，自由电子从地面流回磁弹性导电薄膜。同时，液态金属线圈中产生反向电流。(vi) 当外部物体离开BSFS表面时，电子流回磁弹性导电薄膜。

研究团队搭建了测试平台对传感器的输出信号进行测试，证明了BSFS能够将非接触信号与接触信号解耦，并展示了BSFS感知压力的能力。

此外，不同材料的外部物体具有不同的电子亲和性，会影响摩擦电和静电感应，从而改变BSFS的无接触输出信号。而根据电磁感应原理，接触信号不会受到材料特性的影响。

快速的动态响应能力使BSFS能够检测到更全面的信息，拓宽了其潜在的应用场景。由于采用了主动感应原理，非接触信号的动态响应时间可以忽略不计，而接触信号的动态响应时间则小于10毫秒。BSFS对非接触信号和接触信号分别表现出37.4和37.2 dB的超高信噪比，同时具有出色的耐用性和稳定性。

a) 外部物体与BSFS之间的距离对非接触（红色）和接触（蓝色）输出信号的影响。b) 非接触和接触信号与作用在 BSFS 上的压力的函数关系。c) 不同材质的物体的非接触和接触输出信号。d) 快速接触刺激下的 BSFS 输出信号。e) d) 部分虚线方框所示区。f) 1000次重复刺激证明传感器的稳定性和耐用性。g)、h)部分显示网球落到BSFS上时的图像和输出信号。左侧发光二极管（LED）被编程为在接触信号超过阈值时开启；右侧发光二极管在非接触信号超过阈值时开启。

▍能够感知和描述物体的智能机器人系统

通过将BSFS集成到软体手指中，研究团队开发了具有多模态感知能力的仿人软体手，其中非接触信号可感知有关物体形状和材质的信息，而接触信号则可感知有关表面粗糙度的信息。这种抓手模仿了人手的灵巧性，能够感知和操纵各种物体。研究团队将软体手安装在机械臂上，机械臂控制软体手对物体进行非接触及接触扫描，并收集BSFS的信号输出。然后通过使用获取的数据训练CNN模型，在线测试达到了99%的准确率。

带有BSFS的软体机器手可以识别不同物体的材质和粗糙度。a) 由气动软体手指和BSFS层组成的软体机器手实物图。b) 以BSFS为底面的软体气动手指结构图。c) 软体气动手指的工作原理图。d) 感应信号波形对应5种不同材质。e) 识别材质的混淆矩阵，总准确率达99%。g) 感应信号波形对应6种不同的粗糙度。h) 识别粗糙度的混淆矩阵，总准确率为97%。

研究团队将CNN集成到智能软体手系统中。该模型能够精确地感知和描述物体的特征信息。此外，软体手还能根据多模态传感器的识别结果进行变形和抓取。

通过对材质、形状和表面粗糙度方面各不相同的27种物品采集原始数据训练，该系统的识别准确率达到了97%。此外研究团队还展示了智能软体手系统在根据物体的物理特性感知、描述和分类物体方面的卓越能力。该系统可以通过屏幕显示和扬声器传输的自然语言信息，简明扼要地描述物体的特征，包括形状、材质和粗糙度。此外，该系统的交互界面还有助于用户与智能系统之间进行无缝的问答交流。例如，系统可以回答用户有关物体属性的询问，并根据用户的要求有效地将物体分类到特定的盒子中。

智能软体手系统 智能软体手系统用语言描述物体的物理特性（材质、形状和粗糙度）。a) 智能软体手根据物体的物理特性对其进行感知、描述和分类的流程图。b) 27个不同材质、形状和粗糙度的物体的照片。c) 系统对540组数据识别结果的混淆矩阵，总准确率为97%。d) 智能软体手系统的交互过程。智能软体手系统能够简明扼要地感知和描述物体的各种特征，并以一句话的形式将信息显示在屏幕上并通过扬声器传输。利用交互式界面，智能系统可以有效地回答用户的询问，并根据键盘输入的指令准确地将物体分类到所要求的特定盒子中。

▍项目作者及团队信息

该论文第一作者为北京航空航天大学机械工程及自动化学院博士生研究生刘文博，朵有宁、陈星雨为共同第一作者，文力教授为论文唯一通讯作者。北京航空航天大学为论文第一/通讯单位、北航丁希仑教授团队，清华大学计算机科学与技术系孙富春教授团队、中国科学院北京纳米能源与系统研究所张弛研究员团队为本研究的合作单位。本研究得到国家自然科学基金（Nos. 61822303, T2121003, 91848206）和国家重点研发计划（Nos. 2020YFB1313003）的资助。

未来智能实验室的主要工作包括：建立AI智能系统智商评测体系，开展世界人工智能智商评测；开展互联网（城市）大脑研究计划，构建互联网（城市）大脑技术和企业图谱，为提升企业，行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。

  如果您对实验室的研究感兴趣，欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”