张珽研究员：触觉传感器新策略，人机交互超级马里奥

点击蓝字关注我们

研究背景

带有触觉传感器的人机交互(HMI) 系统可以在用户和机器之间提供精确的输入信号和所需的反馈；这种系统在高级机器人、智能家居、互动娱乐和医疗保健等方面的要求越来越高。与传统的交互方式，如键盘、鼠标和触摸板相比，各种新兴的人机界面拥有灵活的触觉传感器，已经被提出来与人类的皮肤保形接触，以实现自然的交互体验。这些人机界面包括用于虚拟现实和增强现实的智能手套，用于手部运动检测的臂套，以及用于保健的智能纺织品。在这些系统中，触觉传感器对于获取外部环境的信号至关重要；这些信号对于研究多种机械传感技术仍然是不够的。因此，迫切需要开发先进的触觉传感器和衍生系统，以推动人机界面应用的边界。

最近，各种基于压阻、压电、电容、摩擦静电机制的触觉传感器被开发出来，它们在机械感应方面主要集中在法向力上。然而，由于缺乏对界面滑动的了解，对滑动摩擦力的检测容易被忽视，不够先进。法向力传感与触摸有关，而滑动摩擦力传感则与滑动检测、材料分类和滑动的粗糙度识别密切相关。直到最近，滑动摩擦力主要是由传感器阵列通过压力映射的变化来检测判断物体的位移，但只有在物体部分滑离传感器阵列或物体的尺寸小于传感器阵列的情况下才会出现这种情况；这些制约因素限制了滑动摩擦力在触觉互动中的普遍应用。相比之下，人类的感觉系统可以精确地感知滑动，并通过指尖在表面上的滑动可靠地辨别不同的物体，如天鹅绒，这得益于指尖的复杂结构。到目前为止，还没有这样的人工触觉传感器来实现上述功能。因此，为了使人机界面的触觉互动更加自然和实用，迫切需要开发一种特殊的策略，以敏感地测量法向力，精确地检测滑移，区分材料和识别与人类相似的粗糙度。

研究成果

触觉传感器系统能够实现人与机器之间的自然互动;这种互动对于灵巧的机器人手、互动娱乐和其他智能场景至关重要。然而，由于缺乏复杂的信息，如滑移、材料和所持物体的粗糙度等，滑动摩擦检测的缺乏大大限制了互动的准确性和范围。在此，受滑动过程中的粘滑现象的启发，中科院苏州纳米所张珽研究员团队开发了一个基于粘滑传感策略的多功能仿生触觉系统，这是一种通过滑动检测滑移和估计物体表面特性的通用方法。该系统由一个灵活的指尖启发的触觉传感器、一个读出电路和一个机器学习模块组成。基于粘滑传感策略，该系统在滑移检测(100.0%)、材料分类(93.3%) 和粗糙度识别(92.8%) 方面具有很高的识别率。此外，这个多功能系统还展示了机器人手部操作、互动游戏和物体分类，以实现全面和有前途的人机互动。相关研究以“Multifunctional biomimetic tactile system via a stick-slip sensing strategy for human–machine interactions”为题发表在npj Flexible Electronics期刊上。

研究亮点

1. 在粘滑传感策略下，为人机界面建立了一个多功能的机器学习辅助的触觉系统，具有力感应、滑移检测、材料分类和粗糙度辨别的能力。

2. 通过加入机器学习，该系统对静态和滑动状态的识别率高达100.0%，并拥有对六种材料(93.3%)和六种不同粗糙度(92.8%)的辨别能力。

图文导读

Fig. 1 Schematic illustrations of the stick-slip sensing strategy and the fingertip-inspired multifunction tactile sensor system.

Fig. 2 The fabrication， characterization and performance of the tactile sensor.

Fig. 3 Demonstration of the multifunction tactile system for the discrimination of light， heavy pressure and slippage.

Fig. 4 Close-loop control of robotic hand and interactive Super Mario game assisted with the multifunction tactile system.

Fig. 5 The ability of the multifunction tactile system for material classification and roughness discrimination.

Fig. 6 Demonstration of the multifunction tactile system for objects recognition.

总结与展望

多功能触觉感应，尤其是滑动，是人机界面与环境互动的重要但被忽视的方式。依靠滑动，人机界面系统可以获得丰富的信息，如粗糙度、材料和运动，而这些信息是以往的压力传感器难以准确判断的。综上所述，基于粘滑现象的理论，作者开发了一个机器学习辅助的多功能触觉系统，提供了力感应、滑移检测、材料分类和粗糙度判别的能力。

作者模仿人类的指尖，提出一种指尖启发的触觉传感器结构。该传感器由两层组成：受表皮启发的顶层包含电极和微孔，受旋涡启发的底层包含带有SWCNTs 的微锥体。对于多功能传感机制，力的传感是由接触电阻调制的，滑移检测是基于粘滑现象的存在，而材料分类和粗糙度的辨别则依赖于粘滑现象的特征。通过在系统中加入机器学习，在滑移检测(100.0%)、材料分类(93.3%) 和粗糙度判别(92.8%) 的识别率方面达到了高标准。与其他为物体分类而开发的技术相比，该系统的传感机制提供了一种创新的方法来估计材料特性。

作者还为人机界面设置了概念验证的应用。在机器人手的闭环传感控制中，配备了多功能传感系统的机器人手指有能力检测力和滑移，然后制定相应的动作，实现反馈控制。为了提高人机界面的乐趣，还设计了一个超级马里奥游戏，通过手部动作控制与人类互动，实现了对日常生活中六种常见物体的分辨。上述概念验证应用表明，多功能传感系统在人机界面中具有广阔的应用前景。

机器学习辅助的多功能传感系统提高了激活传感的能力，但它仍然有需要解决的限制。与其他为物体分类而开发的先进技术相比，在未来的设计中需要高密度的传感器阵列来感知物体的形状。而在基于我们的多功能传感系统的人机界面应用中，算法模型是在服务器上开发的，用于分类。在边缘设备上实施高效的机器学习(ML) 算法，用于现场决策，对未来进一步提高系统的独立性和降低功耗可能很重要。此外，对于灵巧的机器人手来说，该系统对滑移的闭环控制仍然不如人类的感官反馈那么完美，特别是在感知滑移的延迟方面。进一步的研究工作还可以致力于优化粘滑理论以实现滑移预测。基于摩擦学理论的机器学习辅助的多功能传感系统可以丰富人机界面的信息，特别是关于打滑的信息。

文献链接

Multifunctional biomimetic tactile system via a stick-slip sensing strategy for human–machine interactions， npj Flexible Electronics (2022) 6:46 ; https://doi.org/10.1038/s41528-022-00183-7

推荐阅读

MXene基仿生电子皮肤：可用于数字化和可视化双通道传感

电子皮肤——具有高灵敏度和低滞后性的仿生柔性传感器

北大张敏教授最新AM：用于电荷传输的van der Waals工程使晶圆级柔性电子成为可能

陈晓东教授最新AM：电子皮肤——触觉近传感器模拟计算

用于仿生视觉假体的柔性超声诱导视网膜刺激压电阵列

王中林院士团队：自供电可拉伸有机凝胶/硅胶纤维螺旋传感器用于植入式韧带应变监测

UCLA陈俊教授最新AM：剪纸启发的压力传感器用于可穿戴式动态心血管监测

视频号：#柔性电子那些事

张珽研究员：触觉传感器新策略，人机交互超级马里奥

相关文章

用户评论

发表评论

最新内容