研究人员通过融合混合现实和机器人技术来增强人机交互

显示研究人员的任务规划框架组成部分的图表。资料来源：Delmerico等人。

在过去的几十年里，工程师们创造了具有越来越先进的功能和能力的设备。近年来，一种被大幅改进的设备能力被称为 "空间计算"。

空间计算一词本质上是指计算机、机器人和其他电子设备 "意识到 "其周围环境并创建其数字表示的能力。尖端技术，如传感器和混合现实（MR），可以大大增强空间计算，使复杂的传感和制图系统得以创建。

微软混合现实和人工智能实验室和苏黎世联邦理工学院的研究人员最近开发了一个新的框架，将MR和机器人技术结合起来，以增强空间计算应用。他们在arXiv上预先发表的一篇论文中介绍了这个框架，并在一系列人与机器人互动的系统上进行了实施和测试。

研究人员在他们的论文中写道："混合现实设备上的空间计算和自我中心感应的结合使它们能够捕捉和理解人类的行动，并将这些行动转化为具有空间意义的行动，这为人类和机器人之间的合作提供了令人兴奋的新的可能性。"本文介绍了几个人类-机器人系统，它们利用这些能力来实现新颖的机器人用例：检查的任务规划、基于手势的控制和沉浸式远程操作。"

用户对空间网状结构的看法，用HoloLens拍摄并叠加在真实世界上。资料来源：Delmerico等人。

这个研究小组设计的基于MR和机器人的框架在三个不同的系统上实现，具有不同的功能。值得注意的是，所有这些系统都需要使用HoloLens MR头显。

第一个系统被设计用来计划机器人任务，需要检查一个给定的环境。基本上，人类用户戴着HoloLens头盔在他/她想要检查的环境中移动，放置全息图，作为定义机器人轨迹的航点。此外，用户可以突出显示其希望机器人收集图像或数据的特定区域。这些信息经过处理和翻译，以便随后可以用来指导机器人在检查环境时的运动和行动。

研究人员提出的第二个系统是一个界面，允许人类用户与机器人进行更有效的互动，例如，使用手势控制机器人的运动。此外，该系统还能实现不同设备的共定位，包括MR耳机、智能手机和机器人。

研究人员写道："设备的共同定位要求它们各自能够将自己定位在一个共同的参考坐标系中。通过它们相对于这个共同坐标框架的单独姿势，可以计算出定位设备之间的相对转换，随后用于实现新的行为和设备之间的协作。”

该团队创建的第一个系统将HoloLens地图（上图）转换为二维占位网格表示，其坐标框架与网格的坐标框架一致，以便用LiDAR实现机器人定位。资料来源：Delmerico等人。

为了实现设备的共同定位，该团队引入了一个框架，确保其系统中的所有设备共享它们的相对位置和一个共同的参考地图。此外，用户可以使用HoloLens头显向机器人发出导航指令，只需执行一系列直观的手势。

最后，第三个系统可以实现沉浸式远程操作，这意味着用户可以远程控制机器人，同时查看其周围的环境。这个系统在机器人需要浏览人类无法进入的环境的情况下，可能特别有价值。

研究人员解释说："我们探索将用户的行动投射到远程机器人上，并将机器人的空间感投射到用户身上。我们考虑了几个层次的沉浸感，基于触摸和操纵机器人的模型来控制它，以及更高层次的沉浸感，即成为机器人并将用户的运动直接映射到机器人上。"

在最初的测试中，Jeffrey Delmerico和他在微软的同事提出的三个系统取得了非常有希望的结果，突出了使用MR来加强空间计算和人与机器人互动的潜力。在未来，这些系统可以被引入许多不同的场合，让人类与机器人密切协作，有效地解决更广泛的复杂的现实世界问题。