基于深度强化学习的机器人控制研究获进展

　　近日，中国科学院沈阳自动化研究所与英国爱丁堡机器人中心合作研究取得新进展，提出了一种在动态、非结构环境下基于深度强化学习的移动机械臂自主作业方法，将人工智能学习理论成功应用于真实的复杂移动机械臂控制。
 

　　中国科学院沈阳自动化研究所(Shenyang Institute of Automation Chinese Academy of Sciences )成立于1958年11月。成立之初被称为辽宁电子技术研究所，1960年4月更名为中国科学院辽宁分院自动化研究所，1962年至1972年的名称为中国科学院东北工业自动化研究所，1972年起正式定名为中国科学院沈阳自动化研究所。研究所主要研究方向是机器人、工业自动化和光电信息处理技术。该所作为中国机器人事业的摇篮，在中国机器人事业发展历史上创造了二十多个第一，引领中国机器人技术的研究发展。此外，该所还是“实验1”号科考船的船东单位。
 

　　机器人在空间、陆地和水下等大量动态、非结构环境下作业是一个复杂的任务，相比于传统工业机器人作业要求更高，通常需要机器人具有感知、导航、决策、操作等多种功能。
 

　　沈阳自动化所与爱丁堡机器人中心科研团队联合利用神经网络构建了一种机器人整体强化学习控制模型，采用深度学习方法对机器人相机获得的环境与目标信息进行处理，然后将感知信息与机器人当前状态作为系统输入，对机器人的整体行为进行自主控制。通过仿真与实际环境中的交互学习与训练，最终实现了在真实环境下的移动机械臂自主作业，为深度强化学习应用于更为复杂的水下浮游基座机器人系统开展自主作业研究奠定了基础。
 

　　机械臂是指高精度，多输入多输出、高度非线性、强耦合的复杂系统。因其独特的操作灵活性, 已在工业装配, 安全防爆等领域得到广泛应用。
 

　　机械臂是一个复杂系统, 存在着参数摄动、外界干扰及未建模动态等不确定性。因而机械臂的建模模型也存在着不确定性，对于不同的任务, 需要规划机械臂关节空间的运动轨迹，从而级联构成末端位姿
 

　　在依托于沈阳自动化所的机器人学国家重点实验室与爱丁堡机器人中心的战略合作框架(MoU)下，双方积极开展人员互访、学术交流及研究生联合培养，并在多个研究领域开展合作，包括基于深度强化学习的机器人控制、基于视觉的水下三维场景重建与目标识别、水下机器人自主作业等。
 

　　水下机器人也称无人遥控潜水器，是一种工作于水下的极限作业机器人。水下环境恶劣危险，人的潜水深度有限，所以水下机器人已成为开发海洋的重要工具。
 

　　无人遥控潜水器主要有：有缆遥控潜水器和无缆遥控潜水器两种，其中有缆遥控潜水器又分为水中自航式、拖航式和能在海底结构物上爬行式三种。随着合作的深入与加强，后续将会持续产出更多科研成果，促进双方相关科研共同进步。