面向遥操作的机器人臂/手集成系统图形仿真朱广超 王田苗 丑武胜 张玉茹 张启先( 北京航空航天大学机器人研究所 北京 100083)摘要 介绍了机器人臂与多指灵巧手集成系统的图形仿真及其在遥操作中的应用, 对其体系结构、 环境建模、 运动规划、 基于虚拟现实的人机接口技术、 视频图像与仿真图形的融合技术、 分布式仿真技术进行了研究, 并介绍了已经完成的工作。关键词 图形仿真, 虚拟现实, 遥操作, 分布式0 引言对于工作在太空、 深海等环境中的机器人系统,由于空间作业环境的复杂多变性和当前智能技术发展的限制, 依靠机器人系统的完全自主完成任务目前是不可能实现的, 必须利用人的智能以遥操作的方式参与机器人编程规划, 即本地的操作者利用遥操作设备实现远端机器人系统的遥控。然而由于信号传输存在大的通讯时延, 操作者通过延时的视频图像来遥控机器人显然是非常困难的, 操作的安全性也很难保证。解决这个大时延问题唯一有效的途径是利用机器人实时图形仿真技术在计算机中建立一个虚拟的现实环境, 操作人员通过操作虚拟环境中的机器人来实现对远端的真实机器人遥控。由于操作人员与仿真图形之间基本不存在时延, 因而这种控制是非常容易的, 而实际的机器人则在几秒后跟着仿真图形的动作而动作, 从而实现了操作者对远端机器人的遥操作, 有效地解决了大时延的问题。因此, 在对远程机器人的遥操作进行研究时, 图形仿真是不可缺少的重要组成部分。目前, 德国、 美国、日本等都在研究有关图形仿真的预测显示技术来克服大延时的问题, 其中有些还引入了/ 虚拟通道0、/ 虚拟墙0等虚拟引导工具以及 MITI 的/ 超级摄像机0等辅助操作工具1- 3。大量空间机器人实验研究表明, 作为人机接口的图形仿真, 不但是克服大时延的有效手段, 也为人的监控和机器人系统局部自主的共享控制的实现提供了人机交互的界面。因此, 对面向遥操作的机器人图形仿真技术进行研究有着十分现实和深远的意义。为此, 本文作者以面向空间作业的机器人臂/ 手集成系统( 以下简称臂/ 手系统) 为遥操作平台, 对机器人图形仿真系统及其在遥操作中的应用进行了深入的研究, 分别在 SGI 工作站上和 PC 机上完成了臂/ 手系统的几何实体建模、 抓持操作的仿真和规划, 并进一步利用遥操作设备, 实现了基于虚拟现实的人机遥操作交互界面, 并通过网络模拟时间延迟,完成了臂/ 手集成系统的在线网络遥操作。1 图形仿真系统的构成考虑到图形仿真在遥操作中的作用, 作者对机器人臂/ 手系统图形仿真的组成部分及其相互关系进行了分析, 作者实现的图形仿真系统结构如图 1所示。图中臂/ 手系统仿真模型的建立是整个图形仿真的基础, 它包括机器人臂和灵巧手的几何实体建模、 运动学建模和运动规划算法的建模等部分; 传感器的仿真模块包括对集成系统中光纤接近觉传感器、 腕六维力/ 力矩传感器等的建模和行为仿真; 传感器信息的可视化模块实现了在机器人运动过程中, 以图形可视化方式实时和直观地显示机器人的位置、 力/ 力矩等状态信息, 在遥操作中可以利用该模块显示远端现场的一些不可见的信息如接近距离、 力/ 力矩等信息, 可使本地操作者根据这些信息方便地完成遥操作任务; 臂/ 手系统的运动规划和抓持规划模块完成臂/ 手系统抓持和操作任务的规划仿真。图 1 中的仿真图像与视频图像的融合模块、 遥操作命令预览与预测显示模块、 与 VR 设备的通讯接口模块及与实现共享控制和柔顺控制的接口模块)59)朱广超等: 面向遥操作的机器人臂/ 手集成系统图形仿真男, 1971年生, 博士生; 研究方向: 机器人遥操作, 虚拟现实技术; 联系人。( 收稿日期: 2000 -03 - 17)863 计划资助项目( 863 -512 -9804 -17) 。都是服务于机器人臂/ 手系统遥操作任务的。其中遥操作命令预览与预测显示模块可以在离线的方式下, 对遥操作的命令通过图形仿真进行预览, 经执行无误后, 再送给远端机器人系统, 以提高遥操作的安全性; 仿真图形与视频图像的融合模块完成仿真图形与视频图像的标定和叠加, 便于实时地监测机器人执行的过程, 提高遥操作的精度和效率; 与实现共享控制和柔顺控制的接口模块完成人的智能、 图形仿真、 机器人的局部自主三者的有机融合和共享, 实现遥操作的共享控制和柔顺控制, 更安全高效地完成遥操作作业; 与 VR 的通讯接口模块将先进的虚拟现实技术与图形仿真相结合, 为操作者提供一个更真实、 更方便的人机交互接口方式。图 1 面向遥操作臂/手系统的图形仿真图 2 分布式结构的图形仿真系统2 图形仿真系统的体系结构从以上可以看出, 面向远程遥操作的图形仿真系统要实现的功能很多, 若将这些功能都集中在一台计算机上实现, 仿真的速度、 系统的可靠性和可扩展性都会大大降低。为此, 很有必要将图形仿真系统的各个功能分配在通过网络互连的多个计算机上分别实现, 由于每台计算机所实现的功能相对较少,仿真的速度可以得到提高, 这在远程遥操作中利用预测仿真来克服时延时特别有用。另一方面, 在完成复杂的操作任务时, 往往需要有多个操作者分别遥控自己的受控对象, 针对一个共同操作环境, 互相配合地完成遥操作任务, 此时, 作为遥操作人机接口的图形仿真, 就必须为每个操作者提供一个仿真环境, 每个操作者不但在自己的仿真环境中可以遥控自己的受控对象, 而且所有的操作者面对同一个仿真环境, 可以互相协调地完成操作任务。这就要求图形仿真系统采用分布式结构, 并且各个子单元之间通过网络进行通讯和协调。特别是在完成一些复杂的任务时, 往往需要不同研究领域的专家进行协同规划操作, 利用分布式仿真可以使操作者在不同的地理位置通过网络实现遥操作。作者研制开发的遥操作机器人仿真系统采用了分布式结构, 它可以提供多视点和多视角的三维图形显示, 允许多个操作者通过分布式仿真环境来共同完成复杂的遥操作任务, 这不仅提高了仿真系统的可靠性、 可扩展性和仿真质量, 而且可以利用实际系统的反馈信息来实时在线修正仿真模型, 提高仿真的准确性。整个系统的结构如图 2所示。在图 2 中, 为了保证各个操作者能同时看到相同的仿真环境, 就要求仿真系统中各个子单元中的仿真模型始终保持一致。为此, 作者通过同步控制中心来实现各个子单元中模型的同步。为了提高分布式仿真的运行速度和降低对网络通讯带宽的要求, 采用了在本地建立环境模型数据库的方法完成建模, 即每个子单元都有一个模型数据库。由于机器人及其环境的模型在本地已经建立, 这样在生成仿真图形时, 在本地就可以完成模型参数的查询, 仅需要通过网络传递机器人和环境的位置运动信息和状态信息, 因此可以很大地提高仿真的速度。3 基于虚拟现实的人机交互接口作者利用 Cyberglove 数据手套、 Fastrak 立体跟踪仪、 Crystalglass 立体眼镜等虚拟现实设备, 实现了基于虚拟现实的人机交互接口方式, 即操作者不但可以通过立体眼镜观测到仿真环境的立体图像,还可以通过数据手套、 立体跟踪仪分别遥控虚拟的灵巧手和机器人臂, 实现对仿真模型的规划和控制。由于 Fastrak 立体跟踪仪可以测量到人手腕部的位置和姿态, 因此, 使虚拟的机器人臂的腕点跟随人手腕部的运动, 这样就可完成了对 PUMA560 机器人臂的遥控。而在用数据手套遥控多指灵巧手时,由于 BH -3 型灵巧手的配置和人手有很大的差异, 因此必须完成人手与灵巧手的位姿映射。考虑到 BH -3 型灵巧手手指的尺寸和实际人手的尺寸接近, 并且为了能实现灵巧手的指尖抓持及指尖的精细操作, 采用了直角空间映射的方法, 即使灵巧手的指尖位置和人手的指尖位置相对应。在 PC 机上,)60)高技术通讯 2001. 6运用 Sense8 公司的虚拟现实软件 WTK( World -ToolKit) 同样开发了机器人操作环境模型, 实现了基于虚拟现实的人机交互接口, 采用自行研制的六自由度数据机械臂和数据手套作为仿真的输入设备, 同样实现了对仿真环境中虚拟机器人臂/ 手系统的规划和控制。4 视频图像与仿真图形的融合虽然仿真图形能模拟远端真实的环境, 然而由于仿真技术发展的限制, 仿真模型和实际模型还存在着误差, 因此在人机界面中仍需要实时地显示远端反馈回的视频图像, 便于在操作过程中进行监控,另一方面, 还可以将视频图像与仿真图形进行叠加,利用模型引导的方式完成遥操作, 并对运动过程中仿真模型的误差进行校正。为此, 作者利用远端传来的有时延的视频图像, 与本地的仿真图形进行视频融合, 以模型引导的方式完成插孔装配这一典型动作。作者首先实现了基于网络的视频图像的实时传输, 用以在本地实时地显示远端的视频图像。为了提高图像传输的速度和降低对网络带宽的要求, 选用H. 263 作为图像数据压缩算法, 该算法能在低传输速率上保证图像传输的连贯性。在基于 Windows98/ NT 平台下的 Visual C+编程环境下, 利用系统提供 Socket 网络通讯接口函数分别实现了服务器方和客户方的应用程序。其中, 视频信息的传输使用无连接的 UDP 通信方式以提高传输速度。在远端服务器方, 采用了多协议并发处理模式, 在视频处理中采用多线程模式, 将视频捕获压缩与传输分配在两个线程中运行, 以提高服务器效率。在本地客户方, 也采用多线程将视频解压缩和图像显示分配在两个线程中运行。根据完成系统的情况看, 采用PST N 方式接入 Internet, 如果在 28. 8kbps 的位速率的带宽下, 传送 H. 263 编码的 QCIF( 176 144)格式的图像可以达到每秒钟 5 7 帧, 图像比较连续、稳定。如果带宽达到 ISDN 的 64kbps时, 图像速度能达到 10 15帧, 能够得到很令人满意的效果。为了达到工作环境的立体视觉环境, 布置了两个摄像头, 分别捕获工作环境的侧面和正面视频图像。本地仿真图形和视频图像的融合是在 PC 机上的WT K 仿真环境下实现的。系统通过网络通讯得到远端的视频图像, 视频流以动态纹理的方式载入WT K 仿真环境中, 仿真图形以线框方式显示, 经过标定后就可以实现视频图像和仿真图形的叠加。作者设计了这样一个实验过程: 首先由客户端与服务器建立 Socket 的连接, 连接完成后, 臂手集成系统与仿真环境分别进行初始化, 达到标定的初始位置。初始化后, 仿真环境与工作环境建立了一一对应的关系, 臂手集成系统的自主功能关闭, 由客户端的鼠标控制机器人运动, 这时视频是监控的作用。当臂手集成系统抓持插件接近插孔位置后, 仿真环境改为只显示臂手集成系统末端, 客户端发出的机器人控制数据也由 6关节坐标值变为机器人的工具坐标值, 这时机器人的末端保持垂直向下的姿态以保证插孔, 仿真环境传出的控制数据只改变臂手集成系统的工具坐标值, 随后则以预测显示的方式完成机器人插孔动作。在实验中, 两个摄像头可以获取工作空间的正面和侧面视频信息, 操作者可以发送切换信息, 在两个摄像头之间进行切换, 选择摄像头的视频图像, 通过两个摄像头的信息得到工作空间的立体信息以指导插孔。此外, 还模拟了工作环境突然变化( 比如临时改变操作平台位置) 时,可以实时地修正相应的仿真图形以匹配发生的变化, 然后利用修正后的仿真环境完成插孔任务。5 实验研究为了研究图形仿真在空间遥操作中克服信号传输延时的作用, 首先将 Envision 环境下的仿真系统和远端的机器人臂/ 手系统通过网络连接起来, 并利用网络模拟传输延时, 对在线网络遥操作进行了实验研究。在实验中, 操作者可以利用远程遥控设备,在局域网范围内规划和协调远端臂/ 手系统的运动。系统利用图形仿真系统的仿真规划和远端臂/ 手系统的基于多传感器的局部自主控制, 并针对专门设计的模拟空间机器人作业的实验平台, 完成了臂/ 手系统的遥操作空间作业, 如仪表设备的相关操作、 开关阀门的旋转操作、 工件插拔装配等等。在操作端,操作者通过数据手套、 跟踪仪等设备来遥控 Env- ision 环境中的仿真模型, 数据手套控制仿真多指灵巧手的运动, 跟踪仪控制仿真机器人臂的运动。操作者还可以通过 Cystalglass 立体眼镜观测仿真的立体图形, 以获得机器人环境中的立体位置信息。仿真系统通过 Socket 网络通讯将仿真数据和命令状态信息经过时延模拟后传送给通讯控制 PC 机中的通讯模块, 通讯控制 PC 机再将这些数据通过串行通讯分别传送给臂、 手系统, 以使臂/ 手系统自主地)61)朱广超等: 面向遥操作的机器人臂/ 手集成系统图形仿真完成相应的动作; 同时, 臂/ 手系统在每个通讯周期内一方面将灵巧手与机器人臂的实际位置信息反馈给Envision 以更新和修正仿真模型, 另一方面, 也将灵巧手指端力的信息反馈给 Envision, 这样在灵巧手与抓持物接触时能将接触力反馈给数据手套, 数据手套上振动器会根据接触力的大小产生不同强弱的振动, 以提供给操作者以触觉的反馈。在以上仿真工作的基础上, 实现了基于网络的分布式图形仿真系统。整个系统由两个单元构成,一个是 SGI 工作站上的 Envision 仿真环境, 另一个是PC 机下的WTK 仿真环境, 这两个单元通过网络相连, 构成了分布式仿真的两个子单元。通过分布式仿真完成了插孔实验, 在 Envision 仿真环境下, 操作者通过 CyberGlove 数据手套遥控机器人臂/ 手系统, 使机器人臂/ 手系统运动到操作平台上的销子上方, 若发现机器人不能到达该位置或即使能到达该位置但不利于下一步操作, 在 WTK 仿真环境下的操作者通过相同的仿真图像看到这一情况后, 就可以通过机械臂控制操作平台移动到合适的位置, 由臂/ 手系统完成抓持过程。这样, 在两个环境下的操作者便可以通过仿真图像分别遥控自己的可控对象相互协调相互配合地完成插孔操作。在插孔过程中, 臂/ 手系统通过 Socket 通讯向同步控制中心请求当前的规划数据以实现相应的运动和操作, 同时臂/ 手系统会将当前运动状态以及灵巧手与抓持物之间的接触力反馈给仿真系统, 一方面可以通过数据手套振动器的振动使操作者产生临场感, 指导操作者在虚拟环境下完成遥操作, 另一方面可以利用这些数据对仿真模型进行在线修正, 以提高仿真的精度。6 结论本文研究了机器人臂/ 手集成系统的图形仿真技术及其在远程遥操作中的应用, 并介绍了作者在这些方面开展的工作。在完成机器人臂/ 手集成系统建模的基础上, 研究并实现了面向遥操作的图形仿真系统, 该系统采用了分布式结构, 允许多个操作者从不同计算机终端通过分布式仿真相互协作共同完成复杂的遥操作任务。还重点研究并实现了基于虚拟现实的人机交互接口、 视频图像与仿真图形融合等功能, 这样可以使遥操作者能更安全、 更方便、更高效地完成操作任务。该系统和实际机器人臂/手系统相连, 完成诸如插孔等模拟的空间遥操作任务。该系统作为空间远程遥操作的人机交互接口,可望应用于空间对接、多个空间机器人协调操作等复杂遥操作任务, 可以为开展空间机器人、 自主机器人和网络遥操作控制等新兴学科的研究提供了仿真实验平台。参考文献:1 Brunner B, Arbter K, Hirzinger G. Graphical Robot Sim-ulation within the Framework of an Intelligent T elesensor -Programming System, Graphics and Robot. Springer -Ver -lag. 19952 Kim W S. Virtual Reality Calibration for Telerobotic Ser -vicing. In: IEEE International Conference on Robotics andAutomations. 1994. 2769 3 Oda M, Kibe K, Yamagata F. ETS -VII, Space Robot In -Orbit Example Satellite. In: IEEE International Confer -ence on Robotics and Automations. 1996. 7394 Backs P G, Peters S F, Phan L, et al. Task Lines andMotion Guides.In:IEEE International Conference onRobotics and Automations. 1996. 505 杨磊, 何克忠, 郭木河等. 机器人, 1998, 20(1): 76Graphical Simulation of Robotic Arm/ Hand System Designingfor TeleoperationZhu Guangchao, Chou Wusheng, You Song, Wang Tianmiao, Zhang Yuru, Zhang Qixian( Robot Research Institute, Beijing University of Astronautics and Aeronautics, Beijing 100083)AbstractA graphical simulation of a robotic arm and a multifingered hand integrated system and its application inteleoperation are introduced, in which our attention is paid to structuring of the system, modeling the system,motion planning, the man -machine interface designed for virtual reality, overlaying between the real video imageand the graphics, and distributed simulation. The works that have already been done is also described.Key words: Graphical simulation, Virtual reality, Teleoperation, Distributed simulation)62)高技术通讯 2001. 6