机器人学概论机器人学概论机器人学概论机器人学概论上次课内容提要上次课内容提要摄像机模型视觉测量中的约束条件 单目视觉位置测量 立体视觉位置测量基于矩形目标约束的位姿的测量 基于PnP问题的位姿测量基于消失点的视觉测量 基于位置的视觉控制基于图像的视觉控制 混合视觉伺服控制 直接视觉控制小孔模型XZf14参数模型5参数模型摄像机的内参数模型描述的是景物点与图像点之间的关系。 外参数模型摄像机的外参数模型，是景物坐标系在摄像机坐标中的描述。 平面全局视觉平面视觉摄像机的位姿摄像机光轴中心线与景物平面平行，景物坐标为摄像机固定不动，焦距固定。景物坐标系原点可选择光轴中心线与景物平面的交点，于是有R=I, p=0 0 dT, d是选择光轴中心到景物平面的距离。摄像机的标定XcOcYcXwZcOwYwZw图2-2-1 单目二维视觉测量的坐标系立体视觉位置测量 双目视觉 结构光视觉空间点P在摄像机C1的光轴中心点与点P1c1构成的直线上，也在摄像机C2的光轴中心点与点P1c2构成的直线上。 特征点在激光平面上，同时还在摄像机的光轴中心点与成像平面上的成像点之间的一条空间直线上。 X1Y1Z1O1PX2Y2Z2O2双目立体视觉示意图C1C2c1Mc2CCD摄像机激光器平凸柱面镜工件结构光线结构光测量原理示意图基于位置的视觉控制位置给定型机器人视觉控制位置反馈型机器人视觉控制Eye-to-Hand位置给定型机器人视觉控制，利用视觉测量的目标位置对机器人进行位置给定，使机器人的末端到达目标位置。视觉位置给定由机器人位姿获取、图像采集、特征提取、笛卡儿空间三维坐标求取、关节位置给定值确定等部分构成。 Eye-in-Hand位置给定型机器人视觉控制，虽然末端位姿引入位置给定部分，但仅参与三维坐标的计算，并未构成机器人末端位置的闭环控制。 控制系统由三个闭环构成，外环为笛卡儿空间的位置环；各个关节采用位置闭环和速度闭环控制，其内环为速度环，外环为位置环。 基于图像的视觉控制 基于图像的视觉控制基于图像的视觉控制图像采集特征提取目标特征测量期望图像特征机器人位姿调整策略关节位置控制环节+末端位姿当前图像特征机器人本体+逆运动学求解6路关节位置控制器计算末端位姿给定基于图像的视觉控制 基于图像的视觉伺服基于图像的视觉伺服控制图像采集特征提取目标特征测量期望图像特征机器人运动调整策略关节速度控制环节+末端位姿当前图像特征机器人本体+6路关节速度控制器图像雅可比矩阵1/s混合视觉伺服控制2.5D视觉伺服控制将单应性矩阵进行分解，分别得到旋转分量和位置分量的图像特征。位置分量的图像特征与给定的位置分量的图像特征相比较，作为位置控制律的输入。旋转分量的图像特征与给定的姿态的图像特征相比较，作为位置控制律和旋转控制律的输入。位置控制律采用基于图像的视觉伺服方法，旋转控制律采用基于位置的视觉伺服方法。 2.5D视觉伺服的结构框图5位置控制律旋转控制律关节控制器机器人对象摄像机获得图像特征单应矩阵分解图像特征位置给定姿态给定输出图像旋转分量位置分量的图像特征V直接视觉控制直接视觉控制的结构 直接视觉控制一般采用Eye-to-Hand型视觉系统，摄像机位置固定，工作空间固定。图像特征与关节位置的映射关系被称为visual-motor函数 直接视觉伺服控制框图图像采集特征提取特征关节位置映射PID控制伺服放大执行电机1/6S机器人本体+关节位置关节位置给定末端位姿6路关节位置控制器第十章 多机器人协调与控制本次课内容提要多机器人系统简介多机器人系统的特点多机器人系统的主要研究内容典型多机器人系统多机器人系统的模型多机器人搜集多机器人队形控制多机器人围捕多机器人系统简介n多机器人系统的特点空间分布性：多个机器人可以同时工作在作业空间的不同位置，有利于任务的完成。 时间并行性：多个机器人可以同时完不同的子任务。容错能力强：当某一机器人出现故障时，可以通过任务的重新分配来弥补由该故障引起的系统性能下降。 灵活性好：多机器人系统中各个机器人的功能可以互不相同，通过不同功能的组合，很容易使多机器人系统具有较强的灵活性和适应性。 多机器人系统简介n多机器人系统的主要研究内容 寻找一套分析、设计和控制多机器人系统的有效方法，使其安全、高质、高效地完成给定任务。多机器人系统体系结构：实现预定的行为如何把个体联系到一起的一种形式。可分为个体、集中式、分层式和分布式。协调机制：多机器人系统与环境之间的协调：研究如何根据环境的变化调整系统的整体目标和行为以及体系结构，这是一种适应性反馈机制；机器人之间的协调：由于完成任务的需要，机器人之间的竞争、磋商、合作和联盟不可避免，重点研究合作机制与联盟形成等机制；复杂任务的分解分配算法个体机器人行为的监督与约束机制多机器人系统简介n多机器人系统的主要研究内容冲突消解：任务冲突和资源冲突(路径冲突和工具冲突)等 。信息交互：按交互的方式来分，可分为通讯、感知和学习。发现冲突找出冲突类别提出冲突解决策略制定冲突消解计划执行冲突消解计划冲突类别库/解决策略库多机器人系统简介n典型多机器人系统ACTRESS (ACTor-based Robot and Equipments Synthetic System)：由分散的计算机、机器人以及其它专用设备(Robotor)构成，通过设计一定的协议使得彼此实现信息交互。多机器人系统简介n典型多机器人系统CEBOT (Cellular roBOTic System)：将系统中众多相同或不同功能的机器人视为细胞元，根据任务或环境的变化，这些细胞元机器人可以自组织成器官化机器人，多个器官化机器人可以进一步自组织形成功能更加复杂的机器人系统。细胞结构机器人系统强调单元体的组合如何根据任务和环境的要求动态重构。 多机器人系统简介n典型多机器人系统Collective Robotics：对昆虫社会的一种人工模拟，是将许多简单的机器人组织成一个团体来完成一些有意义的工作，机器人系统没有全局的整体控制。是典型的群智能机器人系统。 多机器人系统简介n典型多机器人系统The Nerd Herd：由20个机器人组成，机器人上装有用于抓取、堆放物品的抓手，抓手上装有红外传感器和接触传感器。Socially Mobile：由4个移动机器人组成。 多机器人系统简介n典型多机器人系统CESAR：CESAR Emperor系统包括一个运输车、四个机器人，可用于户外作业；CESAR Nomads系统包括四个机器人。 多机器人系统简介n典型多机器人系统足球机器人系统：RoboCup仿真组比赛在一个标准的计算机环境内进行，运行环境软件Soccer Server由RoboCup委员会提供，它提供了一个虚拟的场地，允许参赛者使用各种程序语言进行仿真足球比赛。实物组每组3台机器人。 多机器人系统简介n典型多机器人系统机器人手术系统：宙斯外科机器人由外科医生控制台和3条安在手术台上的机器人手臂构成，左右两条机器人手臂重复外科医生的双臂的活动，能分别操作两件手术器械，第三条机器人手臂提供手术区域的视图给外科医生。第三条手臂装有伊索内窥镜定位装置，伊索装置是世界上第一台获得美国食品及药物管理局(Food and Drug Administration, FDA)批准的外科机器人。 多机器人系统的模型nAlliance体系结构体系结构采用动机激活行为机器人之间进行动机抑制机器人之间利用通讯联结输出由传感信息、机器人之间的通讯与相互制约关系、内部动机等确定多机器人系统的模型n分层式体系结构分层式体系结构系统监控与任务规划机器人之间进行协作规划行为控制机器人之间利用通讯联结由行为控制层综合传感信息、规划结果、其他机器人状态等给出输出，由执行模块执行 环环 境境其其它它机机器器人人系统监控层系统监控层(SML)协作规划层协作规划层(CPL)行为控制层行为控制层(BCL)传感模块传感模块执行模块执行模块多机器人系统的模型n分层式体系结构分层式体系结构任务队列任务队列任务评估任务评估任务分解任务分解任务分配任务分配 行为控制层行为控制层任务分解模块任务分解模块协作模块协作模块任务评估模块任务评估模块知识库知识库任务队列模块任务队列模块任务分配模块任务分配模块熟人模块熟人模块通讯模块通讯模块系统监控层系统监控层协作规划层协作规划层(CPL)多机器人系统的模型n基于环境预测和行为控制函数的控制结构基于环境预测和行为控制函数的控制结构根据传感信息产生行为控制函数根据传感信息进行环境预测根据传感信息从行为库中选择行为机器人之间利用通讯联结由行为控制层综合传感信息、规划结果、其他机器人状态等给出输出，由执行模块执行多机器人搜集n目标描述目标描述n涉及问题涉及问题将散落在未知(或部分未知)环境中的物体找到并运送到指定区域搜索：机器人寻找空间中尚未被发现的待搜集物收集：机器人把已经找到的物体运送到指定区域任务分配集中式分配(Centralized allocation): 派定分配，直接为各个机器人指定任务；协议分配，按照不同机器人的供需要求，中介机器人集中实现任务分配协调分布式分配(Distributed allocation): 机器人个体以某种方式提供或索取“服务”，如基于“熟人模型”的任务分配和基于合同网的分配。多机器人搜集n基于熟人模型的任务分配基于熟人模型的任务分配(1) 机器人接收一项任务；(2) 在内部各机器人技能表中选择可完成任务的机器人；(3) 向选定的机器人发出请求；(4) 在选定的机器人接受任务时，就将任务分配给它，任务分配过程结束；若选定的机器人拒绝时，返回(2)重新选择；若无机器人可完成该任务，则进行间接分配；(5) 向本机器人所知的机器人发出委托请求，等待可完成此任务的机器人响应；(6) 接受所收到的第一个对此进行响应的机器人的确认，将任务分配给它，同时，向其它机器人确认任务已分配，结束任务分配过程。多机器人搜集n基于合同网的任务分配基于合同网的任务分配角色：管理员和承包人。每一个机器人可以同时以管理员和承包人的身份出现。特点：任务可以进行动态的分配过程： (1) 管理员声明一项任务；(2) 承包人得到任务的说明后依据自身的能力、工作负担等对任务进行评估；(3) 承包人将投标值发送给管理员；(4) 管理员对所有收到的承包人的投标值进行综合评估，选出合适的承包人订立合同，由其来完成该项子任务；(5) 管理员等待承包人完成任务的结果。多机器人搜集n举例：多机器人捡物品举例：多机器人捡物品 两种机器人：铲型机器人，夹型机器人 铲型机器人：带有铲形工具，传感范围较小，一次可以携带两个物品， 夹型机器人：装有夹形工具，传感距离相对较远，一次只能拿一个物品。 对于系统中某个机器人来说，它并不需要了解其它机器人在任意时刻的行为，如果其它机器人出现在它的传感范围之内，则会被当作移动的障碍物处理。多机器人搜集n多机器人捡物品的任务分配多机器人捡物品的任务分配状状 态态自由避障完毕选择搜集目标完毕遇到障碍物发现待搜集物抵达搜集目标抓住搜集物失去搜集目标到达投递区方案一：同构算法，搜集任务没有被分解，每个机器人参加整个过程。 行行 为为漫游避障选择搜集目标向搜集目标运动抓起搜集物向投递区运动投递漫 游选搜集目标向搜集目标运动发现待搜集物选择搜集目标完毕失去搜集目标避 障向投递区运动投 递抓起搜集物避障完毕避障完毕遇到障碍物遇到障碍物自由抵达搜集目标遇到障碍物避障完毕抓住搜集物到达投递区多机器人搜集n多机器人捡物品的多机器人捡物品的任务分配任务分配方案二：异构算法，搜集任务被分解为搜索和收集，每个机器人参加一个子任务。 状 态选择完毕报告完毕预定失败搜寻失败*有待搜集物*无待搜集物行 为选择预定报告*选择子任务选择子任务搜寻失败没有待搜集物漫 游报 告避 障发现待搜集物自 由避障完毕遇到障碍搜索算法搜索算法有待搜集物向搜集目标运动向投递区运动抓起搜集物投 递选择完毕预定完毕遇到障碍遇到障碍避障完毕避障完毕自由到达投递区抓住搜集物抵达搜集目标预定失败收集算法收集算法选 择预 定避障避障子任子任务切务切换算换算法法多机器人搜集n多机器人捡物品仿真多机器人捡物品仿真铲型机器人待搜集物夹型机器人指定投递区多机器人搜集n多机器人捡物品仿真多机器人捡物品仿真铲型机器人从事收集工作的概率 夹型机器人从事收集工作的概率 采用同构算法的机器人效率较低。合理的分解分配任务有助于提高异构多机器人系统的工作质量。考虑机器人自身的能力，有利于提高完成工作的效率。 多机器人队形控制n目标描述目标描述n涉及问题涉及问题一组机器人按照规定的队形从一个位置运动到另一个位置。可用于机器人协作搬运。 Leader：主机器人，运动路径依其为参考进行规划 Follower：从机器人，跟随Leader按照队形约束进行规划运动规划问题避障问题通过狭窄空间问题协调问题多机器人队形控制n基于行为的队形保持基于行为的队形保持采用奔向目标、保持队形、切线避碰、随机扰动 4种行为实现队形保持，使一组机器人按照规定的队形从一个位置运动到另一个位置。 奔向目标：该行为使Leader奔向目标 保持队形：Follower跟随Leader按照队形约束进行规划曹志强，未知环境下多机器人协调与控制的队形问题研究，博士论文多机器人队形控制n基于行为的队形保持基于行为的队形保持 切线避碰：沿与障碍物的内切线方向运动，以便避障。 随机扰动：当机器人连续几步不能运动时，加入随机扰动以克服死锁。可选运动方向多机器人队形控制n基于行为的队形保持基于行为的队形保持 行为决策：C1: 发生死锁C2: 无障碍C3: 与障碍物间距离偏小C4: 已绕过静态障碍多机器人队形控制n基于行为的队形保持基于行为的队形保持 协调策略：当Leader没有遇到障碍，但Follower遇到障碍时， Follower不能独立行动。此时，如果队形进行适当旋转能够通过障碍区域，则可以更换Leader。采用仲裁机制，从多个申请者中选出一个机器人作为新的Leader，并通知其他机器人作为Follower。死锁克服死锁多机器人队形控制n基于行为的队形保持基于行为的队形保持 仿真：多机器人围捕n任务描述任务描述n涉及问题涉及问题一组机器人按照搜索并围住一个特定的运动目标。 Evader：主机器人，自由运动，速度较快 Hunter：从机器人，搜索并围困Evader，速度较慢目标搜索运动规划问题避障问题协作问题多机器人围捕n仿真仿真拉网策略包围圈策略一台机器人中间损坏THANK YOU