虚拟现实技术,主讲：杨文晖,第二章 虚拟现实的接口设备,课前索引 第一节 位姿传感器 第二节 视觉显示 第三节 听觉显示 第四节 力觉和触觉显示 章节小结 课后习题,课前索引,1位姿传感器的作用，不同的技术及其对比。 2视觉显示主要的要求，不同的技术及其对比。 3听觉显示的发声设备和声学建模的特点。 4力觉和触觉显示的技术要求及实现方法。,第一节 位姿传感器,位姿传感器的概述,位姿传感器的要求 各种位姿跟踪器的比较 研究要求,位姿传感器的要求,对位姿传感器的要求有5个： （1）3-D空间中的运动的刚体具有三个平移和三个转动 平移（沿着X、Y和Z轴） 转动（偏航、俯仰和滚动） （2）在物体以高速运动时，应该足够快地测出这六个数值。（3）传感器在3-D测量时不应妨碍物体运动。 非接触式测量（低频磁场、超声、雷达、红外摄像和LED等）已经代替机械臂等接触式测量。,（4）3-D传感器都具有一些共同的参数。例如： 采样率 是每秒测量次数。 执行时间 是在行为和结果之间的时间延迟。 传感器的精度 即实际位置与所测出位置的差。 分辨率 是传感器检测的“粒度”，即检测的最小的位置变化。,位姿跟踪常用的性能参数有： 精度，分辨率，采样率，执行时间，范围，工作空间，价格，障碍，方便，对模糊的敏感，容易校准，同时测量的数目，方向相对位置跟踪。 （5）人体各部分之间的相对运动也应该测量。 人体并非刚体。上述六个数值只能描述人体整体的运动，各个部分之间的相对运动也要测量,用于位姿跟踪和映射的基本传感系统有哪些？ 机械链接 磁传感器 光传感器 声传感器 惯性传感器。,2 各种位姿跟踪器的比较,3 研究要求,位姿跟踪器要求合适的性能和合理的价格。 例如对肢体跟踪，某些光学传感器是精确快速的，但对日常应用太贵（在5万到10万美元范围），特别是为了防止阻挡和增加工作空间而加倍安装时。 位姿跟踪器必须使用某些校准过程 为了得到关节角，必须使用某些校准过程，在肢体上建立坐标系。此后的关节角计算将接近真实的生物机械角。 对整个人体跟踪，工作空间大小是重要问题。 应该能在足够大的空间跟踪运动人体，并且不会损失分辨率，不必担心遮挡。被跟踪的人应能在建筑中由一个房间走到另一个房间。如果人体所有主要部分都被跟踪，则要求安装某些东西在人体上（反光器，标记，测角器）,针对性能指标的含义及测量方法之间的不一致性，应该建立标准。 测量方法是在选择位置跟踪方法时最易混淆的一个问题，问题是性能指标的含义及测量方法之间的不一致。应建立标准，指出怎样测精度、分辨率、等待时间、带宽、敏感干扰、和起伏。测量设备应商品化，应建立独立的实验室，使用户不至依赖厂家指标，而是了解真实性能。,位姿传感器机械式传感器,原理 机械式传感器可分两类： “安在身体上的”机械跟踪器中，机械全部安在身上。测角器“安在地面上的”机械跟踪器中，机械部分安在地面。 机械链接,测角器（“安在身体上的”机械跟踪器）,安在身体上的机械链(外骨骼或测角器)，常用作关节角测量 与触觉接口结合，可形成力反馈外骨骼 它是轻便的可移动的，有全范围的运动测量，因为与肢体运动有同样的工作空间。要求使用其它方法跟踪身体运动。 测量角的使用方法有两种 得到关节角 得到末端位置 测角器与关节的校准是困难的，特别是对多自由度关节 例如：肩膀 由于测角器是肢体外部的外骨骼，所以它的转动中心不同于关节转动中心。由于运动的不一致，在测角器和运动肢体之间存在着滑动。人的关节不是完善的铰链关节或球关节，转动轴随关节角而移动。 对于测角器，必须研究装配和测量的问题 例如对不同人体的调整、与关节的调节、足够硬的连接、链接与肢体的校准等,安在地面上的机械链接,作用： 安在地面上的机械链接主要用于大自由度末端跟踪，如头或手的位姿跟踪。它不会引起上述的关节角测量有关的问题。 哪些问题？ 要求操作者牢固地抓住手操作器，或者要求头盔牢固地缚在头上。 安在地面上的机械链接比安在身体上的链接更容易产生力反馈，因为驱动器不必安在身体上。 缺点： 缺点一： 安在地面的机械链接的一个缺点是操作者被连在地面，工作空间受到限制。即使希望有较长的机械臂，两段机械手臂也限制在约2m。只有在操作者坐着不动时，这才是好的方案。 缺点二： 另一个缺点是可测量的自由度数目受到限制，通常六个。对于同时测量多个臂或测量冗余的链接，这都有问题。例如多手指运动一般不用安在地面的链接。此外，人的手臂是冗余的7自由度机构，安在地面的链接不能解决这种冗余。,机械式传感器的优缺点 便宜，比较精确。可以测量整个身体运动，没有延迟。可以同时实现力反馈。 妨碍身体运动。,机械式传感器的产品,跟踪球 3-D探头 传感手套 数据手套 CyberGlove PowerGlove Dextrous Hand Master （DHM）（灵巧手设备）,机械传感器产品一-跟踪球,范例 跟踪球Dimension6，安装有传感器的球 工作原理 它测量用户的手施加在弹性元件上的三个力和三个力矩。力和力矩是基于弹性变形定律间接测量的。球的中心部分是固定的，并有六个发光二极管。相应的六个光敏传感器安装在运动的外部球。当用户在运动球上施加力和力矩时，用六个光敏传感器的输出测量三个力和三个力矩。这些力和力矩数据经过串行口送给主计算机。这些值由软件乘上增益，就得到物体位置和方向的差分变化。增益越大，物体的速度越大，但若主机不能足够快的更新屏幕，物体运动将不平滑。 这种方式实际上是，由用户的手施加在球上的力和力矩的大小，控制虚拟物体的运动速度和角速度的大小。 跟踪球上支座上有若干按键，可根据需要安排用途 缺点 存在传感器的耦合 工作在开环方式，用户可以控制物体和环境间的力，但无反馈,跟踪球的外观以及原理图,机械传感器产品二-3-D探头,第一个3-D探头的诞生 1993年秋Immersion Corporation推出的“Immersion Probe”（沉浸感探头）。它包括一个安装在支座上的，有传感器的小型机械臂。这个探头有六个关节（关节0到关节5）。每个转动关节表示一个自由度，于是探头有六个自由度，这允许同时确定探头尖端的位置和方向。 工作原理 尖端相对底座的位置是通过直接动力学计算，根据传感器数据（关节角）和机械链长度得到的。主计算机上的软件经过RS232接口读取关节传感器数据，然后利用它的动力学模型确定尖端的位置。 传感器的分辨率以及测量速度和精度 对探头“Probe-IC”是0.7，而对探头“Probe-IX”是0.35。测量速度可能达到200位置/秒，执行时间仅3毫秒 。存在误差的原因是关节传感器的分辨率，温度变化和关节的公差。探头的误差会由底座到尖端累积。 优点 它的测量不受磁场干扰，因为探头是机械结构。,机械传感器产品三-传感手套,提问： 跟踪球和3-D探头的优点是什么？ 简单、紧凑和工作速度快 跟踪球和3-D探头的缺点是什么？ 限制了用户手的运动范围，只能在桌子上很小的区域内，手的自然运动受到影响。 我们要求虚拟现实的I/O工具能处理手在一定空间的自由活动，同时通过感觉单个手指的运动，得到更多的自由度。 人的手指运动有三类 弯曲伸直 外展内敛 前位复位,传感手套的研究意义？ 手是人与外界进行物理接触及意识表达的主要媒介。 当人与计算机控制系统进行交互操作时,传统的输入输出接口设备,如键盘、鼠标等只能限制手在桌面上或一个小区域内进行简单的运动控制,而表达意识的大多数手的自然运动被牺牲了,妨碍了人们对系统控制意识表达的全面性与灵活性。 数据手套可以跟踪操作者灵活多变的手势及空间方位,使操作者自然而然地将自己的意识传送至计算机。因此数据手套作为一种重要的人机交互接口,广泛地应用于虚拟现实的研究领域中。,传感手套 是为满足上述要求而设计的虚拟现实工具。 商业化的产品有 VPL公司的DataGlove数据手套， Vertex的CyberGlove， Mattel的PowerGlove， 和Exos Dextrous Hand Master 灵巧手设备。 工作原理 它们都用传感器测量全部或部分手指关节的角度。某些传感手套还用3-D传感器跟踪用户手腕的运动。手套的工作区大于跟踪球和手柄（探头）的工作区。,传感手套-数据手套,应用最多的，应用最早的传感手套 至今应用最多的传感手套是VPL公司的数据手套DataGlove，它也是第一个推向市场的。 使用的材料 传感手套使用光纤，光纤安装在轻便且有弹性的Lycra手套上。它还使用Isotrack 3-D位置传感器。 工作原理 手指的每个被测的关节上都有一个光纤维环。纤维经过塑料附件安装，使之在手指弯曲时作小的移动。在标准的布局中，每个手指背面只安装两个传感器，以便测量主要关节的弯曲运动。 在手指关节弯曲时，光纤壁改变其折射率，于是在手指弯曲处的光线就漏出。这样就可能根据返回光线的强度间接测出关节角。 光纤传感器的优点 是轻便和紧凑，用户戴上手套感到很舒适。,数据手套的校准 把原始的传感器读数变成手指关节角的过程称为手套校准。每当开始一次新的仿真，戴上数据手套时，都必须重新作校准。这是因为不可能知道是否用户把手套松紧合适地戴在手指上。,传感手套-CyberGlove,应用时间 1992年底，VPL倒闭，CyberGlove已经取代了DataGlove 工作原理 每个关节的弯曲角由一对应变片的阻值变化间接测量。在手指运动时，一个应变片受压，另一个应变片受拉。它们的电阻变化就造成电桥上电压的变化。手套上每个传感器有一个电桥电路。这些差分电压由模拟多路扫描器（MUX）进行多路传输，再放大并由A/D转换器数字化。数字化的电压被主计算机采样，再经过校准程序得到关节角度。关节零位的位置可以用硬件改变（利用偏置电位计），也可以用软件改变（利用图形接口）。 特点 把很薄的应变电测量片放在弹性的尼龙合成材料上。手掌区不覆盖这种材料，透气并允许通常的活动，如打字和写字等。很轻并容易戴。 手套的传感器或者是矩形的（用于弯曲角），或者是U-形的（用于外展-内收角）。对弯曲有16至24个传感器（每个手指3个），对外展-内收角1个传感器，再加上拇指及小指的转动，以及手腕的偏转和俯仰。传感器的分辨率是0.5，并在整个关节运动范围内保持不变。还应指出，手套使用解耦的传感器，使输出彼此无关。 Virtex还是一个小公司。CyberGlove产品价格约有10000美元，不包括位置跟踪器和校准源代码。,传感手套-PowerGlove,特点 与DataGlove和CyberGlove（价值几千美元）比较，PowerGlove是很便宜的产品，它的价格只有约50美元。 在1989年大量销售（达到4千万美元），用于Nintendo（任天堂）的基于手套的电子游戏。 原理 为了保持低价格，手套设计使用了很多廉价的技术。手腕位置传感器是超声传感器，超声扬声器放在PC监视器上，而超声麦克风放在手腕上。弯曲传感器是导电墨水传感器。传感器包括在支持结构上的两层导电墨水。墨水在粘合剂中有炭粒子。当底座弯曲时，在弯曲的外侧的墨水就延伸，造成导电炭粒子之间距离增加。这使传感器的阻值增加。反之，当墨水受压缩时，炭粒子之间距离减小，传感器阻值也减小。阻值数据经过简单的校准就转换成关节角数据。,传感手套-Dextrous Hand Master (灵巧手设备),应用时间 1990年Exos公司推出 戴在用户手背上的金属外骨架结构。 工作原理 每个手指有4个传感器，五个手指就有20个传感器。每个角度由安装在机械结构关节上的霍尔效应传感器测量。 特点 结构设计仔细，使手组织柔软性的影响最少。 这些复杂的机械设计造成了高成本（至今最昂贵的传感手套） 专门设计的夹紧弹簧和手指支撑保证在手的全部运动范围内设备的紧密配合。设备是用可调的Velcro带子安装在用户手上。附加的支撑和可调的杆使之适应不同用户手的大小。 高传感速率以及高传感分辨率 DHM的传感器信号送到信号调节盒，然后以100位置/秒的速率被连到用户接口的A/D转换器采样。DHM的高传感速率以及高传感分辨率，是与DataGlove相比的优点。但是它也在精度和校准上存在与其它手套类似的问题。,