虚拟现实技术及应用虚拟现实技术及应用Virtual Realityhaoytvip.sina.com同济大学CAD研究中心 副教授2007第二章第二章 虚拟现实技术的技术体系结构虚拟现实技术的技术体系结构2.1 虚拟现实技术的体系结构虚拟现实技术的体系结构q体系结构体系结构输入处理器渲染处理器用户模拟处理器虚拟世界数据库q模拟处理器模拟处理器 VR的核心程序的核心程序处理处理: 控控制制交交互互、对对象象动动作作和和决决定定虚虚拟拟世世界界的的状态。状态。q渲染处理渲染处理感觉传输到用户感觉传输到用户视觉视觉听觉听觉触觉（触摸触觉（触摸/力）力）实时图像生成实时图像生成SGI 图形工作站图形工作站q虚拟世界数据库虚拟世界数据库设计的主体部分设计的主体部分隶属虚拟世界的对象信息隶属虚拟世界的对象信息描述动作的脚本描述动作的脚本用户信息用户信息灯光效果灯光效果程序控制程序控制硬件设备支持硬件设备支持OOD技术技术q虚拟现实建模语言虚拟现实建模语言(VRML) Virtual Reality Modeling LanguageVRML 是是在在因因特特网网上上建建立立虚虚拟拟现现实实的的开开放标准放标准qA VRML cylinder#VRML V2.0 utf8 # A Cylinder Shape appearance Appearance material Material geometry Cylinder height 2.0 radius 1.5 Cylinder.wrl2.2 虚拟现实的多感知系统体系虚拟现实的多感知系统体系和技术和技术J.J.Gibson总结的总结的感知系统人类的感知系统人类的感知系统行为系统人类的行为系统人类的行为系统人与环境的关系人与环境的关系虚拟现实系统虚拟现实系统http:/www.reflex.lth.se/reflex/whatisVR/1992年Bryson主计算机数据手套（传感器）（信号源）BOOM双筒全方位监视器多感知系统技术框图多感知系统技术框图一个示例：一个示例：virtual cockpithttp:/www.ipo.tue.nl/homepages/mrauterb/presentations/HCI-history/sld068.htm1、视觉生成技术、视觉生成技术1.1 视觉生成基本原理：视觉生成基本原理：光线跟踪的方法光线跟踪的方法q假设从视点假设从视点V通过屏幕象素通过屏幕象素 e向场景投射光线交场景中向场景投射光线交场景中的景物于的景物于P1, P2, ,Pm , 那么离视点那么离视点 最近的最近的P1 就是画就是画面在象素点面在象素点 e 处的可见点，象素处的可见点，象素 e 的光亮度应由的光亮度应由 P1 点点向向 P1V方向辐射的光亮度决定。如此求出视域内每一方向辐射的光亮度决定。如此求出视域内每一个象素的光亮度，则可生成一幅完整的真实感图象。个象素的光亮度，则可生成一幅完整的真实感图象。e光线跟踪技术(ray tracing)I = Ic + ts Is + tt It其中：I ： 可见点 P 处的光亮度。Ic： 局部光照亮度ts Is：环境镜面反射光亮度tt It： 规则透射光亮度每一点的光亮度求法每一点的光亮度求法视觉生成的基本内容视觉生成的基本内容在图形设备上生成逼真视景必须完成四个基本任务：在图形设备上生成逼真视景必须完成四个基本任务：1.用数学方法建立所需要三维场景的几何描述用数学方法建立所需要三维场景的几何描述2.将三维几何描述转换为二维视图将三维几何描述转换为二维视图这可通过对场景的透视变换来完成。这可通过对场景的透视变换来完成。3.确定场景中的所有可见面确定场景中的所有可见面这需要使用隐藏面消除算法将视域之外的或被其他物体遮挡这需要使用隐藏面消除算法将视域之外的或被其他物体遮挡的不可见面消去。的不可见面消去。4.计算场景中可见面的光强与颜色计算场景中可见面的光强与颜色严格地说，就是根据基于光学物理的光照模型计算可见面投严格地说，就是根据基于光学物理的光照模型计算可见面投射到观察者眼中的光亮度大小和色彩，并将它转换成合适图射到观察者眼中的光亮度大小和色彩，并将它转换成合适图形设备的颜色值，从而确定投影画面上每一个象素的颜色，形设备的颜色值，从而确定投影画面上每一个象素的颜色，最终生成视景。最终生成视景。1.2 视景的几何建模与表示方法视景的几何建模与表示方法q要实现虚拟现实，首先要尽可能详细地表示虚拟现实的场景几何信息。例如：表示虚拟环境中的山川河谷、鱼虫鸟兽，花例如：表示虚拟环境中的山川河谷、鱼虫鸟兽，花草树木、五官躯体、车船路桥等。草树木、五官躯体、车船路桥等。q实现虚拟现实视景的表示方法有：实现虚拟现实视景的表示方法有：多边形多边形(三角形三角形)网格表示方法网格表示方法结构立体几何表示方法结构立体几何表示方法体数据表示方法体数据表示方法(volume-based method)多边形多边形(三角形三角形)表示方法表示方法q这种方法又称为表面或边界表示方法，即物体这种方法又称为表面或边界表示方法，即物体的立体几何信息是通过它们的边界面或包围面的立体几何信息是通过它们的边界面或包围面来表示的。而物体的边界面或包围面（即物体来表示的。而物体的边界面或包围面（即物体的表面）可以用多边形表示。的表面）可以用多边形表示。结构立体几何表示方法结构立体几何表示方法q这种方法又称为体积表示方法。这种表示方法这种方法又称为体积表示方法。这种表示方法中，物体被表示为一个三维体积基元的集合及中，物体被表示为一个三维体积基元的集合及它们之们的布尔运算：并、交及差。它们之们的布尔运算：并、交及差。Volume-based methodsq表示单元为体素表示单元为体素(voxel)q每个体素表示了所在位置的颜色、密度每个体素表示了所在位置的颜色、密度等相关信息。等相关信息。其他建模与表示技术其他建模与表示技术(VR相关相关)q细节层次细节层次(Levels of Detail: LOD)技术技术q纹理映射纹理映射(texture map)技术技术纹理映射技术纹理映射技术(texture mapping) q在视景表示时，对于有些细节，不需要建立相在视景表示时，对于有些细节，不需要建立相应的多边形表示，为了达到很好的视觉效果，应的多边形表示，为了达到很好的视觉效果，只需要建立简单的几何模型，然后在几何模型只需要建立简单的几何模型，然后在几何模型的面上贴上对应的逼真图片就可以了。这种方的面上贴上对应的逼真图片就可以了。这种方法称为纹理映射方法。法称为纹理映射方法。q这这不不仅仅增增加加了了场场景景的的逼逼真真度度，而而且且减减少少了了表表示示场景的多边形数目。场景的多边形数目。映射纹理前的场景映射纹理后的场景纹理映射技术纹理映射技术(示例示例)1.3 立体显示技术立体显示技术基本原理：基本原理：人的视觉系统可以通过四种线索得到深度知觉人的视觉系统可以通过四种线索得到深度知觉:n侧视网膜图象差侧视网膜图象差(lateral retinal image disparity);n运动视差运动视差(motion parallax);n图象大小差异图象大小差异(differential image size);n纹理梯度纹理梯度(texture gradient)。目前的立体显示技术基本上是基于双目视差原理实现的。目前的立体显示技术基本上是基于双目视差原理实现的。影响（沉浸感）立体影响（沉浸感）立体 视觉因素视觉因素宽视野（）宽视野（）立体显示立体显示彩色彩色高分辨率高分辨率头部跟踪头部跟踪主要视觉设备：主要视觉设备：红蓝滤色眼镜红蓝滤色眼镜液晶开关的立体视眼镜液晶开关的立体视眼镜三维头盔显示器（三维头盔显示器（HMDHMD）双筒全方位监视器（双筒全方位监视器（BOOMBOOM）墙式显示屏自动声象虚拟环境（墙式显示屏自动声象虚拟环境（CAVECAVE）q头头 盔盔 式式 显显 示示 器器 （ Head Mounted Display ，HMD)HMD 实物与原理图头盔显示器头盔显示器qHead Mounted Display, HMD头盔实现方法1带有光导纤维的HMD的原理HMD 的实现方法的实现方法q美国美国icuiti公司公司q分辨率：分辨率：VGA（640 X 480）q价格价格69800日圆（约合人民币日圆（约合人民币5235元）元）q距距离离眼眼睛睛1 cm，画画面面相相当当于于2 米米外外42 英英寸寸屏幕屏幕q厚度厚度2 cm，重量，重量70 gq支持连接支持连接DVD播放器、桌面电脑等播放器、桌面电脑等q电电源源使使用用3节节AA电电池池，可可以以连连续续播播放放5小小时时左右。左右。 Video Eyewear 眼镜式显示器BOOMqBinocular Omni-Orientation Monitorhttp:/www.fakespacelabs.com/tools.htmBOOMFS2 qBinocular Omni Orientation Monitor (BOOM)CAVEqCave Automatic Virtual Environmenthttp:/www.evl.uic.edu/pape/CAVE/http:/www.ipo.tue.nl/homepages/mrauterb/presentations/HCI-history/sld076.htmCyberSphereqFully Immersive Spherical Projection System Illustration of the Spherical Projection System the Fully Immersive Spherical Projection System http:/www.vr-systems.ndtilda.co.uk/sphere1.htmImmersaDesk http:/www.evl.uic.edu/pape/CAVE/idesk/paper/http:/avl.iu.edu/technology/idesk/Infinity Wall http:/www.evl.uic.edu/pape/CAVE/idesk/paper/http:/www.it.bton.ac.uk/staff/lp22/CS133/vrslides/sld009.htm2、声音生成技术、声音生成技术听觉听觉 3D &Stereo声声源源定定位位：强强度度（高高频频）和和时时差差（低频）（低频）问问题题：声声音音从从头头里里发发出出，随随强强度度差差而偏左或偏右而偏左或偏右原因：与耳朵形状有关原因：与耳朵形状有关解决：解决：Convolvotron($15,000) 耳内录音耳内录音 + 计算计算3 触觉与力觉生成技术触觉与力觉生成技术3.1 触觉与力觉反馈设备触觉与力觉反馈设备qThere are two main types of haptic devices:devices that allow users to feel textures of 2-dementional objects with a pen or mouse-type interface glove or pen-type devices that allow the user to touch and manipulate 3-dementional virtual objects q触觉（触觉（Haptic)Haptic: 机机械械感感受受器器（压压力力与与纹纹理理）与与本本体体感感受受器器(proprioceptor)（重重量、形状、大小）量、形状、大小）机机械械臂臂，空空气气囊囊，记记忆忆金金属属，小小马马达，小探针达，小探针第二代TeletactII装有更高分辨率的指尖空气室，其余部分的空气室更大，并提供手掌反馈系统。很大的手掌空气室允许用户使劲握物体，然后接收刺激。TeletactII与TeletactI使用相似，只是空气室由20增加到30个。在中指尖、食指尖和拇指区域空气室密度较大，空气室也被放在手的背部，以产生手接触物体的感觉。ARRC力学反馈手套力学反馈手套笔式力量感知器笔式力量感知器PHANTOM Omni Haptic Device http:/www.sensable.com/products/phantom_ghost/phantom-omni.aspBy SensAble Technologies 力反馈手套力反馈手套RMRM像一付手套似的戴在用户的手上。主要结构包括一个小平台，上面架着四个特制的汽缸。每个汽缸轴的顶端都和相应的指尖相连接，轴和指尖的连接通过“Y”形的连接物。一个简单的细皮手套被作为传感器/反馈系统的支持结构。CyberGrasphttp:/www.immersion.com/3d/products/cyber_grasp.phpBy Immersion Corporation q数据手套数据手套qDHM手势传感装置原理图手势传感装置原理图4、身体位置跟踪、身体位置跟踪q身体跟踪身体跟踪位置的跟踪（位置位置的跟踪（位置+方向）方向）及及角角度的度量（指关节、光纤）度的度量（指关节、光纤）眼动跟踪眼动跟踪q位置跟踪技术：位置跟踪技术：正交电磁场正交电磁场 Polhemus trackers超声波信号超声波信号 Logitec. Mattel Power Glove机械连接机械连接 Fake Space Labs视频信号处理视频信号处理 Myron KruegerLED视频传感视频传感UNC at Chapel Hill惯性跟踪（加速度）惯性跟踪（加速度）SpaceballqPowerGlove示意图示意图q三维鼠标器示意图三维鼠标器示意图基于运动跟踪的方法基于运动跟踪的方法q一种人体运动记录回放的方法一种人体运动记录回放的方法q关键：数据的转换关键：数据的转换基于运动跟踪的方法基于运动跟踪的方法基于运动跟踪的方法基于运动跟踪的方法记录点记录点的坐标的坐标转换成转换成旋转角旋转角驱动虚驱动虚拟角色拟角色运动重运动重定向定向基于运动跟踪的方法基于运动跟踪的方法虚拟现实系统虚拟现实系统http:/www.reflex.lth.se/reflex/whatisVR/一个示例：一个示例：virtual cockpithttp:/www.ipo.tue.nl/homepages/mrauterb/presentations/HCI-history/sld068.htm2.3 几种典型的虚拟现实系统及其应用几种典型的虚拟现实系统及其应用J.J.Gibson总结的总结的感知系统人类的感知系统人类的感知系统行为系统人类的行为系统人类的行为系统人与环境的关系人与环境的关系虚拟现实的概念模型虚拟现实的概念模型王兆其，虚拟环境中物体运动逼真性的研究，博士学位论文，北京航空航天大学，1999.6. (1) Augmented Realityq应用领域：维修，医学检查，培训等应用领域：维修，医学检查，培训等q主要问题：虚实一致性主要问题：虚实一致性王兆其虚拟环境中物体运动逼真性的研究博士论文，北京航空航天大学，1999.6. R. T. Azuma,A Survey of Augmented Reality, Presence: Teleoperators and Virtual Environments, 1997, 6(4):355385 (2) 多用户虚拟现实系统多用户虚拟现实系统 q一次允许多个用户参与。一次允许多个用户参与。q典型的系统有：典型的系统有：mWorld, CAVE，DIVE等等 q主要应用：虚拟研讨环境主要应用：虚拟研讨环境(聊天室聊天室), 虚拟社区虚拟社区 q主要问题：保证多个用户对虚拟环境有一致的感受主要问题：保证多个用户对虚拟环境有一致的感受 王兆其虚拟环境中物体运动逼真性的研究博士论文，北京航空航天大学，1999.6.(3) 分布式虚拟现实系统分布式虚拟现实系统q分布于不同地理位置的多台计算机通过网络互联分布于不同地理位置的多台计算机通过网络互联 q主要应用：军事仿真，多用户虚拟环境主要应用：军事仿真，多用户虚拟环境q典型系统：典型系统：SIMNET ，NPSNET，STOW， DVENETq主要问题：系统的一致性主要问题：系统的一致性(由数据分布与网络延迟引起由数据分布与网络延迟引起)王兆其虚拟环境中物体运动逼真性的研究博士论文，北京航空航天大学，1999.6.(4) 遥存在遥存在(Tele-Presence) q真实世界与操作人员相隔两地真实世界与操作人员相隔两地q主要应用：远程手术，远程探测等主要应用：远程手术，远程探测等 王兆其虚拟环境中物体运动逼真性的研究博士论文，北京航空航天大学，1999.6.第二讲结束第二讲结束谢谢！