虚拟现实及相关技术虚拟现实及相关技术虚拟现实及相关技术 作者：田景成 发布时间：2000/12/271 1 虚拟现实技术与虚拟现实系统虚拟现实技术与虚拟现实系统虚拟现实(Virtual Reality)是一种可以创建和体验虚拟世界(Virtual World)的计算机系统。它的基本特征： 沉浸感(Iimmersion)是指用户作为主角存在于虚拟环境中的真实程度。 理想的虚拟环境应该达到使用户难以分辨真假的程度(例如可视场景应随着视点 的变化而变化)，甚至超越真实，如实现比现实更逼真的照明和音响效果等。 交互性(Iinteraction)是指用户对虚拟环境内的物体的可操作程度和从 环境得到反馈的自然程度(包括实时性)。例如，用户可以用手直接抓取虚拟环 境中的物体，这时手有触摸感，并可以感觉物体的重量，场景中被抓的物体也 立刻随着手的移动而移动。 想象力(Imagination )是指用户沉浸在多维信息空间中，依靠自己的感 知和认知能力全方位地获取知识，发挥主观能动性，寻求解答，形成新的概念。虚拟现实是一门直接来自于应用的涉及众多学科的新的实用技术，是集先 进的计算机技术、传感与测量技术、仿真技术、微电子技术等为一体的综合集 成技术。在计算机技术中，虚拟现实技术的发展又特别依赖于人工智能、图形 学、网络、面向对象、Client/Server、人机交互和高性能计算机技术。虚拟现实是多种技术的综合，其关键技术和研究内容包括以下几个方面： 环境建模技术环境建模技术。虚拟环境的建立是虚拟现实技术的核心内容，环境建模 的目的是获取实际三维环境的三维数据，并根据应用的需要，利用获取的三维 数据建立相应的虚拟环境模型。 立体声合成和立体显示技术。在虚拟现实系统中，如何消除声音的方向 与用户头部运动的相关性已成为声学专家们研究的热点。同时，虽然三维图形 生成和立体图形生成技术已经较为成熟，但复杂场景的实时显示一直是计算机 图形学的重要研究内容。 触觉反馈触觉反馈。在虚拟现实系统中，产生深临其境效果的关键因素之一是让 用户能够直接操作虚拟物体并感觉到虚拟物体的反作用力。然而研究力学反馈 装置是相当困难的，如何解决现有高精度装置的高成本和大重量是一个需要进 一步研究的问题。 交互技术交互技术。虚拟现实中的人机交互远远超出了键盘和鼠标的传统模式， 三维交互技术已经成为计算机图形学中的一个重要研究课题。此外，语音识别 与语音输入技术也是虚拟现实系统的一种重要人机交互手段。 系统集成技术系统集成技术。由于虚拟现系统中包括大量的感知信息和模型，因此系 统的集成技术起着至关重要的作用。集成技术包括信息的同步技术、模型的标定技术、数据转换技术、识别和合成技术等等。2 2 环境建模技术环境建模技术现在地环境建模方法主要有以下几种： Euclidean-geometry 方法 Fractal-geometry 方法 Physically Based Modeling Image Based Rendering 混合建模技术：Image Based Rendering 和 Image Based Rendering， 是未来虚拟环境建模的发展方向。基于图象的建模技术和混合建模技术的步骤和需要考虑的问题。有效地获取模型数据。虚拟化现实有效地获取模型数据。虚拟化现实(Virtualized Reallity)的基本原理是 采用摄像或扫描的手段而不是传统的建模手段来创建虚拟环境中的事件和对象。 如果说传统的几何建模技术是一个“虚物实化“的过程，那么虚拟化现实就是将 现实世界中的事件和对象转换成虚拟世界里的事件和对象，是一个“实物虚化“ 的过程。综合运用“虚物实化“和“实物虚化“，就可以使虚拟环境中既有计算机 创造出来的虚拟实体，又有真实世界中的景物。为获取虚拟化所需要的数据，一般采用从多个不同角度拍摄的摄像机来记 录对象。通过从不同拍录角度获取场景描述，可以得到场景的图象；通过多基多基 线立体化方法线立体化方法 MBS (Multi-basedline Stereo)（MBS 的基本原理是，若用两架 具有同样焦距、所处位置不同的照相机拍摄同一物体，则物体上同一点在两幅 画面中的差距与两架照相机之间的距离有相关性）进行计算深度信息。深度信 息和图象的结合一般称为场景描述(Sence Description)。利用多个场景描述就 可以从任意视角合成场景。一旦现实世界被虚拟化，就可以用图形技术(主要是 基于图象的绘制技术)从任意角度来绘制一个对象。通过跟踪观察者的位置和方 向可以动态选择出最接近观察者的拍录角度的场景描述。穿带着特殊设备的观 察者可以在虚拟化世界中自由移动，并在观看时从一个动态选择的角度来进行 观察。为了能够较快地生成各种视景，一般先采用多边形网格法生成场景描述， 但由于采样精度高，由此建立起的三维模型的复杂程度远远超过了当前计算机 实时的图形处理能力。如何降低这些模型的复杂度，减少图形系统需处理的多 边形数目，实现实时交互，已经成为计算机图形学研究中的一个重大课题。为 此人们提出了各种方法，细节层次 LoD(level of detail)便是其中一种非常有 效的控制场景复杂度的方法。3 3 三维交互三维交互设计和制造出性能优越的三维交互设备是虚拟现实技术的关键。三维交互设备可以分为两类，即三维显示设备和三维控制设备。常见的三维显示设备有头盔式显示器和立体眼镜等。头盔式显示器采用立 体图绘制技术来产生两幅相隔一定间距的透视图，并直接显示到对应于用户左、 右眼的两个显示器上。新型的头盔式显示器都配以磁定位传感器，可以测定用 户的视线方向，使场景能够随着用户视线的改变而作出相应的变化。所有三维空间控制设备的共同特征是至少能够控制六个自由度(Degree of Freedom)，对应于描述三维对象的宽度、高度、深度、俯仰(pitch)角、转动 (yaw)角和偏转(roll)角。常见的三维控制设备有数据手套、跟踪球、三维探针、 三维鼠标器及三维操作杆等。数据手套的出现，为虚拟现实系统提供了一种全 新的交互手段，目前的产品已经能够检测手指的弯曲，并利用磁定位传感器来 精确地定位出手在三维空间中的位置。这种结合手指弯曲度测试和空间定位测 试的数据手套被称为“真实手套“，可以为用户提供一种非常真实自然的三维交 互手段。其他控制设备都是对相应二维设备的三维扩展，即在原来的二维的基 础上增加了第三维方向。人类对对三维空间的想象和接受能力比二维空间弱得 多，因此这种扩展决不仅仅是简单意义上的功能扩充，这当中涉及大量的研究 工作。三维交互技术则使用三维输入输出设备来完成交互任务，主要的技术难点 是如何在三维空间中直接完成定位、拾取与勾画等交互操作。4 4 基于图象的绘制技术基于图象的绘制技术传统的图形绘制技术在现有的计算机硬件仍无法实时绘制简化后的场景几 何。基于图象的绘制技术(Image Based Rendering)基于一些预先生成的场景画 面，对接近于视点或视线方向的画面进行变换、插值与变形，从而快速得到当 前视点处的场景画面。与基于几何的传统绘制技术相比，这种技术的优势在于：1. 图形绘制独立于场景复杂性，仅与所要生成画面的分辨率有关；2. 预先存储的图象(或环境映照)既可以是计算机合成的，也可以是实际拍 摄的画面，两者可以混合使用；3. 算法对计算资源的要求不高，可以在普通工作站和个人计算机上实现复 杂场景的实时显示。 目前基于图象的绘制技术研究重点在如下几个方面： 分层绘制技术， 有效的、适合于实时绘制的三维重建技术， 表面反射属性的快速重建。基于图象的绘制技术的实现方法。源于在图形学中广泛使用的纹理映射纹理映射。这种方法将纹理图象映射到简单景 物的几何表面，以近似描述表面的纹理细节。用户可取不同的位置和角度来观 察这些景物，在不同视点和视线方向上，景物表面的绘制过程实际上是纹理图 象在取景变换之后的简单景物几何上的重投影变形的过程。在纹理映射的基础上出现了环境映照环境映照方法，采用纹理图象来表示景物表面 的镜面反射和规则透射效果。具体来说，一点处的环境映照可通过取该点为视 点，将周围场景投影变形到一个中间面上来得到，中间面可取球面、立方体、 圆柱面等。这样，当通过该点沿任何视线方向观察场景时，环境映照都可提供 场景的完全、准确的视图。基于这种策略，Eric Chen 设计了一个虚拟现实系统 QuickTime VR，通过 在场景的离散采样点处预先建立环境映照，从而可使用户在虚拟环境中实时地 从一个采样点漫游到另一个采样点处。这类系统的主要缺陷在于漫游过程中视点只能位于固定的网格点上，而不能提供场景的连续视图，产生跳跃感产生跳跃感。事实上，上述投影变形技术存在很大局限性，只适用于在固定视点旋转摄 像机的情况，而无法处理摄像机位置移动的情况。当平移摄像机时，由于景物 前后遮挡关系和改变，所得图像并不完全是原存储图像的重新投影和简单变形， 其画面内容在局部区域中发生变化。解决这一问题的有效方法有效方法是在原给定的图象序列中引入可见点的深度，以 提供原始场景的部分三维信息。具体作法是利用给定画面上可见点的深度值， 局部重建场景的三维几何，并基于这些三维信息对可见点直接进行投影变换， 或建立该画面与其相邻画面象素的对应关系。使用前一种方法，由单幅画面即 可生成相邻视点处新的图象，而后一种方法则需给定若干幅相邻的深度图象。 利用这种基于深度信息的投影变形技术，可以在不同视点的图象序列之间生成 连续过渡的中间画面，若在预处理中已生成好场景中各采样点处的深度全景图 象，则可实现对场景的连续漫游，漫游过程中不再出现跳跃感。这种基于可见点深度信息的重投影过程基于可见点深度信息的重投影过程在理论上很合理，但缺点是在所生 成的中间画面上可能存在空洞，这是由于所给定的图象无法提供中间画面空洞 处可见点的信息而造成的。空洞的填补是一个非常复杂、计算量很大的过程。光场重建光场重建(Light Field Recontruction)技术是在全景函数重建技术上发展 起来的一种新的基于图像的绘制技术。一般地，全景函数由一参数方程来描述， 定义了空间任一处、在任何时刻和任一波长范围内场景中的所有可见信息。全 景函数事实上刻划了一给定场景的所有可能的环境映照，因而以图象的方式给 出了场景的精确描述。为生成一帧给定视点沿特定方向的视图，只需将视点 V(Vx , Vy , Vz)和球面角 、 及时刻 t 代入全景函数即可。这其实是对全 景函数的采样过程，所得视图即为全景函数的一个样本。因此，基于图象的图基于图象的图 形绘制问题可描述为：给定全景函数的离散样本集合，生成该全景函数的一个形绘制问题可描述为：给定全景函数的离散样本集合，生成该全景函数的一个 连续表示。连续表示。基于这一描述，基于图象的绘制过程可分解为全景函数的采样、重 建和重采样三个过程。一般来说，全景函数的获取是非常困难的，这是由于所包含的信息远远超 出了当前计算机的处理能力。所谓混合式基于图象的绘制技术，指的就是同时采用几何及图象作为基本混合式基于图象的绘制技术，指的就是同时采用几何及图象作为基本 元素来绘制画面的技术。元素来绘制画面的技术。该技术根据一定的标准，动态地将部分场景简化为映 射到简单几何体上的纹理图象，若简化引起的误差小于给定阈值，就直接利用 纹理图象取代原场景几何来绘制画面。简单几何面置于被简化景物的中心，而 简化误差被严格控制在给定的阈值内。这种绘制技术可以在一定误差条件下， 以较小的代价来快速生成场景画面，同时仍保持正确的前后排序，所生成的图 形质量也很高。1996 年 Shade 等人提出了层次图象存储算法层次图象存储算法(Hierarchical Image Caching Algorithm)。该算法的基本出发点是，当景物离视点较远时，在前后 两帧画面上投影位置的变化非常小。因此，若将这些远距离景物在前一帧画面 中的投影图象存储起来，并以该图象作为纹理