第七章第七章 三维重建技术三维重建技术7.1概述概述任务任务二维二维发展发展早期探索阶段（1970s - 1980s） 主要针对心脏、肝脏、胚胎、神经等器官的三维重建；表面重建的算法：轮廓线提取算法、轮廓线对应算法、三角片镶嵌算法、曲面拟合算法等等； 基础算法研究阶段（1990s） 基于体元的表面绘制算法：Cuberille，Marching Cubes，Dividing Cubes；直接体绘制算法：Raycasting，Splatting，V-Buffer；及各种加速算法； 实用系统研究阶段(90年代末) 外科手术模拟系统、放射治疗模拟、虚拟内窥镜、整形外科、解剖模拟。应用领域应用领域诊断医学： 在临床核医学研究中，CT图象、磁共振图象和超声图象的广泛应用是诊断的有力的手段。应用先进的可视化技术对这些图象进行处理、构造三维实体模型以及对其进行剖切显示，有助于了解复杂解剖特征的空间定位和随着时间所发生的变化。 整形与假肢手术规划 可视化技术在整形外科中的应用是假肢设计（造型）。例如，在做髋骨更换手术前，需要根据病人的个体特征正确地设计所需髋骨假肢的外形，才能减少因假肢形状差异造成手术失败的概率。首先根据CT或MR图象重构假肢的精确三维模型，交工厂制作，然后进行手术更换。 放射治疗计划 利用放射性射线杀死或抑制恶性肿瘤需要事先做出仔细规划，包括剂量计算和照射点定位。如果辐射定位不准或剂量不当，轻则造成治疗效果不佳，重则危及周围正常组织。根据医学图象重建病人病灶区的解剖结构，并作出精确定位和剂量计算已是实际可行的。 脑结构图及其功能研究 由于脑的复杂性，纯粹采用神经生物学家所常采用的简化方法无法对之作出进一步了解。可视化技术在通过组织切片、医学成象仪器（如超声波、CT、MR、PET等）、药物吸收和神经生理实验等手段获取脑的数字图象，并进行特征提取和脑图分析，重构三维脑的结构图和功能图，以适当的三维显示方式显示出来。7.2主要内容主要内容预处理预处理分割分割二维分割二维分割三维分割三维分割重建重建绘制绘制面绘制面绘制体绘制体绘制7.3表面绘制表面绘制MarchingCube算法算法表面表面重建重建皮肤皮肤灰度灰度阈值阈值HU=500表面表面重建重建皮肤皮肤HU=500骨头骨头HU=1150表面表面重建重建透明显示透明显示皮肤皮肤HU=500表面表面重建重建透透明显示明显示皮肤皮肤HU=500骨骼骨骼HU=1150阻光度阻光度=0.8阻光度阻光度=0.6阻光度阻光度=0.4阻光度阻光度=0.257.3体绘制体绘制 在自然环境和计算模型中，许多对象和现象只能用三维数据场来表示。与传统的计算机图形学相比，对象体不再用几何曲面或曲线表示的三维实体，而是用体素（Voxel）作为基本造型单元。对于每一体素，不仅其表面而且其内部都包含了对象信息，这是仅用曲线和曲面等几何造型方法所无法表示的。体绘制的目的就在于提供一种基于体素的绘制技术，它有别于传统的基于面的绘制，能显示出对象体的丰富的内部细节。体光照模型 体光照模型是研究直接体绘制的基础。从物理意义上讲，当光线穿过体素与光线遇到一曲面时，会发生不同的光学现象。前者如光线穿过云层会发生吸收、散射等现象；后者如光线射到桌面上，有漫射、反射、透射等现象。不同的物理背景决定了体光照强度的计算与面光照强度的计算有不同的模型和方法。体光照模型就是研究光线穿过体素时的变化，将光线穿过体素时的物理现象用数学模型来描述。在目前的体绘制中，采用得较多的有： 源-衰减模型（Source attenuation） 变密度发射模型（Varying density emitters） 材料分类及组合模型（Classification and mixture） 源-衰减模型最早由Jaffery提出。该模型为体数据场中的每一体素分配一个源强度和一个衰减系数，每一个体素作为一个质点光源，发出的光线在数据场中沿距离衰减后被投影到视平面上，形成结果图象。 当光照射到物体表面时，光线可能被吸收、反射和透射。被物体吸收的部分转化为热，反射、透射的光进入人的视觉系统，使我们能看见物体。 为模拟这一现象，建立一些数学模型来替代复杂的物理模型，这些模型就称为明暗效应模型或者光照明模型。三维形体的图形经过消隐后，再进行明暗效应的处理，可以进一步提高图形的真实感。 计算某一点的光强度的模型。光照模型光照模型影响观察者看到的表面颜色的因素影响观察者看到的表面颜色的因素物体的几何形状物体的几何形状光源光源 位置、距离、颜色、数量、强度、种类位置、距离、颜色、数量、强度、种类位置、距离、颜色、数量、强度、种类位置、距离、颜色、数量、强度、种类环境环境 遮挡关系、光的反射与折射遮挡关系、光的反射与折射遮挡关系、光的反射与折射遮挡关系、光的反射与折射、阴影阴影阴影阴影视点位置视点位置物性物性 材料、颜色、透明度材料、颜色、透明度材料、颜色、透明度材料、颜色、透明度 折射性折射性折射性折射性表面光洁度表面光洁度光源光源几何性质几何性质点光源点光源点光源点光源线光源线光源线光源线光源面光源面光源面光源面光源光谱组成光谱组成白色光等能量的各种波长可见光的组合白色光等能量的各种波长可见光的组合白色光等能量的各种波长可见光的组合白色光等能量的各种波长可见光的组合彩色光彩色光彩色光彩色光单色光单色光单色光单色光w光的传播光的传播反射定律：入射角等于反射角，而且反射光反射定律：入射角等于反射角，而且反射光反射定律：入射角等于反射角，而且反射光反射定律：入射角等于反射角，而且反射光线、入射光线与法向量在同一平面上线、入射光线与法向量在同一平面上线、入射光线与法向量在同一平面上线、入射光线与法向量在同一平面上折射定律折射定律折射定律：折射线在入射线与法线构成的平折射定律：折射线在入射线与法线构成的平折射定律：折射线在入射线与法线构成的平折射定律：折射线在入射线与法线构成的平面上，折射角与入射角满足面上，折射角与入射角满足面上，折射角与入射角满足面上，折射角与入射角满足能量关系能量关系在光的反射和折射现象中的能量分布：在光的反射和折射现象中的能量分布：在光的反射和折射现象中的能量分布：在光的反射和折射现象中的能量分布：下标为下标为下标为下标为i,d,s,t,vi,d,s,t,v的能量项分别表示的能量项分别表示的能量项分别表示的能量项分别表示为入射光为入射光为入射光为入射光强，漫反射光强，镜面反射光强，透射光强，强，漫反射光强，镜面反射光强，透射光强，强，漫反射光强，镜面反射光强，透射光强，强，漫反射光强，镜面反射光强，透射光强，吸收光强吸收光强吸收光强吸收光强能量是守恒的能量是守恒的能量是守恒的能量是守恒的简单光照明模型简单光照明模型w模拟物体表面的光照明物理现象的数模拟物体表面的光照明物理现象的数学模型光照明模型学模型光照明模型w简单光照明模型亦称亦称局部光照明模型，其假定物体是不透明的，只考虑光源其假定物体是不透明的，只考虑光源的直接照射，而将光在物体之间的传的直接照射，而将光在物体之间的传播效果笼统地模拟为环境光。播效果笼统地模拟为环境光。w可以处理物体之间光照的相互作用的可以处理物体之间光照的相互作用的模型称为模型称为整体光照明模型简单光照明模型简单光照明模型光照射到物体表面，主要发生：光照射到物体表面，主要发生：反射反射透射（对透明物体）透射（对透明物体）部分被吸收成热能部分被吸收成热能w反射光，透射光决定了物体所呈现的颜色反射光，透射光决定了物体所呈现的颜色简单光照明模型简单光照明模型-环境光环境光假定物体是不透明的（即无透射光）假定物体是不透明的（即无透射光）假定物体是不透明的（即无透射光）假定物体是不透明的（即无透射光）w环境光：环境光：在空间中近似均匀分布，即在任何位置、在空间中近似均匀分布，即在任何位置、在空间中近似均匀分布，即在任何位置、在空间中近似均匀分布，即在任何位置、任何方向上强度一样任何方向上强度一样任何方向上强度一样任何方向上强度一样, ,记为记为记为记为Ia aw环境光反射系数环境光反射系数Ka a：在分布均匀的环境光照射在分布均匀的环境光照射在分布均匀的环境光照射在分布均匀的环境光照射下，不同物体表面所呈现的亮度未必相同，因为它们下，不同物体表面所呈现的亮度未必相同，因为它们下，不同物体表面所呈现的亮度未必相同，因为它们下，不同物体表面所呈现的亮度未必相同，因为它们的环境光反射系数不同。的环境光反射系数不同。的环境光反射系数不同。的环境光反射系数不同。w光照明方程（仅含环境光）：（仅含环境光）：Ie e=K Ka aI Ia a Ie e为物体表面所呈现的亮度。为物体表面所呈现的亮度。简单光照明模型简单光照明模型-环境光例子环境光例子w具有不同环境光反射系数的两个球具有不同环境光反射系数的两个球简单光照明模型简单光照明模型-环境光环境光w缺点：虽然不同的物体具有不同的亮度，缺点：虽然不同的物体具有不同的亮度，但是同一物体的表面的亮度是一个恒定但是同一物体的表面的亮度是一个恒定的值，没有明暗的自然过度。的值，没有明暗的自然过度。w w考虑引入点光源。考虑引入点光源。考虑引入点光源。考虑引入点光源。w w点光源：几何形状为一个点，位于空间中的某点光源：几何形状为一个点，位于空间中的某点光源：几何形状为一个点，位于空间中的某点光源：几何形状为一个点，位于空间中的某个位置，向周围所有的方向上辐射等强度的光。个位置，向周围所有的方向上辐射等强度的光。个位置，向周围所有的方向上辐射等强度的光。个位置，向周围所有的方向上辐射等强度的光。记其亮度为记其亮度为记其亮度为记其亮度为I Ip pw点光源的照射：点光源的照射：在物体的不同部分其亮度也不在物体的不同部分其亮度也不在物体的不同部分其亮度也不在物体的不同部分其亮度也不同，亮度的大小依赖于物体的朝向及它与点光源之间同，亮度的大小依赖于物体的朝向及它与点光源之间同，亮度的大小依赖于物体的朝向及它与点光源之间同，亮度的大小依赖于物体的朝向及它与点光源之间的距离的距离的距离的距离. .简单光照明模型简单光照明模型简单光照明模型：简单光照明模型：-漫反射漫反射角度角度余弦的推导余弦的推导w w漫反射漫反射漫反射漫反射粗糙、无光泽物体（如粉笔）表面对光的反射粗糙、无光泽物体（如粉笔）表面对光的反射粗糙、无光泽物体（如粉笔）表面对光的反射粗糙、无光泽物体（如粉笔）表面对光的反射光照明方程光照明方程光照明方程光照明方程w w漫反射的亮度漫反射的亮度漫反射的亮度漫反射的亮度w w点光源的亮度点光源的亮度点光源的亮度点光源的亮度w w漫反射系数漫反射系数漫反射系数漫反射系数w w入射角入射角入射角入射角漫反射光的强度漫反射光的强度漫反射光的强度漫反射光的强度只与入射角有关只与入射角有关只与入射角有关只与入射角有关简单光照明模型简单光照明模型-漫反射漫反射w将环境光与漫反射结合起来将环境光与漫反射结合起来一般取一般取一般取一般取I Ia a= (0.020.2)= (0.020.2)= (0.020.2)= (0.020.2)I I I Id d d dw例子例子简单光照明模型简单光照明模型-漫反射漫反射缺点：对于许多物体，使用上式计算其反缺点：对于许多物体，使用上式计算其反射光是可行的，但对于大多数的物体，射光是可行的，但对于大多数的物体，如擦亮的金属、光滑的塑料等是不适用如擦亮的金属、光滑的塑料等是不适用的，原因是这些物体还会产生镜面发射。的，原因是这些物体还会产生镜面发射。简单光照明模型简单光照明模型-镜面反射镜面反射w镜面反射镜面反射光滑物体（如金属或塑料）表面对光的反射光滑物体（如金属或塑料）表面对光的反射光滑物体（如金属或塑料）表面对光的反射光滑物体（如金属或塑料）表面对光的反射w高光高光入射光在光滑物体表面形成的特别亮的区域入射光在光滑物体表面形成的特别亮的区域入射光在光滑物体表面形成的特别亮的区域入射光在光滑物体表面形成的特别亮的区域简单光照明模型简单光照明模型-镜面反射镜面反射w理想镜面反射理想镜面反射w观察者只能在反射方向上才能看到反射观察者只能在反射方向上才能看到反射光，偏离了该方向则看不到任何光。光，偏离了该方向则看不到任何光。简单光照明模型简单光照明模型-镜面反射镜面反射w w非理想镜面反射非理想镜面反射非理想镜面反射非理想镜面反射w wP P为物体表面上一点，为物体表面上一点，为物体表面上一点，为物体表面上一点，L L为从为从为从为从P P指向光源的单位指向光源的单位指向光源的单位指向光源的单位矢量，矢量，矢量，矢量，N N为单位法矢量，为单位法矢量，为单位法矢量，为单位法矢量，R R为反射单位矢量，为反射单位矢量，为反射单位矢量，为反射单位矢量，V V为从为从为从为从P P指向视点的单位矢量指向视点的单位矢量指向视点的单位矢量指向视点的单位矢量 光滑平面I = Ip K scosna镜面简单光照明模型简单光照明模型-镜面反射镜面反射w镜面反射镜面反射w wIsIs为为为为镜面反射光强。镜面反射光强。镜面反射光强。镜面反射光强。 点光源的亮度点光源的亮度点光源的亮度点光源的亮度K K K Ks s是与物体有关的镜面反射系数。是与物体有关的镜面反射系数。是与物体有关的镜面反射系数。是与物体有关的镜面反射系数。n n n n为为为为镜面反射指数，镜面反射指数，镜面反射指数，镜面反射指数，n n越大，则越大，则越大，则越大，则IsIs随随随随aaaa的增大衰减的越快。的增大衰减的越快。的增大衰减的越快。的增大衰减的越快。 n n n n的取值与表面粗糙程度有关。的取值与表面粗糙程度有关。的取值与表面粗糙程度有关。的取值与表面粗糙程度有关。n n n n越大，表面越平滑（散射现象少，稍一偏离，明越大，表面越平滑（散射现象少，稍一偏离，明越大，表面越平滑（散射现象少，稍一偏离，明越大，表面越平滑（散射现象少，稍一偏离，明暗亮度急剧下降）暗亮度急剧下降）暗亮度急剧下降）暗亮度急剧下降）n n n n越小，表面越毛糙（散射现象严重）越小，表面越毛糙（散射现象严重）越小，表面越毛糙（散射现象严重）越小，表面越毛糙（散射现象严重）或w简单光照明模型模拟物体表面对光的反简单光照明模型模拟物体表面对光的反射作用射作用, ,光源为点光源光源为点光源w反射作用分为反射作用分为物体间作用用环境光物体间作用用环境光物体间作用用环境光物体间作用用环境光( ( ( (Ambient Light)Ambient Light)Ambient Light)Ambient Light)漫反射漫反射漫反射漫反射( ( ( (Diffuse Reflection)Diffuse Reflection)Diffuse Reflection)Diffuse Reflection)镜面反射镜面反射镜面反射镜面反射( ( ( (SpecularSpecularSpecularSpecular Reflection) Reflection) Reflection) Reflection)简单光照明模型简单光照明模型-Phong光照明模型光照明模型简单光照明模型简单光照明模型-Phong光照明模型光照明模型wPhongPhong光照明模型的综合表述：由物体表光照明模型的综合表述：由物体表面上一点面上一点P P反射到视点的光强反射到视点的光强I为环境光为环境光的反射光强的反射光强Ie e、理想漫反射光强理想漫反射光强Id d、和镜和镜面反射光面反射光Is s的总和。的总和。wPhongPhong光照明模型是真实感图形学中提出光照明模型是真实感图形学中提出的第一个有影响的光照明模型的第一个有影响的光照明模型w经验模型，经验模型，Phong模型存在不足：模型存在不足：显示出的物体象塑料，无质感变化显示出的物体象塑料，无质感变化显示出的物体象塑料，无质感变化显示出的物体象塑料，无质感变化没有考虑物体间相互反射光没有考虑物体间相互反射光没有考虑物体间相互反射光没有考虑物体间相互反射光镜面反射颜色与材质无关镜面反射颜色与材质无关镜面反射颜色与材质无关镜面反射颜色与材质无关镜面反射大入射角失真现象镜面反射大入射角失真现象镜面反射大入射角失真现象镜面反射大入射角失真现象Phong光照明模型的光照明模型的不足不足Ie=0.75，Id=0.5Is=0.25Ie=0.5，Id=0.5Is=0.25Ie=0.75，Id=0.75Is=0Ie=0.75，Id=0Is=0.75Ie=1，Id=0Is=0.9体绘制方法 体光照模型提供了体数据中各数据点光照强度的计算方法，体绘制方法提供的是二维结果图象的生成方法。 首先根据数据点值对每一数据点赋以透明度t和颜色值（R,G,B），再根据各数据点所在点的梯度及光照模型计算出各数据点的光照强度，然后将投射到图象。 平面中同一象素点的各数据点的透明度和颜色值综合在一起，形成最终的结果图象。 根据不同的绘制次序，体绘制可以分为两类 以图象空间为序的体绘制方法-体光线跟踪法 以对象空间为序的体绘制方法-体单元投影法 体光线跟踪法 - 光线投射法光线投射法(RayCasting) 以图象空间为序的体光线跟踪绘制算法是从屏幕上的每一象素点出发，根据视点方向，发出一条射线，这条射线穿过三维体数据场。沿这条射线选择K个等距采样点，由距离采样点最近的八个体素的颜色值和不透明度值做三线性插值，求出该采样点的颜色值和不透明度值。而后可以采用由后到前或由前到后的方法，将射线上每一采样点的颜色和不透明度组合起来，计算出屏幕上该象素点对应的颜色值。 光线跟踪算法的主要步骤是： For 每条光线 Do For 每个与光线相交的体素 Do计算该体素对图象空间对应象素的贡献。根据光子传输理论根据光子传输理论,有以下体显示方程有以下体显示方程:体单元投影法 以对象空间为序的体绘制方法首先根据每个数据点的函数值计算该点的不透明度及颜色值， 然后根据给定的视平面和观察方向，将每个数据点的坐标由对象空间变换到图象空间； 接着根据选定的光照模型，计算出每个数据点处的光强；然后根据选定的重构核函数计算出从三维数据点光强到二维图象空间的映射关系，得出每个数据点所影响的二维象素的范围及对其中每个象素点的光强的贡献； 最后将不同的数据点对同一象素点的贡献加以合成。 单元投影算法的主要步骤： For 每一体素或单元 DoFor 该体素在视平面投影区域内的每一象素 Do计算象素点获得的光强。 面绘制的最大的特点是采用曲面造型技术，生成数据场等值面的曲面表示，再采用面光照模型计算出绘制图象。与面绘制相比较，体绘制的一个特点就在于放弃了传统图形学中体由面构造的这一约束，采用体绘制光照模型直接从三维数据场中绘制出各类物理量的分布情况。等值面、等势面、等数据场的几何面表示方法是研究者们为了适应图形显示，人为地提出的一种数据场表示形式。体绘制的根本点就在于放弃了这一做法，直接研究光线穿过三维体数据场时的变化，得到最终的绘制结果，所以有时体绘制也被称做直接体绘制。由于体绘制的这种直接性，非常符合人的视见过程，因此保留了大量的细节信息大大地提高了图象的保真度，这时图象质量已不在以来面地分割如何，而是集中在光照模型、绘制过程上。 面绘制与体绘制比较 面绘制要构造中间曲面表示，必然要通过域值或极值等方法提取出中间曲面，这就是被称为分割（Segmentation）的过程。由于目前的分割基本上还是一种二者择一的方法，缺少准确有效的方法。通过分割，许多三维数据场中的细节信息被丢失，有些分界面被扩大，结果的饱真性较差。体绘制由于直接研究光线通过体数据场时与体素的相互关系，无须构造中间面，体素中的许多细节信息得以保留，结果的饱真性大为提高。 因而从结果图象的质量上讲，体绘制要优于面绘制。单从交互性能和算法效率上讲，至少在目前的硬件平台上，面绘制还是要优于体绘制的。这是因为面绘制采用的是传统图形学的绘制方法，现有的交互算法、图形硬件和图形加速板能充分发挥作用，在一些对细节要求不多，交互要求较高的环境中，面绘制仍发挥着较大的作用。 中间面表示 面绘制等值面抽取体绘制图3.10 两种绘制方法的绘制过程 体数据 离散图象3D扫描转换3D可视化软件可视化软件VolView打开文件打开文件打开打开DICOM文件文件