医学图象三维重建及可视化医学图象三维重建及可视化技术研究技术研究1 绪论绪论1.1引言引言1.2基于三维数据的建模与可视化基于三维数据的建模与可视化 1.三维数据的来源与分类 2.三维数据建模及可视化研究内容数据预处理建模绘制与显示 2 断层图象间插值 3 三维规则体数据封装(1)内存记录方式(2)体数据文件格式 图图2.4 2.4 体数据内存记录方式体数据内存记录方式 2.3 交互分割过程交互分割过程 1 三维图象二值化 二值化结果图图2.8 2.8 断层图象二值化结果断层图象二值化结果 2 数学形态学操作进行区域修整(1) 二值形态学操作简述(a) (a) 原图象原图象 (b) (b)结构元素结构元素(c)(c)对原图象的腐蚀对原图象的腐蚀 (d) (d)对腐蚀图象的膨胀对腐蚀图象的膨胀图图2.9 2.9 开启操作开启操作 (a) (a)原图象原图象 (b) (b)结构元素结构元素(c)(c)对原图象的膨胀对原图象的膨胀 (d) (d)对膨胀图象的腐蚀对膨胀图象的腐蚀图图2.102.10闭合操作闭合操作 3 种子填充法进行组织提取 图图2.12 2.12 交互分割结果交互分割结果 图图2.13 2.13 对分割区域的重建对分割区域的重建3 基于规则体数据的三维表面模型的基于规则体数据的三维表面模型的构建构建 3.2.1 体素模型(a) (a) 方向无关的三线性插值模型方向无关的三线性插值模型 (b) (b) 方向有关的三线性插值模型方向有关的三线性插值模型图图3.1 3.1 体素模型体素模型 3.2.2 等值面（IsoSurface）定义 1三线性插值结果 2等值面定义等值面是三次曲面 3.3 移动立方体（Marching Cubes）算 法抽取等值面 1 MC1 MC算法的基本原理算法的基本原理 a a 体素中等体素中等值面剖分方式的确定面剖分方式的确定 1 1）如立方体顶点的数据值如立方体顶点的数据值等值面的值，则定义该顶点位等值面的值，则定义该顶点位于等值面之外，记为于等值面之外，记为“0”“0”； 2 2）如如立立方方体体顶顶点点的的数数据据值值等等值值面面的的值值，则则定定义义该该顶顶点点位于等值之内，记为位于等值之内，记为“1”“1”。 8 8个个顶点，每个点，每个顶点共有点共有2 2个状个状态，因此共，因此共256256种种组合状合状态 根据互根据互补对称性称性, , 256 128 256 128 根据旋根据旋转对称性，称性， 256 15 256 15 (1)体素中由三角片逼近的等值面计算(2)三角片各顶点法向量计算 2 等值面连接方式上的二义性(a)(a)连接方式二义性的二维表示连接方式二义性的二维表示 (b) (b) 连接方式二义性的三维表示连接方式二义性的三维表示图图3.5 3.5 拓扑不一致造成孔隙拓扑不一致造成孔隙图图3.4 MC3.4 MC方法的二义性方法的二义性 3.3.3 渐近线判别法消除二义性 3.3.4 MC算法的重建结果及分析(a)(a)256256109256256109MRIMRI表皮重建表皮重建（b b）12812893CT12812893CT颅骨重建颅骨重建（c c）12812893CT12812893CT表皮重建表皮重建三角面片：三角面片：696889顶点：顶点：347322三角面片：三角面片：187559顶点：顶点：94015三角面片：三角面片：137799顶点：顶点：69331 图图3.83.8MCMC算法重建的表面模型算法重建的表面模型 3.4 移动四面体（Marching Tetrahedra）算法抽取等值面3.4.1 MT算法的基本原理图图3.9 3.9 立方体的四面体剖分立方体的四面体剖分 图图3.10 3.10 四面体中的等值面四面体中的等值面 3.4.2 四面体剖分的一致性处理图图3.11 3.11 立方体剖分为四面体立方体剖分为四面体的不同方式的不同方式图图3.12 3.12 两相邻立方体剖分不一致时共有两相邻立方体剖分不一致时共有面的剖分情况面的剖分情况图图3.133.13相邻立方体公共面上的剖分一致性相邻立方体公共面上的剖分一致性 3.4.3 相关性处理加速MT重建速度 1 体素内的相关性处理 2 体素间的相关性处理 图图3.14 3.14 剖分后立方体的顶点及棱边编号剖分后立方体的顶点及棱边编号 3.4.4 MT算法的重建结果及分析(a) 128128113CT(a) 128128113CT颅骨重建颅骨重建（b b）104185220CT104185220CT脚脚骨骼重建骨骼重建(c) 128128113CT(c) 128128113CT表皮重建表皮重建三角面片：三角面片：423998顶点：顶点：211905三角面片：三角面片：365858顶点：顶点：183056三角面片：三角面片：331290顶点：顶点：165808图图3.153.15MTMT算法重建的表面模型算法重建的表面模型4.三维模型的网格简化与模型的剖切三维模型的网格简化与模型的剖切 4.2 基于边收缩的网格简化算法 1 网格简化算法简述 （1 1）抽样（）抽样（SamplingSampling） （2 2）自适应细分）自适应细分(Adaptive subdivision)(Adaptive subdivision) （3 3）删除）删除 (Decimation) (Decimation) （4 4）顶点合并）顶点合并 （Vertex mergingVertex merging） 2 基于边收缩的网格简化算法Hoppe采用显式能量函数E（M）来度量简化网格与原始网格的逼近度Hoppe96：其中Edist(M)为M的距离能量，它定义为点集到网格的距离平方：Espring(M)为弹性能量，这相当于在的每条边上均放置一条弹性系数为k的弹簧，即： Escalar(M)度量M的标量属性的精度，而Edisc(M)则度量了M上视觉不连续的特征线（如边界线、侧影轮廓线等）的几何精度。 边收缩过程示意图边收缩过程示意图 (a) (a)收缩前收缩前 (b) (b)收缩后收缩后 图图4.14.1边收缩过程边收缩过程 4 网格简化结果MT重建结果重建结果简化简化50简化简化90简化简化90表面绘制表面绘制MC重建结果简化重建结果简化50简化简化85简化简化85表面绘制表面绘制4.3 三维模型的剖切4.3.1 模型三角面片的剖切处理 1 平面方程的确定ax + by + cz + d = 0 2 三角面片与剖切平面的求交检测定定义空空间一点一点P P（X,Y,ZX,Y,Z）, , 定义定义“距离距离”D”D： D = aX + bY + cZ + d D = aX + bY + cZ + d 则有：则有： 1 1）若）若 D D0 0，P P点处在点处在A A半空间；半空间； 2 2）若）若 D D0 0，P P点处在平点处在平面上；面上； 3 3）若）若 D D0 0，P P点处在点处在B B半空间。半空间。图图 4.6 4.6切面与三角面片的交切面与三角面片的交 3 三角面片与剖切面的切割运算 4 表面模型的剖切(1)边表和顶点表均为动态链表结构 (2)表面模型的剖切计算 class Cedgeclass Cedge class CedgeVertexclass CedgeVertex 4.4 剖切截面的生成4.4.1 边界多边形包含关系检测与确定 1 封闭环的检出 2 封闭轮廓的包含性检测 夹角之和检验法夹角之和检验法: : 4.4.2 剖切面区域的三角剖分 1.任意平面多边形Delaunay三角剖分示意图图4.11 图4.7对应轮廓的三角剖分 4.5 手术开窗操作 开窗操作一般是用立方体或棱柱对重建模型进行切割，模型处于剖切体之内的部分被切割掉，之外的部分被保留下来。 4.6实验结果分析图图4.12模型的剖切与开窗模型的剖切与开窗(a)剖切剖切(b)开窗开窗(c)开窗开窗 5 由基于轮廓重建的表面模型构建由基于轮廓重建的表面模型构建实体几何模型实体几何模型 5.1 引言 5.2 相关工作（1）提取边界轮廓线 （2）提取轮廓线上的特征点 （3）轮廓对应 （4）三维表面重建 （a a）轮廓线）轮廓线 （b b）基础轮廓表面模型）基础轮廓表面模型（c c）左分支表面模型）左分支表面模型 （d d）右分支表面模型）右分支表面模型 图图5.3 5.3 轮廓及表面子模型轮廓及表面子模型5.3 实体几何模型的构建 1边界模型的数据结构图图5.4 5.4 系统系统B- repB- rep模型的数据结构及半边的结构示意模型的数据结构及半边的结构示意 2 实体造型的基本操作 欧拉特征关系： 其中v、e、f、s、h分别代表顶点、边、小面、壳和孔。基本的欧拉操作包括如下互逆的5对：MVFS，MEV，MEF，MEKR，KFMRH；KVFS，KEV，KEF，KEMR，MFKRH。其中M表示构造，K表示删除，S、E、V、F、R、H分别表示体、边、顶点、面、环、孔。 3由轮廓重建的表面模型重建实体几何模型的方法用图5.10(a)的表面模型说明构建实体的主要步骤：(a)(a) (b)(b)（b b）光照图）光照图图图5.11 5.11 实体模型实体模型（a a）线框图）线框图实体几何模型的构建结果6 6 适用于适形放射治疗规划的医学图适用于适形放射治疗规划的医学图象三维重建系统的开发象三维重建系统的开发 图象输入图象输入 二维图象预处理二维图象预处理 图象分割与提取图象分割与提取 三维重建三维重建 （CT/MRICT/MRI） （滤波、插值）（滤波、插值） （自动分割、手工勾画）（自动分割、手工勾画）（MCMC、MTMT表面重建）表面重建） 病病变体投影体投影轮廓照射射束廓照射射束设置置 效果显示效果显示 几何操作几何操作（由由此此计算算光光栅廓廓线） （放放射射治治疗规划划） （ 颜颜色色、半半透透明明） （剖剖切切、手手术术开开窗窗） 图图6.16.1三维重建过程示意图三维重建过程示意图l 重建系统结构重建系统结构图图6.26.2系统结构系统结构l 系统程序流程图图 6.3 6.3 系统程序流程系统程序流程l 系统数据结构图图6.4 6.4 系统数据结构系统数据结构 系统界面系统界面 治疗射束安排与光栅轮廓线计算7 7 结论与展望结论与展望 7.1工作总结工作总结(1) 对输入图象进行了滤波、断层插值并封装成规则体数据。定义了体数据的内存记录方式及外存文件格式，压缩存储空间。(2) 提出并实现了三维医学图象交互分割的方法，交互分割的技术路线是：先分析断层图象，交互给定分割阈值，对图象二值化，然后选择适当的形态学操作进行区域修整，最后用种子填充的方法填充出所要区域。(3)实现了MC算法和MT算法构造表面模型。针对MT算法，为避免体元棱边与等值面交点的重复性插值计算，提出了相关性处理方法。采用相关性处理，加快了MT算法的重建速度。(4) 实现了Hoppe的边收缩算法，重建模型经简化90，依然能较好地保持原模型特征，基本不影响视觉效果。模型经网格简化，绘制时间大大缩短，提高了交互时绘制能力。(5)提出了对重建模型实施剖切及手术开窗的一种方法。(6)提出了基于轮廓重建的表面模型构建实体几何模型的方法实现步骤。可作为造型系统的一种造型方式。(7)开发了一个适用于多叶光栅适形调强放射治疗的医学图象三维重建系统。提出并建立了系统数据结构，提出了自动分割与手工勾画轮廓的方法。对分割出的组织重建其三维几何模型，并对模型实现了网格简化。实现了治疗射束的设置及多叶光栅轮廓的计算。7.2展望展望 （1）基于知识模型的医学图象的分割 （2）多模态图象的匹配和融合 （3）表面绘制与直接体绘制的结合 （4）虚拟手术工作环境 谢谢大家光临！谢谢大家光临！