第?卷 第?期 ?年 ?月中山大学学报?自然科学版? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?智能装配视觉系统新的三维重建方法熊银根 张光昭 ? ? ?中山大学无线电电子学系?广州? ?香港城市大学?摘 要 提出一种新的三维重建方法?对所获得的立体象对进行适当的变换?把空域中的立体匹配问题转换到波数域中来解决?采用基于局部相的立体匹配方法来求解立体匹配这个难题?并用? ? ? ? ? ?神经网络来实现立体匹配过程?以便实现并行处理?构造了一个三维重建神经网络来实现三维重建1关键词 智能装配?计算机视觉?三维重建?立体匹配?神经网络分类号 ?与二维物体识别不同?三维物体识别需要被识别物体的三维信息1为了获得这些三维信息?通常是利用立体象对?对其进行立体匹配后再进行三维重建就能获得物体的三维外形?从而进行三维物体识别?然而?在此过程中?立体匹配是立体视觉中一个最难解决的问题?也是三维信息提取与重建中最关键的问题?有关这方面的研究已做过大量的工作? ?也取得了很多成果1由于问题本身的复杂性和实际情况要求的不同?仍存在着很多难以解决的问题1为了满足智能装配对视觉系统进行三维物体识别的要求?本研究提出了一种新的立体匹配方法?该方法是把立体匹配问题转换到波数域中进行求解?在波数域中求出图象的局部相后?根据局部相的性质?建立相应的匹配函数1为了提高匹配过程的处理速度?易于实现并行操作?在本研究中采用? ? ? ? ? ?神经网络来实现立体匹配过程?为此?建立了满足一定约束条件的能量函数?对其进行极小化就可以得到图象的最佳立体匹配1在解决了立体匹配问题的基础上?本文还提出了利用神经网络来进行物体三维外形重建1? 三维重建的方法图?是三维重建方法的总体结构1其大体过程是获取立体象对?对立体象对进行预处理?对立体象对的左右图象进行适当的变换?求出其局部相?利用?神经网络?估计立体象对的两幅图象之间的对应核线?利用? ? ? ? ? ?神经网络进行基于局部相的立体匹配过程?最后是利用?神经网络进行三维物体外形重建1?1? 图象局部相的计算 在获取待识别零件的立体象对后?对其进行预处理?采用阈值函数把零件与背景分开1广东省博士后基金资助项目收稿日期? ?2?2? 熊银根?男?岁?博士后左图象右图象| 左图象前处理右图象前处理| 计算左图象的局部相 加窗? ? ? ? ?变换计算右图象的局部相 加窗? ? ? ? ?变换| 估计立体象对图象之间的对应核线?神经网络| 基于局部相的立体匹配? ? ? ? ? ?神经网络| 三维物体外形重建?神经网络图? 三维重建方法的总体过程? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?在立体匹配之前?必须提取图象的特征?这个特征通常是图象的边缘?这种信息含有一定的模糊性1在波数域中我们不需要特征提取过程?立体匹配过程中很多在空域中遇到的问题?在波数域中将可以避免1? ? ? ? ?变换能把空域问题转换成波数域问题?因此?可以在波数域中来研究输入信号的有关性质1对一 个 连 续 的 一 维 信 号 ? ?其? ? ? ? ?变换为?它的位移为? ? ? ?1因此?与空域中的位移相对应的波 数域中的相位移为? ? ? ? ? ? ? ? ? 式中?为波数?为空域中的位移1为了表示波数域中的相移与空域中的位移的关系?定义? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?1?2? 其中 ? ? ? ? ? ? ? ? 同样 ? ? ? ? ? ? ? ? ? ? ? ? ?1?2? 其中 ? ? ? ? ? ? ? ? 因此 ? ? ? ? ? ? ? ? 从式?中可以看出?空域中的位移能在波数域中用相移探测到1 然而? ? ? ? ?变换是整个信号的全局处理?它只能反映唯一的全局位移?位移函数沿 轴方向是常数?并且相的变化是严格线性的1在立体匹配问题中?视差在整个图象上并不一 定是常数?这里需要图象的局部信息?因此? ? ? ? ?变换对提取?的局部频谱信息没有作用1 加窗? ? ? ? ?变换能用来分析信号的局部信息?图象的视差能用局部相移来表示1我们定义一个矩形窗函数?其参数为? 当 ? 其它 这时?加窗? ? ? ? ?核为 ? ? ? ?1 因此?式?中的卷积变成 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 其中? ?为 ?的实部 ? ? ? ? ? ? ? ?为 ?的虚部 ? ? ? ? ? ? ? ?第?期 熊银根等?智能装配视觉系统新的三维重建方法因此? ?的幅值为 ? ? ? ? ?1加窗 ? ? ? ?相定义为? ? ? ? ? ? ? ? ? ? ? ? 式中? ? ? ? ? ?与? ? ? ? ? ? ?相同?但值域为? ?1在利用加窗? ? ? ? ?变换求解局部相之前?一个很重要的工作是去除噪声?通过采用高斯滤波? ? ? ?信号变成 ? ? ? ? ? ? ? ?滤波也能用来获取信号的局部信息?它能用相对较大的视差来对应高频信号?1 加窗? ? ? ? ?变换能扩展到处理二维信号?把? ? ? ? ?核表示成二维函数?并且定义为二维窗口函数1? ? ? ? ?核与窗口函数进行卷积?能得到二维加窗? ? ? ? ?核?通过信号与二维加窗? ? ? ? ?核进行卷积能获得二维加窗? ? ? ? ?相1 在空域中?我们使用图象的特征或纹理来进行匹配过程?在波数域中?立体匹配问题可以构造成局部相的匹配?这就是在立体象对的左右图象之间?其对应点处的局部相是相等的?即如果为左图象上的点?其对应右图象上的点为?则有? 这是构造立体匹配算法的基础1?1? 基于局部相的匹配 在进行立体匹配过程之前?必须估计立体象对的核线?它们能为立体匹配过程提供很有用的约束?投影在左图象核线上的点?必定会投影到右图象相应点的核线上1本研究采用一个?神经网络来估计立体象对的左右图象之间的对应核线1该神经网络有?层?在输入层有?个神经元?分别对应于左图象的和值?以及右图象的值1具有两个隐含层?每 个隐含层具有?个神经元?用来贮存左右图象之间的关系?输出层具有一个神经元?对应于右图象的值1传统的立体匹配方法一般是对图象的特征或纹理在空域中进行匹配?与此不同?这里?我们在波数域中来进行求解?利用局部相的性质能找出左右图象之间的对应关系1 立体匹配是立体视觉中最难解决的问题?而且需要很长时间才能完成1然而?在很多实际情况下?视觉系统是在线操作?要求准确而且尽可能快地识别有关物体?因此?要求立体匹配过程尽可能快1大规模并行处理是神经网络最大的优点之一?为了尽快完成立体匹配过程?我们构造一个神经网络来实现立体匹配过程1这里是采用? ? ? ? ? ?神经网络来组成这一结构的?神经网络的层代表图象从上到下的核线?在每一层上的行代表左图象核线上从左到右的象素点?列代表右图象核线上从左到右的象素点?每一个神经元代表一个可能的匹配1为了采用? ? ? ? ? ?神经网络来求解立体匹配问题?我们必须定义一个能量函数?其极 小值对应于问题的一个最好解?在立体匹配过程中?必须满足一定的约束?能量函数就是使用这些约束构造出来的1这些约束有?唯一性!核线!顺序!连续性和几何约束?为此?首先定义一个匹配函数1 ? ? ? ? ? ?中山大学学报?自然科学版? 第?卷其中? ? ?为左图象上点? ? ?与右图象上点? ?处的相差? ? ?为左图象点? ? ?的 相? ?为右图象点? ?的相?为第条核线1在理想情况下有? ? ? ?1 实际上?由于系统误差?上式不可能得到严格满足?我们用极小化匹配函数 ? ?来代 替上式? ? ? ? ? 根据上述的有关约束?能量函数可以表达为? ?6 6 6 6 ? ? ? ?6 6 6 ? 6 ? ? ? ? ? ? ?6 6 6 ? 6? 6 ? ? ? ?6 ? 6 ? ? ? ? ?6 6 6 ? ?6? ? ? ? ?6 ? ? ? ? ? ?6 6 6 ? ? ? ?6 6 6 ? ? ? ? ? ?式中?为层号? ?为左图象核线上第个和第个象素?为右图象核线上第个?第个象素? ? ?为第层上象素点? ? ? ?处的匹配函数值?为矩形区域?为阈值1对上述能量函数进行极小化?实现立体匹配1?1? 物体三维外形重建 通过立体匹配?我们获得了立体象对的左右图象之间的对应点?为了获得三维物体外形?必须从图象上的二维点计算出物体的三维点?进行三维外形重建1这里采用一个?神经网络把匹配后的二维点转化成空间三维点1该神经网络有?层?在输入层有?个神经元?它们分别对应左右图象上匹配后对应点的?座标?有两个隐含层?每个隐含层有?个神经元?在输出层具有?个神经元?分别对应目标点的空间坐标 ?和值1该三维重建神经网络通过用样本进行训练?可以建立系统中二维图象与三维物体之间的关系1因此?在使用这个神经网络之前?很重要的一步是用样本对其训练1隐含层的神经元是用来贮存通过训练所学习到的系统复杂关系的?训练的精度直接影响到计算三维点坐标的结果1为了实现并行处理?这里可以采用多个神经网络同时进行从二维点到三维点的计算?这样可以减少处理时间?为了获得完整的物体外形?可以对所得到的结果进行插值!拟合1? 实验及其应用研究为了研究本文所提出的理论和方法的正确性和实用性?这里用一些实例来进行检验1第一个实例是用计算机产生的随机点图?图? ?其视差具有?