基于LabVIEW 和 IMAQ Vision的三轴影像测量仪的开发与研制The R&D for 3-axis Vision Inspection Machine based on LabVIEW and IMAQ Vision作者：高兴森职务：研发部经理公司：无锡微影图像技术有限公司应用领域：汽车挑战：汽车温控仪表盘的全自动分区域扫描测量需要结合机器视觉、图像处理、运动控制、自动控制等多种技术，给出各个特征的判断结果，并将所有测量数据以文件形式存储。这要求测试系统运用一个综合而强大的通用软件平台，视觉方面的软硬件能够很好地实现自定制和扩展功能。这些要求使用传统仪器无法达到目标， 而虚拟仪器在这些方面优势明显。应用方案：使用NI公司的1394数字图像采集卡和Vision图像处理软件包，以LabVIEW为软件开发平台，开发出一台完善的、有相当通用性和开放性的三轴影像扫描测量仪器。使用的产品：NI 1394图像采集卡 PCI-8252LabVIEW 7.0, Vision7.1 Development Module,Vision Builder AI 2.5NI IMAQ 1394 2.0介绍：汽车的温控仪表盘上有多个视觉特征需要检测，参考图1。Red dotBlue dotFunction LEDPatternRight areaMiddle areaLeft area图1 汽车温控仪表盘Fastener在一个仪表盘上共有13个镭雕图案，16个功能LED 透光窗口，2个红点，2个蓝点，4个按钮等目标特征需要检测。检测要求在暗室内进行，需要分别模拟白天模式Day mode和两种夜光模式Function LED mode 和 Night light mode，共实现对61个目标特征的光强Intensity、颜色R/G/B分量、位置坐标X/Y、图案质量和表面划伤的测量，最后对三个全局特征进行综合比较。整个系统的开发非常具有挑战性。正文：一、 图像采集卡的选择仪表盘的外形尺寸为220mm82mm，要求测量精度不低于0.13mm。综合检测精度、检测速度和成本要求，系统选择NI 1394图像采集卡，配合SONY 1394 CCD彩色摄像机(分辨率为1024768), 这样视觉系统的视场范围FOV=118mm88.5mm，像素精度pixel accuracy= 1181024=0.1152mm/pixel，完全满足系统测量的尺寸精度要求。二、 扫描区域划分根据仪表盘的尺寸、目标特征的相关性和视觉系统FOV的范围，将仪表盘划分为左、中、右3个检测区域。加上起始位置共有4个位置。摄像机在X/Z轴上运动，被测仪表盘在Y轴上运动，X/Y轴的运动完成镜头对目标的对准，Z轴的运动完成对目标的聚焦。在每个检测位置采集的图像分别以中间的LED窗口即AUTO LED、OFF LED、Defrost LED的中心为该幅图像的坐标原点。三、 系统总体结构设计以计算机系统来完成图像的采集、处理、判断、文件I/O和用户使用界面，同时作为上位计算机通过串口对PLC进行控制；以PLC系统来完成运动控制、I/O控制。计算机系统的框图如下：计算机系统1394图像采集模块图像处理模块文件读写模块运动位置设置模块上位链接控制模块系统校验与维护模块PLC系统LabVIEW程序开发上位链接的参数设置：波特率：115200; 7位数据位；偶校验；2位停止位。PLC的系统框图如下：OMRON CP1H PLC系统光源切换上位计算机指令响应模块原点搜索：建立绝对坐标系运动控制：三路脉冲输出指示灯、继电器、急停按钮等输入输出控制：开关、传感器、梯形图程序Z-轴步进电机驱动器Y-轴步进电机驱动器X-轴步进电机驱动器通过计算机系统与PLC系统协同工作，各司其职，充分发挥各自的特长，使系统的性能得以优化。四、 图像采集NI提供两种标准的图像采集vi程序，用户可以直接调用：1单帧图像采集1394-snap-acquire：即每次只采集1帧图像。在本系统的全自动测量过程中，共有三个被测区域，每个区域又有三种照明模式，所以一共需要运行9次单帧图像采集程序。2连续图像采集1394-grab-acquire：即连续实时采集图像。在本系统的运动位置设置模块里，需要实时观测镜头与被测目标的相对位置及聚焦情况，然后保存各个位置，所以使用了连续图像采集模式。五、 图像处理如上所述，在全自动测量过程中，共采集9帧图像，每幅图像都对应一个图像处理程序，来完成对目标特征的测量和判断。步骤如下：1开辟图像缓冲区在图像处理中，需要对图像做多次变换，因此需开辟多个图像缓冲区来存储图像数据。本系统中共设置100个图像缓冲区，即image buffer0buffer99, 其中buffer0为系统实时图像缓冲区；buffer1buffer51分别存储9帧图像的彩色原图、Intensity 图层、Red图层、Green图层、Blue图层、Mask图层、Overlay图层等作为历史图像数据，可以和测量结果数据相对照；其余为临时图像缓冲区，为避免与历史图像缓冲区发生冲突，从buffer99开始向下使用。本系统只使用了12个临时buffer, 即buffer99 buffer88，buffer52buffer87未使用。2定位原点并建立坐标系选取图像上不发生变化的特征，使用Match Pattern 或Detect Object来定位原点并建立坐标系。三个检测区域分别以中间的LED窗口即AUTO LED、OFF LED、Defrost LED的中心为该幅图像的坐标原点。3定义ROI区域根据被测目标不同的形状，可以使用不同的ROI模型，包括圆形、环形、扇形、矩形、旋转矩形、任意多边形等。所有ROI区域都以坐标原点为参考点。4. 测量通过抽取彩色图像的Intensity plane、Red Plane、Green Plane、Blue Plan（均为8位深度的图像），对各目标ROI区域分别测量光强分量Intensity、颜色分量R/G/B、镭雕图案模式匹配分数、位置坐标等。其中光强Intensity/R/G/B的范围为0255，共256个灰阶。图案模式匹配分数的满分为1000分，得分大小表示目标与标准模型的匹配程度。对三组字符除了做模式匹配测量还做了OCR字符识别，即需要分别识别出AUTO、ECON、OFF。位置坐标需要进行坐标系变换。对于一幅图像来说，默认的坐标原点位于图像的左上角，测量的直接位置数据是相对于这个原点的，和我们在步骤2.中定义的原点位置不同，坐标系方向也不同。参考下图：目的坐标系 X Y原点X 变换Y原点默认坐标系变换后的坐标仍是以像素为单位的，需要乘以像素精度pixel accuracy转化为mm单位，这样才对产品检验有意义。5结果输出界面测量结果包括图像和数据，放在一个Table容器中。Table的第一个Page用来存放图像。图像以二维数组为容器，分为9行5列，存放45幅图像，包含9幅采集的图像和抽取的36幅分量图层。Table的第211共10个Page用来存放测量数据，分别以10张表格形式输出，分别对应9幅采集的图像的测量数据和重要特征的全局比较。每个Page上有一个布尔量显示控件，用于指示当前页面的综合判断结果。图2 Middle area Function LED mode image以下仅给出中部检测图像和数据，请参考图2图7图3 Middle area Function mode measure data图4 Middle area Night mode image图5 Middle area Night mode measure data图6 Middle area Day mode measure data6任务顺序的优化设计在相邻的两次图像采集之间需要完成几项任务，包括图像处理、写全局变量、图像输出、测量结果输出、光源切换、位置运动等，这些任务的执行时间是不同的。优化这些任务的编排顺序可显著提高程序的执行速度。采集图像前要求所有运动静止、光源稳定发光。由计算机向PLC发送运动触发信号和光源切换触发信号的指令完成时间是以10ms为数量级的，而图像处理、图像输出、测量结果输出、写全局变量的完成时间是以100ms为数量级的。运动是否完成可通过读取PLC中的标志位来确定，但光源是否稳定发光，只能依赖上电后的延迟时间。我们的经验是LED光源从上电到稳定发光至少需要500ms的延时。在一个产品的测试中需要9次光源切换、4次位置运动。如果都用延时的方法，那么将大大降低检测速度。所以我们不是在图像采集后立刻对该幅图像处理，而是先为下一次图像采集做光源切换或运动触发，然后再对本次采集的图像做相对费时的图像处理等，相当于为光源切换或运动触发作了延时处理，但又不占用额外的时间开销。参考以下流程图：图像采集光源切换或运动触发图像处理、写全局变量、读入标准公差，与测量数据比较判断图像输出、测量数据、判断结果输出延时读取位置标志光源和位置OK?下一次图像采集7. Overlay的传递Overlay是叠加在图像上的一个特殊的图层，用于显示ROI定义范围、坐标系定义和部分图像处理的信息。本系统中在同一位置采集的不同光源照明下的3幅图像，具有相同的坐标系和像素精度，不必每次都做同样的处理，只需将第一幅图像上的Overlay传递给其他两幅图像即可。利用我们编写的Overlay传递vi，可以抽取任意image buffer的Overlay并传递到指定的image buffer中。参考图2、图4、图6，每幅图像上的左上角红色方框内的原点坐标位置及像素精度的文字信息和图像中央位置的坐标系标志就是通过这种方法传递的。8ROI与Mask的组合应用利用ROI来定义感兴趣区域，利用Mask可以屏蔽掉不感兴趣或者已测量过的区域，将ROI与Mask相结合可使一些复杂的测量变得简单而高效。图6中需要测量产品的外露面是否有划伤，经过ROI和Mask的组合，只需两步即可完成。参考图8、图9。9全局特征比较在9个图像处理子程序中，部分测量数据需要进行全局比较，已评定产品整体区域的发光亮度的一致性，因此需要在每个图像处理子程序中将关心的数据写入全局变量，最后在主程序中对这些全局变量进行处理，请参考图10。六、 文件I/O包括公差设置、读取、测量数据存储，数据较多，因此采用表格文件方式，将数据分类以二维数组的形式存取。在图像处理程序中对测量数据判断时，只需读取公差设置相关的sub-array即可。测量数据存储的文件名中插入时间字符（精确到秒），以避免文件名重复。七、 上位链接和串口通讯图7 Middle area Day mode image进行上位链接通讯时，计算机和PLC之间使用命令(command)和响应(response)进行发送和接收。一次通讯送出的一组数据称作一帧，送