面神经序列图像感兴趣区域识别 林钦壮 钟映春 罗唯师 广东工业大学自动化学院 广东省第二人民医院神经外科 摘 要： 通过计算机识别面神经序列图像中的感兴趣区域, 可以在手术规划过程中辅助医生辨别具体的功能区域, 使医生进行手术时更有针对性, 避免对面部神经区域的额外伤害。将面神经图像处理并划分成不同的功能区域, 利用卷积神经网络对大量病例样本进行学习, 得到具有较高准确率的感兴趣区域识别模型。实验结果表明, 该卷积神经网络模型可以有效地对面神经序列图像识别出感兴趣区域, 具有一定的医疗辅助作用。关键词： 面神经序列图像; 卷积神经网络 (CNN) ; 图像处理; 感兴趣区域识别; 作者简介：林钦壮 (1994-) , 男, 广东揭阳人, 广东工业大学自动化学院本科生, 研究方向:图像理解;作者简介：钟映春 (1973-) , 男, 江西赣州人, 副教授, 博士, 研究方向:模式识别与图像理解;作者简介：罗唯师 (1982-) , 男, 广东梅州人, 广东省第二人民医院神经外科主治医师, 硕士, 研究方向:神经外科与图像理解。收稿日期：2017-02-24基金：广东省高性能计算重点实验室开放项目 (TH1528) Recognition of Region of Interest from Facial Nerve Image SequencesLIN Qin-zhuang ZHONG Ying-chun LUO Wei-shi School of Automation, Guangdong University of Technology; Department of Neurosurgery, Guangdong 2nd Provincial General Hospital; Abstract： The computer recognition of facial nerve MR image sequences in the region of interest, can help doctors identify specific functional areas in the surgical planning process and performe the operation more targeted to avoid additional damage of facial nerve area.In this paper, facial nerve MR images are segmented into different functional areas, and a large number of case samples are studied by convolutional neural network, and the recognition model with high accuracy is obtained.The experimental results show that the convolutional neural network model can effectively recognize the region of interest in the image recognition of facial nerve, and it has a certain medical assistant effect.Keyword： facial nerve MR image sequences; convolutional neural network; image processing; region of interest in image recognition; Received： 2017-02-240 引言在经历神经切断手术和外科修复手术后, 面部功能的恢复通常效果不佳1。面部功能无法恢复不仅会导致面部姿势不对称等审美问题, 还可能会损害或消除动态面部表情, 造成眼封闭和角膜不适, 影响口腔功能、鼻腔通畅和语音清晰度等2。此外, 在人工耳蜗植入手术的规划中, 面神经分割同样具有重要作用。临床上使用 CBCT 图像进行手术规划, 然而 CBCT 图像相对较低的分辨率导致了面部神经识别的巨大困难3。任何对面神经的损伤, 都可能引发暂时性或永久性的面部瘫痪。可见, 准确识别面神经区域是手术有效进行的关键步骤之一。深度学习通过组合底层特征形成更加抽象的高层表示 (属性类别或特征) , 以发现数据的分布式特征表示4。卷积神经网络 (CNN) 是一种深度学习的方式, 面神经序列图像感兴趣区域识别采用的便是卷积神经网络, 这是一种对图像子块的特征进行提取和分类的方式5。本文以组织间具有较大相似性的面神经序列图像为例, 通过图像分割和卷积神经网络, 构造一个感兴趣区域的识别系统。其优势一方面是能通过医疗名词语义上从一幅图片中搜索得到其感兴趣区域, 协助医疗研究人员快速找到感兴趣区域, 方便医疗人员的判断, 也可以有效降低误诊率;另一方面在于构造好面神经序列图像感兴趣区域识别模型后, 可以迅速地对相关医疗图像进行分类, 医疗研究人员也可以通过圈取医疗图像得到该图像的所属类别。1 感兴趣区域识别的架构为了实现基于卷积神经网络的面神经序列图像感兴趣区域识别, 需要完成 2 方面的工作:1) 构造面神经序列图像的数据集, 以供卷积神经网络的训练和测试;2) 构造合适的卷积神经网络, 包括其网络深度, 卷积核尺寸、数目和下采样层的大小等。图 1 所示为面神经感兴趣区域识别架构。本文通过将图片划分为不同的子图片, 根据子图片所包含的神经组织的生理功能归属划分为 6 类不同功能区域, 构建数据集, 然后将数据集划分为训练集和测试集, 用训练集的面神经序列图像学习得到卷积神经网络模型, 再用测试集测试面神经序列图像感兴趣区域的识别率。图 1 感兴趣区域识别架构 下载原图2 数据集的构建图 2 构造 6 类面神经序列图像数据集 下载原图如图 2 所示, 与当地医院合作, 获得临床实践中采集的真实病人的面神经 MR 序列图像, 在将医院病人的面神经序列图像从 DICOM 医学影像专门存储格式转换成 JPG 图像格式等预处理后, 对图片进行灰度聚类, 然后进行分割, 根据分割子图片所包含的具体功能组织成分进行分类标注, 构造一个 6 类面神经序列图像数据集。该数据集定义的 6 类分别为眼球、脑干、面听神经、小脑、面部轮廓和其他。通过调整得到该数据集的总图像样本为 32604 幅, 由于脸部各功能单位大小不一, 所以划分而成的 6 个部分各自占有的图片数量并不一致。3 卷积神经网络面神经序列图像感兴趣区域识别的实现3.1 卷积神经网络识别方法近年来, 卷积神经网络的深入研究使得其在计算机视觉图像处理中得到了广泛的应用。卷积神经网络起源于共享权值网络 (Sharing Weights Neural Network) 6-7, 是一种多层神经网络。卷积神经网络由卷积层和子采样层组成, 每层由多个 2 维的特征映射层组成, 每个 2 维特征映射层由多个相互独立的神经元组成, 位于同一层的所有单元共享相同的权值, 检测特征也相同。这样, 这些检测到的特征送入高层时能够实现平移不变性的特征检测。同时, 通过子采样层策略保证对畸变不敏感。所以, 提取特征上对平移、比例放缩、倾斜或者其他形式变形具有高度不变性5,8-9。在图像处理和分析上, 由于其通过空间维度上共享权值而降低了学习复杂度。卷积神经网络已经在字符识别6-7、人脸检测与动作识别10-12、车牌与交通标志牌识别13-14、语音检测15、文本分析16、视频分析17等领域获得成功应用。卷积神经网络的一般结构形式如图 3 所示。图 3 卷积神经网络一般结构 下载原图卷积神经网络中, 卷积层为前一层特征图与一个可学习的卷积核进行卷积运算, 将其结果通过一个激活函数后得到的输出结果构成这一卷积的新特征图, 故有:即上一层得到的特征矩阵 X 被一个可学习的卷积核卷积 K, 再经过激活函数后输出特征矩阵 X。其中 X 为特征矩阵, l 代表第 l 层, j 为第 j 个特征矩阵, i为第 i 个样本, M 为输入样本特征矩阵集合, K 为卷积核矩阵, b 为额外的偏置, f 为激活函数。卷积神经网络的下采样层是卷积神经网络具有良好泛化能力的原因之一。特征图经过下采样层, 其层的个数保持一致, 但大小发生了变化, 一般表示形式为:其中 down (X) 表示下采样函数。下采样又称为池化过程, 常用均值池化、最大值池化等方式。3.2 融合 CNN 的感兴趣区域识别因为卷积神经网络具有局域感受野、权值共享和下采样等特点, 使得其在提取特征上对位移、缩放或者扭曲等变形具有高度不变性14, 卷积神经网络的这种特性使得其在整体具有相似性、个体具有差异性的面神经序列图片上表现良好。将分类好的图片分类标注后, 分为训练样本和测试样本, 通过训练样本训练卷积神经网络, 再由该卷积神经网络模型实验测试样本以检测该模型的识别效果。图 4 为卷积神经网络面神经序列图像感兴趣区域识别的实现框架。该卷积神经网络主要由 2 层卷积层和 2 层下采样层及 1 层 BP 神经网络组成。本文采用sigmoid 函数。对于下采样层则采用均值池化的方式。图 4 卷积神经网络面神经序列图像感兴趣区域识别实现框架 下载原图本文采用平方误差为代价函数, 第 n 个样本误差为:则整体误差为:其中 C 为类别, N 为训练样本数, k 表示样本第 k 维, t 为样本标签值, y 为网络输出值。训练过程中的反向传导采用误差梯度下降的方法。4 实验与结果分析4.1 实验过程实验整体框图如图 5 所示。图 5 面神经序列图像感兴趣区域识别实验框架 下载原图根据不同卷积核数目、不同卷积核大小、不同下采样层数目以及不同下采样层的大小进行多次实验, 在以下方式中可以得到较为良好的效果, 即构造 2 层卷积层和 2 层下采样层交替, 其中第 1 层卷积层的卷积核数目为 10, 大小为 55, 第 2 层卷积层的卷积核数目为 4, 其大小为 44, 2 层下采样层的大小均为22, 全连接层采用经典 BP 神经网络的方式。实验中, 在构建好的面神经序列图像数据库中随机抽取 3000 个样本作为测试样本, 其余 29604 个样本为卷积神经网络的训练样本。经训练和测试, 该面神经序列图像感兴趣区域识别的卷积神经网络模型的识别率达到 73.27%, 远高于采用支持向量机的识别率 45.76%和单层 BP 神经网络的识别率 52.43%。误差梯度下降曲线收敛性如图 6 所示。图 6 误差梯度下降曲线 下载原图4.2 结果分析实验结果表明, 卷积神经网络这种深度学习的方式对位移、缩放或者扭曲等变形在提取特征上具有的不变性, 可以使得在比较复杂、组织相似性高的面神经序列图像感兴趣区域识别中依然具有较好的准确率。利用面神经序列图像训练得到的卷积神经网络模型可以识别特定的面神经感兴趣区域, 对医生进行面神经相关手术有一定帮助, 减少因面神经区域识别错误给患者带来的损伤。5 结束语面神经在手术后具有恢复性不佳的缺点, 在进行手术计划过程中, 面神经序列MR 图像分辨率低, 比较难识别。本文提出了基于卷积神经网络的面神经序列 MR图像感兴趣区域识别, 通过构建和训练卷积神经网络, 以识别面神经图像的感兴趣区域。实验表明, 经过大量样本训练的面神经序列感兴趣区域识别模型可以较为有效地识别面神经序列图像的特定功能部位。由于其具有分辨率较高、适应性强等特点, 可以有效地避免传统的人工提取特征方法的缺点, 达到较好的分类效果, 可以为医疗人员提供有效的研究辅助。此外, 随着医疗图像越来越多地应用于医疗诊断中