陈 勋 生物医学工程系 合肥工业大学2016年11月12日上海大学联合盲源分离及其 在生物医学工程中的应用内容概要背景介绍1医学信号处理需求2联合盲源分离34应用实例23物联网、车联网、医院信息系统、人体传感网络、智能家 居、智能制造等。4如何将不同类别不同群体的数据进行信息融合以挖掘更多有用信息？- 电商如何利用大量消费数据来产生更大的经济效益？- 人机交互如何通过光、声、电、触觉等多模态信息融合来理解人类意图？5核心研究对象（Data）核心技术基础（SP&ML）标量向量矩阵张量N个矩阵N个张量内容概要背景介绍1医学信号处理需求2联合盲源分离34应用实例67T. J. Sejnowski, P. S. Churchland, and J. A. Movshon, “Putting big data to good use in neuroscience,” Nature neuroscience, vol. 17, no. 11, pp. 1440-1441, 2014.8需求：多模态(Multimodality)9需求：群分析(Group Analysis)内容概要背景介绍1医学信号处理需求2联合盲源分离34应用实例10盲源分离介绍11鸡尾酒会问题鸡尾酒会问题As1s2sNX 观测信号S 信号源X= ASx1x2xN盲源分离介绍12X 观测信号S 信号源朗读声噪声：汽车喇叭声， 广场舞背景音乐Y 恢复信号13临床最常用实例.不相关不相关/独立独立一段脑电信号一段脑电信号眼电工频心电脑电其他医学数据，如事件相关电位其他医学数据，如事件相关电位ERP，功能磁共振图像，功能磁共振图像fMRI等。等。盲源分离盲源分离14Formulation信 号 源 之 间的 相 关 性联合盲源分离15. . .相关的，同时分解相关的，同时分解不相关不相关/独立独立 X1X2Xk.联 合 盲 源 分 离盲 源 分 离.不相关不相关/独立独立X116联合盲源分离具体实例源信号17联合盲源分离具体实例混合信号Xi = Ai Si, i=1,2,3 Ais 是随机产生的三个不同的混合矩阵；18联合盲源分离具体实例联合盲源分离盲源分离19Formulation-120Formulation-2 让不同数据集中相对应的信号源有关联性 让同一个数据集中不同的信号源无关联性21目标函数11max22112 2211 21YvY, vXvX, s.t. v)vXX(vTTTTTT,vv211max2 2211 21, iw, s.t. w)wXX(wiT iTT,ww典型相关分析CCA偏最小二乘法PLS分别在两组数据集中各寻找一个信号源，使得这两个信号源的相关系数最大 。分别在两组数据集中各寻找一个信号源，使得这两个信号源的协方差系数最大 。目标函数目标函数双 模 态二 阶 统 计 量 让不同数据集中相对应的信号源有关联性 让同一个数据集中不同的信号源无关联性22目标函数IC-PLS OR Parallel ICA211max2 222 112 21 21, iws.t. w)E(G(uy)E(G(w )E(G(ux)E(G(w y)x)(wE(wiT iTTTT,wwPLS/CCA objective functionICA for XICA for Ynon-quadratic functionstandard Gaussian variableweight vectorsadaptive weights23联合盲源分离最新算法Group ICA Joint ICA 3-Step IVA-L IVA-G EEMD-IVAParallel ICA IC-PLSRCCA N-way PLS PLS+CCA Multiblock PLS HOPLS RCCA N-way PLS PLS+CCA Multiblock PLS HOPLS RGCCA MCCA JBSS-SOS JMSF EEMD-JBSSRGCCA MCCA JBSS-SOS JMSF EEMD-JBSS双 模 态多 模 态不相关独立的Chen et al. 2013 JAMChiang et al. 2012 NeuroImageEliseyev et al. 2013 PLOS OneGonzalez et al. 2007 SMPGDTenenhaus et al. 2011 PsychometrikaLi et al. 2009 IEEE Trans SP Li et al. 2011 Elsevier SPChen et al. 2013 IEEE TMMChen et al. 2014 IEEE TITBAnderson et al. 2012 IEEE TSPLee et al. 2008 NeuroImageChen et al. 2014 IEEE TBMECalhoun et al. 2006 Hum Brain MapZhao et al. 2013 IEEE Trans PAMIChen et al. 2013 IEEE TBMELiu et al. 2006 Proc SPIECalhoun et al. 2001 Hum Brain MapChen et al. 2014 SensorsXun Chen et al., “Joint Blind Source Separation for Neurophysiological Data Analysis: Multiset and multimodal methods.“ IEEE Signal Processing Magazine, vol. 33, no. 3 (2016): 86-107.内容概要背景介绍1医学信号处理需求2联合盲源分离34应用实例2425帕 金 森 氏 病缺缺 乏乏 多多 巴巴 胺胺Dr. Martin J. McKeown Dept. of Med., UBC实例 1 神经运动障碍疾病的脑网络模式研究Dr. Z. Jane Wang Dept. of ECE, UBC26 人体在完成运动功能时，电化学信号在神经网络传输，控 制骨骼肌肉收缩，产生相应人体动作；Motor Task:实例 1 神经运动障碍疾病的脑网络模式研究27 同时测量脑电肌电以及运动特征，提取出协同信号，并用 来建立大脑功能连接网络，有助于神经运动障碍疾病的诊断- “muscular” (大脑)(肌肉)“cortico” 脑电肌电- “hand” (手臂)运动特征三种信息融合实例 1 神经运动障碍疾病的脑网络模式研究28 通过对比正常人和帕金森病人的大脑连接网络，我们发现帕 金森病人非常依赖于大脑枕部连接，枕部是负责视觉处理的。实例 1 神经运动障碍疾病的脑网络模式研究29实例 1 神经运动障碍疾病的脑网络模式研究30实例 2 脑电信号的噪声去除脑电信号EEG中常见的噪声干扰眼电EOG脑电图EEG 通过医学仪器脑电图描记仪将人体脑部自身产 生的微弱生物电放大记录而得到的曲线图。脑电的应用 用于各种脑部疾病的诊断，如癫痫、脑血管疾 病；可用于睡眠状态和麻醉深度监测；还可作 为控制其他设备的输入信号，如脑机接口等心电ECG运动伪迹工频干扰肌电EMG31实例 2 脑电信号的噪声去除32实例 2 脑电信号的噪声去除眼电、心电、运动伪迹噪声的去除 采用独立成分分析ICA原因：1.肌电和脑电的频谱有很大的重合；2.头部肌肉结构复杂，信号源多；3.肌电形态不固定，即使同一块肌肉不同时 间，不同力度产生的肌电信号，其频谱分 布和概率分布都不一样。肌电噪声最难去除，ICA不能完全去除 的，近三年才有定论 (McMenamin et al. 2011 NeuroImage)。33实例 2 脑电信号的噪声去除肌电：自相关系数很低联 合 盲 源 分 离. . .Chen et al. “Independent Vector Analysis Applied to Remove Muscle Artifacts in EEG Data,” IEEE Trans. on Instrum. Meas., to appear, 2017Chen et al. “Removing Muscle Artifacts from EEG Data: Multichannel or Single-Channel Techniques?” IEEE Sensors Journal, vol. 16, no. 7, pp. 1986-1997, 2016.Chen et al. “A Preliminary Study of Muscular Artifact Cancellation in Single-Channel EEG.“ Sensors 14.10 (2014): 18370-18389.X1=X1(t)X2=X1(t-1)Xk=X1(t-k+1).34实例 2 脑电信号的噪声去除国家自然科学基金青年基金，脑电信号中肌电噪声去除的新探索 （61501164），2016.01 -2018.12.35实例 2 脑电信号的噪声去除36实例 2 单通道联合盲源分离算法37实例 3 肌电控制系统38实例 3 肌电控制系统39实例 3 肌电控制系统目前的难题：用户独立的肌电系统设计例如，某个肌电控制设备在某一些用户身体训练以后，来一个新用户，这 个新用户可以直接使用这个已经训练过的设备，而不需要做太多的适应。大多数的识别率可以接受的肌电系统，基本是针对个别用户，或者最多是 针对一群人的，称作多用户，但是对新用户基本不起作用，通用性不强， 大大限制了肌电控制系统的实用性。1.用户之间的肌电模式存在差异性，例如，对于同一类 动作，不同用户的肌电特征会有差别；2.即使同一个用户，对同一类动作，在不同情况下，肌 电特征也是有差异的，比如电极位置和情绪的变化。40实例 3 肌电控制系统联合盲源分离Multiple Expert Users41实例 4 基于Webcam的生理参数测量42实例 4 基于Webcam的生理参数测量43实例 4 克服头部移动44实例 4 克服头部移动国家自然科学基金面上项目，基于视频的非接触式生理参数监测关键技术 研究（81571760），2016.01 -2019.12.45实例 4 基于Webcam的生理参数测量Chen et al. “Video-based Human Heart Rate Measurement Using Joint Blind Source Separation”, Biomedical Signal Processing & Control, to appear, 2017.46实例 4 克服环境光J. Cheng, Xun Chen*, L. Xu, Z. J. Wang, “Illumination Variation-Resistant Video-Based Heart Rate Measurement Using JBSS and EEMD,” IEEE Trans. on Inform. Tech. Biomed., to appear, 2017.47实例 5 基于SSVEP的脑机接口Steady-State Visual Evoked Potential稳态视觉诱发电位当受到一个固定频率的视觉刺激的时候，人的大脑视觉皮层会产生一个 连续的与刺激频率有关的响应6Hz10Hz8Hz12Hz参 考 信 号脑 电 信 号48实例 5 基于SSVEP的脑机接口L e u v e n49