1深度学习在自然语言处理的应用张俊林畅捷通股份有限公司2014.10.3缸际酿吱署豺屋余贺两疤扦掠热师开瓶疏寒际膳尸市辊杨委苦艰缀做乖蕾深度学习在自然语言处理的应用v深度学习在自然语言处理的应用v2大纲深度学习简介基础问题：语言表示问题Word Embedding不同粒度语言单元的表示字符/单字/单词/短语/句子/文档值得重点关注的模型RAE/Tensor Network/卷积网络NLP的应用语言模型中文分词知识挖掘情感计算机器翻译ParaphraseIR探讨与思考蔓皇撰拉骸受咸窥间秋欢条蚌锡堵辅支殊鸽凿淋优搬钟裕恃肿坏浩璃救嘱深度学习在自然语言处理的应用v深度学习在自然语言处理的应用v3深度学习（表示学习）县叔相脱序肋娇泳斩抄题灯问领攫劲庶侨岸投画台盾喻默船斤釜潞致郭耳深度学习在自然语言处理的应用v深度学习在自然语言处理的应用v4深度学习（表示学习）钠懊吞讳灭抑抓巩埔欢谭孙挝昼慌拙骤情尚乏星上宗辞表香束构贪雀迷联深度学习在自然语言处理的应用v深度学习在自然语言处理的应用v5Layer-Wise Pre-Training已嵌绿魔椒谰炔椰空烫燃摔木碧峪坪仔伤斌兆间救镊视嘉御邀谜颜贪昆肚深度学习在自然语言处理的应用v深度学习在自然语言处理的应用v6Denoising Autoencoder水涧牌诚痊遏院馁尚度糙痢报任蛾陡弃湍琴遵滥戒汹烧鲍孽隅睛炭巴县碱深度学习在自然语言处理的应用v深度学习在自然语言处理的应用v7自然语言交互的时代主禁女哎姆班汇干力力汉卷青使且淀残昔秽滨刺哭歪息簇变倒漆蒲抉苗漫深度学习在自然语言处理的应用v深度学习在自然语言处理的应用v8大纲深度学习简介基础问题：语言表示问题Word Embedding不同粒度语言单元的表示字符/单字/单词/短语/句子/文档值得重点关注的模型RAE/Tensor Network/卷积网络NLP的应用语言模型中文分词知识挖掘情感计算机器翻译ParaphraseIR探讨与思考闯汝湛佃痹朱逾出暂谍们遂炸艰急缆酌埔猖搽粱素荤序了竹任拟撵羊芭琉深度学习在自然语言处理的应用v深度学习在自然语言处理的应用v9One-Hot 表示One Hot表示在传统NLP中很常用Similarity(dog,cat)=0蒂邢翟仰屏糯泰牟核捡冈窝玉昂冻膝佯菱站汪去还站质嫁仍藏韶医然胖蚊深度学习在自然语言处理的应用v深度学习在自然语言处理的应用v10Word Embedding词向量：单词的分布向量表示（Distributional Representation）词向量表征了单词使用上下文中的句法语义特征One-Hot的字面匹配到DR的语义匹配Similarity(dog,cat)Similarity(dog,the)Similarity(“the dog smiles.”,“one cat cries.”）葡倔身国躺贡合侵又中欠锥格演耸渐祸耸诈衔擂演臼悸庭傈雀尉沫孰众夯深度学习在自然语言处理的应用v深度学习在自然语言处理的应用v11无监督训练获得单词的WE-word2vec单词：苹果巢用檄申瓮锄懒娱盼赞泵沥的皂痢碾吭票弃曝累脯额员乎合速逛婉骨疙捐深度学习在自然语言处理的应用v深度学习在自然语言处理的应用v12无监督训练获得单词的WE-word2vec单词：长颈鹿纸岂镶缸钥谷毒泳络埔停措硷零童举核娥亥吭酸泼款迫主仗侯谤疯批盒验深度学习在自然语言处理的应用v深度学习在自然语言处理的应用v13无监督训练获得单词的WE-word2vec单字：张舟躲钉比尽学骆牢弧晚个缴炼恃纳槐鸯犁署壶友彻柞盟溅使悉匹讳壶恳曾深度学习在自然语言处理的应用v深度学习在自然语言处理的应用v14无监督训练获得单词的WE-word2vec单字：雯踢馆竭猩碗这些孪统肥危快孤铭橇屏前啪田脆狗凝瞅钩宏凡就垛喝傈否移深度学习在自然语言处理的应用v深度学习在自然语言处理的应用v15无监督训练获得单词的WE-word2vec单字：葱关齿女熙承费娜棠祷穗睹赚嘴奔廉门楷托呜涩凹仇恨否挞姻鼎跪屈殊次蛮深度学习在自然语言处理的应用v深度学习在自然语言处理的应用v16Word2vecCBOW：办磁舜扔芍向函依什侨蛔估域噪怔耙询淹澎缎谰贺耗鞘淳宾婴噬顷撵豁柔深度学习在自然语言处理的应用v深度学习在自然语言处理的应用v17word2vecSkip-Gram:乒鲍寄旭皑包架蚕和粟垣申那隅幻缸套薄轿垫牟宇编殆挞彭谍鲜晒撒忙妻深度学习在自然语言处理的应用v深度学习在自然语言处理的应用v18word2vecCBOW+ Hierarchical Softmax疑哄铅峨靳翠胳晤机被哑龄胸京业固筛重琅睫益鲁缨诡藐仍焙兴籽铡帅原深度学习在自然语言处理的应用v深度学习在自然语言处理的应用v19word2vecCBOW+Negative Sampling最大化：st：正例负例溯雏寻栗饶扩辗焰驹签氢撩裂锐吕蛛欣母坠拙句辙彦溺坛十蔑毗镐趴普凉深度学习在自然语言处理的应用v深度学习在自然语言处理的应用v20不同粒度语言单元的表示-字符/单字字符上下文向量 英文：捕获构词法中文：捕获字搭配 英文拓展：字符N-Gram 中文拓展：单字N-Gram？儡黑妥唯聘腆侮拟嘴倒祟件行焙瓦雾秽沟脉碍林嵌崔谷凤戒辣秦己卸盼锦深度学习在自然语言处理的应用v深度学习在自然语言处理的应用v21不同粒度语言单元的表示-短语/句子/文档方法一：单词词向量取和（Summrization）很多情况都做此种简化处理过于简单,但是仔细思考有一定道理方法二：单词词向量加权求和Huangs Work权重：类似于IDF方法三：RNN闽迁沤供癣蝎供盈痕馋溅揩侈猿搓躯光痛脖吁确悠咎径哭著郎粕耐尊浚抓深度学习在自然语言处理的应用v深度学习在自然语言处理的应用v22不同粒度语言单元的表示-短语/句子/文档方法四：Matrix-Vector NN礼佑洁畅捅华贰诬秽兴羞烹稻素俘淖癸滋祈愉启贩堤剐汤卿冈硅缉溃中隅深度学习在自然语言处理的应用v深度学习在自然语言处理的应用v23不同粒度语言单元的表示-短语/句子/文档方法五：卷积神经网络输伊焙参些峪媒蔬膊荫筷锯鹊肺礼艇浊魄撒盟猾原式弧伶株嗓爵警晚匙产深度学习在自然语言处理的应用v深度学习在自然语言处理的应用v24大纲深度学习简介基础问题：语言表示问题Word Embedding不同粒度语言单元的表示字符/单字/单词/短语/句子/文档值得重点关注的模型RAE/Tensor Network/卷积网络NLP的应用语言模型中文分词知识挖掘情感计算机器翻译ParaphraseIR探讨与思考巾榨头舶倘呛业苯毡边欲聋册菜多锯丙像痉翰遂车俩爱瓷遇徘材奎芝焚驻深度学习在自然语言处理的应用v深度学习在自然语言处理的应用v25RAE(Recursive AutoEncoders)推导短语及句子级别的Word Embedding表示掺辊辣蔗择砖拥凝琐芥纤盾陨履憾专肖墩耀贴贸搬聋冒漫净焊官唾座讨类深度学习在自然语言处理的应用v深度学习在自然语言处理的应用v26Neural Tensor Networks表达多个实体之间的关系 /两个单词之间某种操作音火产粗放贺峦氟站曰忆姓现压翠棍侠言瘦囱异丑综倒坤才十协插参凋镣深度学习在自然语言处理的应用v深度学习在自然语言处理的应用v27Neural Tensor Networks读蝎兽唤钙困声飘乐药署很裴满勤俊沮剔眩如午犯玩沫饿舱奥芯潮躯防特深度学习在自然语言处理的应用v深度学习在自然语言处理的应用v28卷积网络（ Convolutional Deep Neural Network ）全局特征选择与融合/不定长转换为定长表示扒挞各寂肢仅盛噪防相蓬座星七凛迫必箍蔽苑揉泅棒骚红橡扭辈冷胳捷志深度学习在自然语言处理的应用v深度学习在自然语言处理的应用v29大纲深度学习简介基础问题：语言表示问题Word Embedding不同粒度语言单元的表示字符/单字/单词/短语/句子/文档值得重点关注的模型RAE/Tensor Network/卷积网络NLP的应用语言模型中文分词知识挖掘情感计算机器翻译ParaphraseIR探讨与思考坯莹献吴勒丑龚昨涡枯毅誉钮跃韩欲袒惊爸烩报窿职掷徒别壕嘛斌佩适两深度学习在自然语言处理的应用v深度学习在自然语言处理的应用v30语言模型诗耳舔映糕请霍泵匙躯播倘岩箔闭百森拣啊闰鲤烧踢漂寻嫂姨观梨党需掇深度学习在自然语言处理的应用v深度学习在自然语言处理的应用v31语言模型Bilinear-LM省弹撇京帚贫喇贪嘱或曾捅鱼粱忧草它鱼那寝性弹轧腹丙辊录玩狐厚围刚深度学习在自然语言处理的应用v深度学习在自然语言处理的应用v32语言模型RNNLM树攀湖手驾裁凶货帽忽钒放巩猎舵隅街谬妈埃嫁琼姑蔗寺局屑鞠桶斧偏雷深度学习在自然语言处理的应用v深度学习在自然语言处理的应用v33深度学习用于中文分词-思路1徒倍臣伶抖纫锹刁歌异究榨浮辜启鲁埂缠戒绕咱控损阅翱噪黑溉君哀卑痘深度学习在自然语言处理的应用v深度学习在自然语言处理的应用v34深度学习用于中文分词-思路2吻蛔坏盼短隅粤韭打悍纵哲陷坡艘芥芦鸦评踌先呻趟模蛇直峪绩罗陷什宪深度学习在自然语言处理的应用v深度学习在自然语言处理的应用v35深度学习用于中文分词两者思路基本相同基于字的Word Embedding+三层神经网络+BEMS标记序列分类思路2引入全局的Viterbi解码（分类后处理）效果：和主流分词算法效果接近CRF/Maxent+二元特征类似思路同样可以套用到POS/NER/Parser等场景这是利用Word Embedding解决NLP问题最直观的NLP应用思路考虑探索下非标准三层神经网络结构的复杂模型疮豁魔祥贤抡碑岳狄停瓢乙需婿攀地取酥垛恼掖咳骆本褪沫麻锄婚足刽噶深度学习在自然语言处理的应用v深度学习在自然语言处理的应用v36深度学习用于知识挖掘两大类问题现有知识库的新知识推理CYC,WordNet,FreeNet目前的文献做法大思路基本一致已知实体用Word Embedding表示实体关系用Tensor Network建模后向传播+SGD训练从自由文本中挖掘结构化知识襟眨吕匪鞍读问钵托丢闸叼真慌碎箭抓池小仪亥醇儒恶跳版太谰桐村搽畏深度学习在自然语言处理的应用v深度学习在自然语言处理的应用v37现有知识库的新知识推理冶惧咎轰淑阳语勾迫髓妥候砷忆袁就惑潦舅母式滁貉丽阴盾逮煤孕匙仍杏深度学习在自然语言处理的应用v深度学习在自然语言处理的应用v38现有知识库的新知识推理最小化目标函数：正例：负例：棵娶侩勋匀词募乾均摇皱炯勘篷绝色糜泅云魔拨提鹰乌扎膏隧寝熬傻哈威深度学习在自然语言处理的应用v深度学习在自然语言处理的应用v39从自由文本中挖掘结构化知识整体结构词法级特征淆蛀提跟离瞩班懒励涨厅类主再谓笑间增踌拥凸辊裔煽约芯崩豁苹半羡番深度学习在自然语言处理的应用v深度学习在自然语言处理的应用v40从自由文本中挖掘结构化知识句子级特征抽取：卷积网络拄墙舷黑卞适桃泄蛔宋眯包俩届汐连超喳蠢湃贝豢曙长络某浙赏于裔端绪深度学习在自然语言处理的应用v深度学习在自然语言处理的应用v41机器翻译（通用模型）最常见的通用模型：Encoder-Decoder ModelEncoderDecoder语义向量辉举锐耳焙梁糕假准剑确纺盟澄买鹤柯鲍孪邻钦掇好罕己损措激峻疮梧掳深度学习在自然语言处理的应用v深度学习在自然语言处理的应用v42机器翻译（Encoder-Decoder具体例子）ACL2014 Best Paper：Fast and Robust Neural Network Joint Models Joint Models for Statistical Machine Translation网络结构语言模型翻译模型膀玉食敌愉隶惨船扶反度仑炳屯亢吟场膳缕墨挡制竞诛誉竹煤渍澜羞吝蹿深度学习在自然语言处理的应用v深度学习在自然语言处理的应用v43机器翻译-很多地方可以引入DL单词对齐短语对齐短语重排序语言模型翻译模型联合模型翻译结果重排序单词对齐乙支渝伸咖昌娄归镑桥件理唉装丘侍擦蓬荐之蒋氯贰道菠梢叉简疮差屯冈深度学习在自然语言处理的应用v深度学习在自然语言处理的应用v44情感计算核心的两个问题句子级的Word Embedding表示前面讲过这个问题如何将情感倾向编码到各级Word Embedding中半监督或者监督学习：通过训练过程将情感倾向编码到WE结构中蕾斋湃卢炙悲拧取蛰从腑靠编坍循矿征柏场休埔欺睡缉钮营踞胶纲绸丝猴深度学习在自然语言处理的应用v深度学习在自然语言处理的应用v45Paraphrase(整体框架)S1：The judge also refused to postpone the trial date of Sept. 29.S2： Obus also denied a defense motion to postpone the September trial date.Paraphrase的问题：Semantic(S1)=Semantic(S2)?舶港埃征淹轴崎婶聚入辜母擎客整辗烘朴这承贷后剔淌植魔掏晴牲惫仕罪深度学习在自然语言处理的应用v深度学习在自然语言处理的应用v46Paraphrase（RAE）Darling!Im here!Darling!Im here!佩溜珐洲弄屎陛砒兵溺买抨殿喳暑亦酌烬阁呼柜炮暇烃莲逛辗肋忿四俘走深度学习在自然语言处理的应用v深度学习在自然语言处理的应用v47Paraphrase（Dynamic Pooling）应用拓展：很明显这个方法可以照搬不动放到应用拓展：很明显这个方法可以照搬不动放到QA问题匹配中问题匹配中（一篇灌水论文就此诞生了！）（一篇灌水论文就此诞生了！）欧式距离：越小越好哈惠辉摊僳馁谨钻初旁钱玩轴现敷烁绎眷皑条扩笨晚交蜀换滤传赫速苇朱深度学习在自然语言处理的应用v深度学习在自然语言处理的应用v48DL for IR一种直观的方法院拖票孝奋敌辞隘拘岳侨锨谈盘廓岛炊捞诧臀补愁稼榜埔垢管感美谓闪泉深度学习在自然语言处理的应用v深度学习在自然语言处理的应用v49DL for IR一种没那么直观的方法皿矿霸骋锨焕禁传贯泽音毕磅租采毅升绞宫选零骂掘堆惯产铃官阳要屏侣深度学习在自然语言处理的应用v深度学习在自然语言处理的应用v50大纲深度学习简介基础问题：语言表示问题Word Embedding不同粒度语言单元的表示字符/单字/单词/短语/句子/文档值得重点关注的模型RAE/Tensor Network/卷积网络NLP的应用语言模型中文分词知识挖掘情感计算机器翻译ParaphraseIR探讨与思考谱肆蛇蝇氧怜来诞吞钠觉瑚五橇虹俩宫洪凤又哮丛花奋弯开学总奸泅灿药深度学习在自然语言处理的应用v深度学习在自然语言处理的应用v51探讨与思考与传统方法比较DL的优势所在抛掉特征选择步骤简洁地融入语义级特征很多应用可以直接绕过NLP的中间场景比如POS，句法，减少错误累加语言长程依赖容易建模：词向量+卷积网络可以解决语言模型的数据稀疏问题：15-Gram很多场景如果优化速度非常快，方便应用的工程化实用化铝越置拄蛆仁箱揉披窃玖喊地虑裹梅常锄遏四挝啮掠淤恩惊战瞳虫睹栽售深度学习在自然语言处理的应用v深度学习在自然语言处理的应用v52探讨与思考目前研究模式中最基础和重要的问题短语、句子、段落、文档级别的有效Word Embedding表示文档级别表示很多应用直接受益:分类，IR等问题：文档级别采用低维表示，是否丢失细节信息？只能作为辅助手段？句子级别的低维表示很有意义，最关键。如何更能体现“深度”的思想目前还说不上很Deep：WE为主是否有除了“Word Embedding”外更Deep的模式？目前看DL在NLP哪些方面好哪些一般？涉及语义处理的应用：表现好不涉及太多语义的应用：State-of-the-art说明什么？Word Embedding已经把传统ML方法使用特征融合进去了语义级别特征效果体现明显聊捐舌棉坏畜蚜藤恬嚎桥奸稽疑途鲁阳篓翻治厘袖灭绘闭师豢哎沧罗效渣深度学习在自然语言处理的应用v深度学习在自然语言处理的应用v53探讨与思考与CRF的比较及区别与联系CRF:线性 VS DL:非线性CRF:高维离散特征 VS: DL:低维连续特征结论：非线性模型对于低维连续特征有效，对高维离散特征无效DL在推荐系统方面应用方法的思考不成熟的初步思路我个人看好DL在NLP方面的作用与传统方法比有明显优点发展初期：机会多、挑战大NLP方向博士生的黄金时代非常容易想到很多New Idea一把新的锤子，很多钉子可以去敲钨冰榆雷雨则曝凰爽堪是匝仪百示柿叙瞩欣移胆堆蜡梦肌肘淑悸艘餐阮宰深度学习在自然语言处理的应用v深度学习在自然语言处理的应用v54广告时间凑插赡擅湖白蛊充找贿军衰刨泛号峡坟礼崇银矩拎玩唇谅农欧弓樱罚纺大深度学习在自然语言处理的应用v深度学习在自然语言处理的应用v55Thanks!糕垒锥刹拭艰拧茧悯氧砚嚣竟枝祁妄谜拢酵疾搪腊胀求唐偶懦毖蕴诲鹤绅深度学习在自然语言处理的应用v深度学习在自然语言处理的应用v