资源预览内容
第1页 / 共19页
第2页 / 共19页
第3页 / 共19页
第4页 / 共19页
第5页 / 共19页
第6页 / 共19页
第7页 / 共19页
第8页 / 共19页
第9页 / 共19页
第10页 / 共19页
亲,该文档总共19页,到这儿已超出免费预览范围,如果喜欢就下载吧!
资源描述
现代汉语词义标注语料库 的研究与开发,吴云芳 北京大学计算语言学研究所 2005-08-15,报告提纲,目标 总体思路 辅助软件 成果展示 难点分析,目标,建成23个具有国际先进水平(或规模最大)的数据资源库并制定相应的规范或标准。 973项目“数字内容理解的理论与方法”预期目标之一 我们的目标:建设成为规模最大、质量上乘的具有国际先进水平的现代汉语词义标注语料库。 具体运用意义:是词义自动消歧(WSD)的数据基础,进而提升信息检索、机器翻译等系统的应用水平。是现代汉语词汇语义研究的资源库。,总体思路 粗粒度到细粒度的两步走策略,1. 粗粒度标注 基于现代汉语语法信息词典中的“同形”信息 填补现代汉语语法信息词典和语料库的缝隙 2. 细粒度标注 在“同形”基础上进行更适应于语言信息处理的义项区分,现代汉语语义词典(含6万实词) 现代汉语语法信息词典的扩充,面向机器翻译。 动词库部分信息样例(增加了“义项”等字段),总体思路 语义词典和词义标注语料的互动构建,语义词典,词义标注语料库,词语多义区分,词义自动消歧,1.词语义项的区分 一个词可以分割为几个义项?,2.真实文本中词语义项的确定 在一定上下文中这个词语表示什么意义?,总体思路 语义词典和词义标注语料的互动构建,语义词典,词义标注语料,词义标注,义项区分,面向大规模真实文本的 词语义项标注规范,一方面依据语义词典中的义项信息对语料中的多义词进行词义标注,一方面依据词语在语料中的句法表现(syntactic behavior)对词典中的义项区分作出调整,词典和语料形成一个互动良性的发展。,总体思路 词义标注语料的滚雪球似增长,基本标注语料 (词语切分、 词性标注),人工词义标注,小规模 词义标注语料库,机器学习 词义自动消歧,人工校对,大规模 词义标注语料库,词义标注校对辅助软件,体现了总体思路, 提高了工作效率。,成果展示词义标注语料库,从/p 科学/a 的/u 苍穹/n 上shang5/f!B$ ,/wd 采/v 来/v!4-4 日辉/n 、/w 月华/n 、/w 星/n 芒/Ng ,/wd 每天/r 为wei4/p!B1$ 我/r 的/u 祖国/n ,/wd 深情/d 献/v 一/m 掬/q 科技/n 之/u 光/n 。/wj ”/w 这/r 是/v!B1$ 大家/r 的/u 座右铭/n 。/wj 有人/r 对/p /wkz 科技/n 之/u 光/n /w 做/v!2$ 过/u 这样/r 的/u 评价/v :/w “/w 长城/n!0-2 上shang5/f!B$ 的/u 每/r 一/m 块/q!1$ 砖/n 拆/v 下来/v 单独/d 看kan4/v!B2-1 ,/wd 是/v!B1$ 普通/a 甚至/c 粗糙/a 的/u ,/w 但/c 垒/v 在/p 一起/s 却/d 变/v!1$ 得/u 蔚为/v 壮观/a ,/w 令/v 人/n 惊叹/v 。/w ”/w 今天/t /w 科技/n 之/u 光/n /w 已经/d 成/v 了/u 在/p 国内外/s 有/v!1$ 一定/b 知名度/n 的/u 电视/n 品牌/n 。/w,成果汇总,在人民日报基本标注语料的基础上: 1. 完成了 270 万语料的同形标注; 2. 完成了 46 个动词的义项区分, 并标注 8639 义项; 3. 完成了 150 个名词的义项区分, 并标注 6000 多义项; 4. 正在进行形容词义项区分和标注。,难点分析,语义词典,词义标注语料库,词语多义区分,词义自动消歧,1.词语义项的区分 一个词可以分割为几个义项?,2.真实文本中词语义项的确定 在一定上下文中这个词语表示什么意义?,面向大规模真实文本的语言处理,难点分析示例,【电话】 利用电流使两地的人互相交谈的装置 (现汉) 用电话装置传递的话 a. 24/m 小时/n 值班/v 守/v 电话/n ? b. 公布/v 3/m 部/q 征求/v 意见/n 电话/n ?,If 电话 , Then 守+电话 不符合语用。 If 电话 , Then 守+电话 Fail. b. If 电话 , Then 公布+电话 Fail. If 电话 , Then 3部+电话 Fail.,难点分析示例,关于词语意义的一点认识:内容和载体是一个事物不可 分割的两方面意义,存在着句法结构混合运用的情形,即可能存在着意义和结构搭配错位的情形。 扩展法消歧: a. 24小时值班守电话 结果电话丢了。 (? ?) 结果一个电话也没人打来。 ! b. 公布3部征求意见电话 欢迎随时安装。(*) 欢迎随时拨打。 !,难点之解决,系列文章: 信息处理用词语义项区分的原则和方法 信息处理用动词义项的区分 信息处理用名词义项的区分 信息处理用形容词义项的区分 信息处理用虚词义项的区分,请您批评,谢谢!,
网站客服QQ:2055934822
金锄头文库版权所有
经营许可证:蜀ICP备13022795号 | 川公网安备 51140202000112号