Transcript 面向开放异构知识库的词汇同义关系学习

31.Oct 2012
面向开放异构知识库的
词汇同义关系学习
www.huawei.com
刘燚灵 [email protected]
HUAWEI TECHNOLOGIES Co., Ltd.
HUAWEI Confidential
总体
同义词典
百度百科同义模板接口
查询词
百度词典同义模板接口
去重
合并
排序
同义关系
计算结果
缩略语预测接口
相关词词典
高效地扩展和补充同义词典知识库
以同义词典保证较高准确率
以因特网的开放异构知识库提高同义关系覆盖率
HUAWEI TECHNOLOGIES Co., Ltd.
HUAWEI Confidential
Page 2
百度百科和百度词典
HTML模版
文本模板
信任权重
古文识别
干扰过滤
多义项和目录过滤 目标词前置判断
结果过滤（分词/关键字词）文本结构化
HUAWEI TECHNOLOGIES Co., Ltd.
HUAWEI Confidential
Page 3
同义词典和相关词典
5156
XIMIZI
查
字
典
365ZN
义
典
缩
略
语
词
典
义
典
百百
科度
相关义项3907个
（38096词）
同义义项17345个
（102882词）
新词
单义项匹配且匹配词数2个以上
网络资源参差不齐，好坏不一，此方法
能快速大致合并，但若要更精准还是
要涉入更多的人工扫视
单义项单词匹配且匹配词3字以上
多义项匹配
HUAWEI TECHNOLOGIES Co., Ltd.
HUAWEI Confidential
Page 4
结果
System1：如果同义词典、百度词典或者缩略语预测接口可以计算得到同义词，则同义计算的结果为上述三
个接口输出的并集；否则，输出百度百科同义模板接口同义关系的计算结果；如果百度百科模板接口没有结果
输出，则输出相关词词典的查询结果。
System2: 如果同义词典、百度词典和百科同义模板接口或者缩略语预测接口可以计算得到同义词，则同义
计算结果为上述四个接口输出的并集；否则，输出相关词词典DR中的查询结果。
宏平均
准确率
宏平均
召回率
宏平均
F1值
微平均
准确率
微平均
召回率
微平均
F1值
System1
0.3641
0.5176
0.3664
0.2754
0.5829
0.3740
System2
0.3305
0.5506
0.3635
0.2615
0.6102
0.3662
引入相关词对宏平均的PRF和微平均的R有提升，主要提升在R上（将近20个点），但是对微平均的P和F都
有很大的拉低（P值30个点，F值20个点）
项目
宏P
39.30%
system1
28个样例
宏R
宏F1
52.20%
32.50%
微P
16.30%
微R
54.30%
微F1
25.00%
system1排除相关词
37.90%
34.30%
30.20%
43.90%
49.70%
46.60%
system2
38.60%
57.10%
35.80%
16.80%
57.60%
26.00%
system2排除相关词
37.20%
39.20%
33.50%
45.50%
53.00%
48.90%
缩略语接口：用规则生成的表现比算法生成的好，只占13词/778词
项目
百科最优
词典最优
宏P
17.60%
11.94%
778个评测目标词（最新数据）
宏R
宏F1
微P
微R
9.60%
10.20%
46.20%
7.90%
3.15%
4.43%
61.04%
4.98%
HUAWEI TECHNOLOGIES Co., Ltd.
HUAWEI Confidential
微F1
取词个数
13.50%
333
9.20%
196
Page 5
31.Oct 2012
Thank You
www.huawei.com
www.huawei.com
HUAWEI TECHNOLOGIES Co., Ltd.
HUAWEI Confidential