Transcript 面向专利文献的汉语分词技术研究

面向专利文献的汉语分词技术研究
姓名：岳 金 媛
导师：徐金安 张玉洁
学校：北京交通大学
讲解纲要
课题背景及意义
1
实验原理及方法
2
3
4
实验数据及结果
未来工作计划
一、课题背景及意义
 分词是NLP的重要基础、核心技术
 中文分词的难点：
分词规范、歧义切分、未登录词的识别
 当前中文分词工具的特点
算法不断改进、精度不断提高
特定领域内分词精度可达97%以上
专利文献的分词精度低下80%以下
二、实验原理及方法
 专利文献的特点
专业性强
形式规范语言严谨，较少出现歧义
大量的术语定语嵌套现象
存在数据稀疏现象
某些术语内部存在符号标记(2-二甲基环丙醇)
二、实验原理及方法
训练语料
预处理
术语构词规则提取
停用词表
候选术语评估及停用词表过滤
CRF标注识别
专业术语
CRF模型训练
专利领域词典构建
分词
初步专业术语
后处理
输出分词结果
二、实验原理及方法
 ICTCLAS工具粗切分
各/r 向/p 异性/n 线/n 来自/v 于/p 逆变换
/v ,/w 该/r 逆/n 变化/v 将/p 几何/n 基元
/n 表面/n 上/f 的/u 点/q 映射/v 至/p 纹
理/n 映射/v 中/f 的/u 点/q ./w
二、实验原理及方法
 NC-value算法运用规则提取初步术语
术语构词特点(多为名词性短语,最后1-3个字
大多是其中心词)
词性标注信息
上下文信息
语料切分标记(标点、提示语、数字等)
二、实验原理及方法
 术语提取的正则式实例
名词+名词
n+n
（形容词|动词|名词）+名词
(a|v|n)+n
名词+（名词|动词|量词|未识别的词）
n(n|v|q|x)*
说明: +表示出现一次以上，*表示出现零次以上
二、实验原理及方法
 NC-value值计算公式
log 2 | a | f (a)a未被嵌套包含

C _ value(a)  
1
log 2 | a | ( f (a)  p(T ) bT f (b))其他
a
a

f (b)
NC _ value(a )  0.8 * C _ value(a )  0.2 *  f a (b) *
p(Ta )
bTa
其中，a表示候选的字符串，|a|表示字符串a的长度，
f(a)表示字符串a的词频，Ta表示包含字串a的术语，
b表示Ta中任意的包含字串a的术语，P(Ta)表示包含
字串a的术语总数，fa (b) 表示b在字串a的上下文
中出现的次数
 阈值设为0.0169，即若NC_value值大于阈值，
就判定该词为一个专业术语
二、实验原理及方法
 条件随机场(CRF)统计训练提取低频率术语
四词位标注集
标注符号
不同词长的标注形式
B(术语的首字);
BE(2字术语);
M(术语的中间字);
BME(3字术语);
E(术语的尾字);
BM...ME(大于3的术语);
O(非术语);
O/O...O(非术语)
二、实验原理及方法
 特征模板
特征类型
特征模板
Unigram(一元)
Cn,Sn n=-2,-1,0,1,2
Bigram(二元) CnCn+1,SnSn+1 n=-2,-1,0,1
说明: C表示当前字，S表示词性特征
三、实验数据及结果
 实验语料
训练集：NTCIR-9会议的PatentMT任务提供的
10万句生语料的汉语专利数据
测试集：103篇专利文献(摘要、说明书、权
利要求)
在训练语料中抽取8000句作为专业术语提取
结果的抽样评价数据
三、实验数据及结果
 评测方法
正确分词的数量
准确率P 
 100%
总的切分数量
正确分词的数量
召回率R 
 100%
标准结果集实有切分的数量
2  召回率  正确率
F - 测度值 
 100%
召回率  正确率
三、实验数据及结果
 术语提取实验抽样结果
准确率 正确术 识别术
术语提取方法
P/%
语 /条 语 /条
Nc_value算法
85.29
87
102
CRF算法
78.85
179
227
三、实验数据及结果
 开放测试下实验结果
分词方法
ICTCLAS分词
系统
本实验方法
准确率 召回率 F-测度
P/%
R/%
值/%
71.65
85.42
77.93
95.56
96.18
95.87
四、未来工作计划
 语扩充语料规模、减少数据稀疏的影响
 挖掘新的语言学规律
 加强利用上下文信息
 研究英汉平行专利文献的分词技术
谢谢！