Transcript 基于语料库的工作
基于语料库的工作
张宇
大纲
• 什么是语料库
• 语料库的发展简史
• 语料库建设中处理的问题
• 数据标注
2015/7/17
中文信息处理--基于语料库的工作
2
什么是语料库
• 语料库，英文为Corpus
• 存储语言材料的仓库
• 现代的语料库是指存放在计算机里的原始
语料文本或经过加工后带有语言学信息标
注的语料文本.
2015/7/17
中文信息处理--基于语料库的工作
3
关于语料库的三点基本认识
• 语料库中存放的是在语言的实际使用中真
实出现过的语言材料；
• 语料库是以电子计算机为载体承载语言知
识的基础资源；
• 真实语料需要经过加工（分析和处理），
才能成为有用的资源；
2015/7/17
中文信息处理--基于语料库的工作
4
语料库示例
北京大学计算语言所富士通人民日报标注语料库样例：
历史/n 将/d 铭记/v 这个/r 坐标/n ：/w 北纬/b ４１．１
/m 度/q 、/w 东经/b １１４．３/m 度/q ；/w 人们/n 将
/d 铭记/v 这/r 一/m 时刻/n ：/w １９９８年/t １月/t １
０日/t １１时/t ５０分/t 。/w ……
[中国/ns 政府/n]nt 顺利/ad 恢复/v 对/p 香港/ns 行使/v
主权/n ，/w 并/c 按照/p “/w 一国两制/j ”/w 、/w “/w 港
人治港/l ”/w 、/w 高度/d 自治/v 的/u 方针/n 保持/v 香港
/ns 的/u 繁荣/an 稳定/an 。/w
2015/7/17
中文信息处理--基于语料库的工作
5
语料库的分类
• 生语料库/熟语料库
– 生语料库就是未经加工的,没有任何切分,标注标记的原
始语料库
– 熟语料库就是指经过加工,带有切分,标注标记的语料库
• 系统型语料库/专用型语料库
– 系统型语料库就是依据事先确定的选材原则和比例选
取语料的语料库
– 专用型语料库就是指专门服务于某个特定目的的语料
库
• 单语种语料库/多语种语料库
2015/7/17
中文信息处理--基于语料库的工作
6
语料库发展简史
• 第一代（1970－80年代）
• 第二代（1980－90年代）
• 第三代（1990年代－）
2015/7/17
中文信息处理--基于语料库的工作
7
第一代语料库
• Brown语料库
• LOB语料库
• LLC语料库
百万词级以语言研究为导向
2015/7/17
中文信息处理--基于语料库的工作
8
第二代语料库
• COBUILD语料库
• Longman语料库
千万词级词典编纂－应用导向
2015/7/17
中文信息处理--基于语料库的工作
9
第三代语料库
• ACL/DCI语料库
– The Association for Computational Linguistics
– Data Collection Initiative
• UPenn树库
• LDC（ Linguistic Data Consortium ）
超大规模（上亿词级）标准编码体系深度标注/多语种NLP应用
2015/7/17
中文信息处理--基于语料库的工作
10
语料库建设中处理的问题
• 文本
– 生文本
– 标注文本
• 语料库建设中处理的问题
– 低级格式问题
– 标记化：什么是一个词？
– 词法
– 句子
2015/7/17
中文信息处理--基于语料库的工作
11
低级格式问题
• 垃圾格式
– 由于语料库的来源复杂，语料库中可能存在无
法处理的各种各样的格式或内容，他们是没有
用处的，需要过滤掉。
• 文档页眉、分隔符、排版代码、表和图表
• 如果数据来源于OCR，会引入错误识别的问题
2015/7/17
中文信息处理--基于语料库的工作
12
低级格式问题
• 大小写
– the，The，THE
– Richard Brown
brown paint
• 识别句子中人名的启发式方法
– 把每个句子开头的大写字母转换成小写字母
– 把一串连续大写的词当作标题和副标题
– 这样，其余的大写字母就可以认为是名字
2015/7/17
中文信息处理--基于语料库的工作
13
标记化：什么是一个词
• 什么是词
– 前后有空格的连续字母组成的字符串，可以包
含连字符和省略号，但是不能包含其它的标点
符号。
– Kucera and Francis（1967）
– $22.50，Micro$oft，C|net
2015/7/17
中文信息处理--基于语料库的工作
14
标记化：什么是一个词
• 句点
– 大多数句点的作用是表明句子结束，其它情况
表示缩写，例如：etc.，Calif.。
• 保留句点的意义
– Wash.（Washington）-- Wash
• etc.出现在句子的末尾的时候，只保留一个
句点，这个句点同时表示两种意思。
2015/7/17
中文信息处理--基于语料库的工作
15
标记化：什么是一个词
• 单撇号
– I’m，isn’t ……
– I am，is not
• dog’s 表示什么？
– dog is，dog has，还是所有格形式？
• 词末尾的单撇号如何处理？
– 通常代表一对引号的结束，不是该词的一部分
– 如果它跟着一个s出现
• boys’ toys
2015/7/17
中文信息处理--基于语料库的工作
16
标记化：什么是一个词
• 连字符：不同形式表示相同形式的词
– 带有连字符的一串字母应该看成一个词还是两个？
（有时候是一个，有时候是两个）
• 一个，来源于排版印刷
– 找到一行中最后的连字符，丢弃它，把本行的词和下一行的连起
来
– e-mail, co-operate
– 连字符用于表示引用的短语或者数量、比率
• the 26-year-old
– database, data base, data-base
– 破折号和词语之间的空格
2015/7/17
中文信息处理--基于语料库的工作
17
标记化：什么是一个词
• 相同形式表示不同的“词语”
– saw – 工具
– saw – see的过去时
2015/7/17
中文信息处理--基于语料库的工作
18
标记化：什么是一个词
• 其它语言中的分词
– 中文、日文、泰文
• 严守一把手机关上 — 严守一 把 手机 关上
– 德语中大多数的词语有空格分割，但是复合名
词写成单独的词
• Lebensversicherungsgesellschaftsangestellter
人身保险公司的雇员
– database – data base
2015/7/17
harddisk – hard disk
中文信息处理--基于语料库的工作
19
标记化：什么是一个词
• 非词语分界的空格
– data base – database, 9365 1873 – 93651873
– New York, San Francisco
– 如果和连字符一起出现，问题就更加复杂了
• the New York – New Haven Railroad
– 习惯搭配形成的词
• Work out
– I couldn’t work the answer out.
2015/7/17
中文信息处理--基于语料库的工作
20
标记化：什么是一个词
电话号码
国家
电话号码
国家
0171 378 0647
UK
+45 43 48 60 60
Denmark
(44.171 830 1007)
UK
95-51-279648
Pakistan
+44 (0) 1225 753678
UK
+411/284 3797
Switzerland
01256 468661
UK
(94-1) 866854
Sri Lanka
(202) 522-2239
USA
+49 69 136-2 98 05
Germany
1-925-225-3000
USA
33 1 34 43 32 36
France
212.995.5402
USA
++31-20-5200161
The Netherlands
2015/7/17
中文信息处理--基于语料库的工作
21
词法
• 词干化
– 去除词缀只留词干的过程
– operating-operate, computing-compute
• 词干化的优点
– 对词的各种变化形式进行归类，减少了词的数
目
– 意味着一定水平上的词义消歧
• Lying—lie, lay（卧倒） lie, lied（欺骗）
2015/7/17
中文信息处理--基于语料库的工作
22
词法
• 词干化中的问题
– 词干化会浪费一些信息
• operating system—operate system
• business—busy
– 词法分析把词切分成词次，但是有的时候把密切相关
的信息组合到一起是有意义的
• 保卫祖国—保卫 祖国
– 公民有保卫祖国,依法服兵役的义务
– 保卫社会主义建设,战斗在祖国边疆及各个岗位上
– 英语中只有很少的词态，所以对其进行词态处理不是
很有必要。而其它语言中，进行词态处理可能会有很
大的意义
• 芬兰语，每个动词有百万种变化形式
2015/7/17
中文信息处理--基于语料库的工作
23
句子
• 句子：以一个“。”、“，”、“！”或者“？”
结尾的内容。90%的情况都是这样
– 句子可能会被其它的分隔符号切分开 (e.g., : ; --)
– 句子的顺序可能会被打乱
• “You should be here,” she said, “before I know it!”
– 引号可能在句子的最后一个标点的后面
– 识别句子的边界，可以采用一些启发式的方法，也有
一些学者尝试自动的方法来识别句子的边界。
2015/7/17
中文信息处理--基于语料库的工作
24
启发式的方法
• 在. ? !（和可能的: ; --）出现位置之后加一个假设的句子
•
边界
如果假设边界后面有引号，那么把假设边界转移到引号后
面
– 如果在句点之前是一个不纵出现在句子末尾的众所周知的缩写形
式，而且通常后面会跟一个大写的名字，例如：prof.
– 如果句点前面是一个众所周知的缩写形式，但是句点后面没有大
写词。这样即可正确地处理像etc. 这样的大多数缩写用法，这些
缩写一般出现在句子的中间或者末尾
• 如果下面的条件成立，则删除?或者!的边界资格
– 这些符号后面跟着一个小写字母（或者一个已知的名字）
• 认为其它假设边界就是句子的边界
2015/7/17
中文信息处理--基于语料库的工作
25
自适应的句子边界检测
• Dr. J. M. Freeman and T.Boone Pickens Jr.
• David D. Palmer, Marti A. Hearst, Adaptive
Sentence Boundary Disambiguation,
Technical Report, 97/94 ,UC Berkeley: 9899% correct
2015/7/17
中文信息处理--基于语料库的工作
26
数据标注—标注方案
• 我们可以在普通文本的语料库上做很多工作，在此之上，
如果增加一些信息，那么会得到更多的东西
–
–
–
–
–
句子的边界，段落的边界，……
Lexical tags
句法结构
语义表达
语义类别
• 不同的标注方案
– COCOA format (文本的头信息，例如作者、时间、日期、题目等)：
使用尖括号，第一个字母表示某个域的主要语义
– 通用标记语言SGML (related: HTML, TEI, XML)
2015/7/17
中文信息处理--基于语料库的工作
27
SGML例子
• <p> <s> This book does not delve very deeply into
•
•
SGML. </s> … <s> In XML, such empty elements may
be specifically marked by ending the tag name with a
forward slash character. </s></p>
<utt speak=“Mary”, date = “now”> SGML can be very
useful. </utt>
Character and Entity codes: begin with ampersand and
end with semicolon
– C is the less than symbol→ < is the less than symbol
– résumé → rèsumè
2015/7/17
中文信息处理--基于语料库的工作
28
语法标注
• • Tagging corresponds to indicating the various
•
•
conventional parts of speech. Tagging can be done
automatically (we will talk about that in a later lecture).
多种标注集，e.g., Brown Tag Set, University of
Lancaster Tag Set, Penn Treebank Tag Set, British
National Corpus (CLAWS*), Czech National Corpus
标注集的设计
– 标注集的特征– Target Features: useful information on the
grammatical class
• – Predictive Features: useful for predicting behavior of
other words in context (e.g., distinguish modals and
auxiliary verbs from regular verbs)
2015/7/17
中文信息处理--基于语料库的工作
29
Pen Treebank标注集
• Adjective: JJ, JJR, JJS
• Cardinal: CD
• Adverb: RB, RBR, RBS,
•
•
•
WRB
Conjunction: CC, IN
(subordinating and
that)
Determiner: DT, PDT,
WDT
Noun: NN, NNS, NNP,
NNPS (no distinction
for adverbial)
2015/7/17
• Pronoun: PRP, PRP$, WP,
•
•
•
•
•
•
WP$, EX
Verb: VB, VBP, VBZ, VBD,
VBG, VBN (have, be, and
do are not distinguished)
Infinitive marker (to): TO
Preposition to: TO
Other prepositions: IN
Punctuation: . ; , - $ ( )
``’’
FW, SYM, LS
中文信息处理--基于语料库的工作
30
标注集
• General definition:
– Tags can be represented as a vector: (c1,c2,...,cn)
– Thought of as a flat list T = { ti }i=1..n with some
assumed 1:1 mapping
T (C1,C2,...,Cn)
• English tagsets:
– Penn treebank (45) (VBZ: Verb,Pres,3,sg, JJR: Adj.
Comp.)
– Brown Corpus (87), Claws c5 (62), London-Lund (197)
2015/7/17
中文信息处理--基于语料库的工作
31
其它语言的标注集
• Differences:
–
–
–
–
Larger number of tags
categories covered (POS, Number, Case, Negation,...)
level of detail
presentation (short names vs. structured (“positional”))
• Example:
2015/7/17
中文信息处理--基于语料库的工作
32