Transcript 2.统计自然语言处理介绍

统计自然语言处理介绍
戴新宇
2015-10
2016/8/5
1
What is NLP?


自然语言理解：认知的角度
自然语言处理：实践的角度
2016/8/5
2
What is NLP?

基础任务





词法分析
句法分析
语义分析
…...
自然语言相关应用







Search Engine
Machine Translation
Question Answering
Information Extraction
Text Summarization
Speech Recognition
......
2016/8/5
3
几个问题

大家是从小到大如何学语言的？



语言学起来难在哪儿？
搜索引擎好用吗？


不好用但是离不开
Google Translator好用吗？


母语？ 外语？ 程序设计语言？
不好用，有人也离不开
Siri好用吗？

太不好用，所以可以没有，将来可以有，也必须有
2016/8/5
4
Why NLP is hard?

Ubiquitous Ambiguity

Morphology


Syntactic


The boy ate the cake with the fork.
Semantic


苹果
“At last, a computer understands you like your mother”
[L.Lee]
Discourse

2016/8/5
梁启超 《论纪年》：“凡天地间事物之名号，其根源莫不
出于指代，而纪年亦其一端也。”
5
自然语言处理的两个途径

规则方法（理性主义方法）：基于特定的理论框
架，人工设计规则，针对特定的任务给出解决方
案。


例如：基于人工整理的CFG规则，提出句法分析的技
术方案。
统计方法（经验主义方法、数据驱动的方法）：
从数据入手，利用统计学习方法解决问题。

例如：通过自动学习得到PCFG（概率上下文无关文
法），通过概率模型预测句法分析结果。
2016/8/5
6
理性主义之人工规则方法
*s -> * (SINGULAR3)
*es -> * (SINGULAR3)
语言学
语义学
认知科学
人工智能
VP -> V NP
NP -> ART N
写规则
自然语言输入
x
专家系统
规则库
处理结果
7
经验主义之统计学习方法
统计学习
P(bank|banco)=0.9
P(bench|banco)=0.1
建立模型
自然语言输入
x1 x2  xn
自然语言输入
xn 1
学习系统
概率模型
预测
预测系统
p̂( xn 1 )
8
Foundation to Statistical NLP

语言相关：




了解自然语言的一些特性
语言的各种歧义现象
语言的表示
统计方法基本套路：




问题形式化，将各种歧义问题转换成分类预测问题
建模
参数训练方法
有效的解码、推断
2016/8/5
9
课程主要内容

Words level



Syntax Level (Structured classification)


Parsing
Semantics Level


Language Model
Part-of-speech tagging
Semantic Role Tagging
Applications



Text classification
Machine Translation
Question Answering
2016/8/5
10