Transcript 文内ゼロ照応解析の結果
文の構造を利用した文内ゼロ照応解析
飯田 龍 乾 健太郎 松本 裕治
奈良先端科学技術大学院大学
{ryu-i,inui,matsu}@is.naist.jp
NLP2006 3,15,2006
はじめに
ゼロ照応解析:文章内のゼロ代名詞を検出し，
ゼロ代名詞の先行詞を同定する処理
応用: 機械翻訳や情報抽出で必須の処理
ゼロ代名詞: 述語と直接の係り関係にない
必須の項を指す省略された要素
先行詞
奈良、平安時代に中央政府の最北の出先機関だったとされ
る国史跡・秋田城跡に派遣された役人1は、サケやマスなど
を食材にした郷土料理は（φ1ガ）口にせず、あくまで「関西
風」の食事にこだわっていたことが（φ2ガ）分かった。
ゼロ代名詞
NLP2006 3,15,2006
ゼロ代名詞
2
発表の焦点
ゼロ照応解析の問題を文内と文間で二つに分割
文内ゼロ照応
太郎は遅刻して（φガ）授業に遅れた。
統語的なパタン
local topicの遷移
文間ゼロ照応
そこにいたお年寄りたちは、ただボーッとしてい
るような感じの人がほとんどだった。
私は近づくのを躊躇った。
しかし、私が近くに行くと、とてもうれしそうに話
を（φガ）してくれ、笑顔を見せてくれた。
談話の挿入
global topicの遷移
それぞれ捉える特徴が異なる
文内の問題に関して文の構造情報を機械学習に基
づく解析手法と統合することにより，解析精度の向上
を目指す
NLP2006 3,15,2006
3
文内ゼロ照応その解析の手がかり
文内ゼロ照応の例
並列節
太郎は遅刻をして（φガ）授業に遅れた。
NPが～して(φガ)～する。 NPはφの先行詞となりやすい
主節と従属節
先生も遅れたので（φガ）怒られなかった。
NPが～ので(φガ)～する。 NPはφの先行詞となりにくい
連体節
（φガ）寝坊をして授業に遅れた太郎。
(φガ)～して～するNP NPはφの先行詞となりやすい
統語的なパタンが手がかりとなる
NLP2006 3,15,2006
4
先行研究
人手で作成した規則に基づく手法
（村田ら 95, 田村ら 95 ,中岩ら 96 ）
センタリング理論(Groszら 95)などの言語学的な知見に
基づく
南(`74)の節間の主語同一性の分析を利用
統語的なパタンを網羅的に記述することは困難
機械学習に基づく手法
（Soonら 01,関ら 01, Ngら 02, 磯崎ら 04, Yangら 05, 飯田ら 05）
表層情報からわかる簡単な素性で規則ベースの手法
と同程度の精度を得ている
MUCのCOタスク, ACE programのEntity Detection and
Trackingタスクのデータを対象に着実に進歩している
文内と文間を区別せずに処理している
NLP2006 3,15,2006
5
提案手法
文内と文間を区別し，それぞれ個別に学習に基づく
手法（探索先行分類型モデル （飯田ら, 05））で解析
文内の問題に関しては既存のゼロ照応解析で利用さ
れている情報に加え統語パタンも同時に学習する
NLP2006 3,15,2006
6
探索先行分類型モデル
照応解析の問題を2段階で解析
1. 先行詞同定
村山首相
村山首相
…
独自 社会党
φ
トーナメントモデル (飯田ら, 03)
2つの先行詞候補の間で勝ち抜き戦を行い先行詞を唯一に決定
2.
照応性判定（先行詞が文章内にあるか否かを判定）
先行詞
候補集合
村山首相
八日
トーナメントモデル
超党派
独自
最尤先行詞候補
村山首相
社会党
φ
照応性判定モデル
score ≧θ
…
ゼロ
代名詞
村山首相
φ :照応性あり
(文章内に先行詞を持つ)
φ
NLP2006 3,15,2006
7
提案手法
文内と文間を区別し，それぞれ個別に学習に基づく
手法（探索先行分類型モデル （飯田ら, 05））で解析
文内の問題に関しては既存のゼロ照応解析で利用
されている情報に加え統語パタンも同時に学習する
1. 文の構造をどのように表現するか
2. どのようにして構造から重要な統語パタンを
抽出するか
NLP2006 3,15,2006
8
文の構造の表現
文節を単位とした係り受け木で表現
文節間係り受け関係 = 機能語列 で近似的に表現
首相は訪米して、両国の外交を（φが）推進する方針を明らかにした。
は
top
て
conj
の
between
両国
訪米し
首相
、
punc
を
obj
外交
が
nom
φ
を
obj
adnom
推進する
方針
た
past
明らかにし
先行詞候補とゼロ代名詞の間のパスを抽出
は
top
首相
て
conj
訪米し
、
punc
が
nom
φ
NLP2006 3,15,2006
を
obj
adnom
推進する
方針
た
past
明らかにし
9
学習に利用する部分木への変換
内容語や機能語列をそのまま利用すると訓練事例が
疎になる
、
先行詞候補とゼロ代名詞の間のパスを抽出
は
top
首相
て
conj
punc
が
nom
φ
訪米し
を
obj
adnom
推進する
方針
た
past
明らかにし
1. 機能語列を各文節ノードの子に移す
2. 文節ノードの内容語の情報を削除する
Ant
は
top
LeftNode
て
conj
、
punc
φ
が
nom
RightNode RightNode
adnom
NLP2006 3,15,2006
を
obj
Node
た
past
10
先行詞同定で利用する部分木
トーナメントモデルで利用する2つの先行詞候補とゼロ
代名詞の3つの関係を1つの木で表現するのは困難
3つのパスで表現
1. 左側の候補とゼロ代名詞（赤色の線）
2. 右側の候補とゼロ代名詞（緑色の線）
3. 左側の候補と右側の候補（オレンジ色の線）
「首相」と「両国」が比較対象となる2つの候補の場合
は
top
首相
て
conj
訪米し
、
punc
の
between
両国
を
obj
外交
が
nom
φ
NLP2006 3,15,2006
を
obj
adnom
推進する
方針
た
past
明らかにし
11
先行詞同定で利用する部分木(Cont’d)
左側の候補とゼロ代名詞(TL)
L.LeftCand L.LeftNode
L.は
top
L.て
conj
L.φ
L.が
nom
L.、
punc
L.RightNode L.RightNode L.Node
L.
adnom
L.を
obj
L.た
past
右側の候補とゼロ代名詞(TR)
R.RightCand R.RightNode
R.の
of
R.を
obj
R.φ
R.Node
R.が
nom
R.
adnom
左側の候補と右側の候補(TI)
I.LeftCand I.LeftNode I.RightCand I.RightNode I.RightNode I.RightNode I.Node
I.は
top
I.て
conj
I.、
punc
I.の
of
I.を
obj
NLP2006 3,15,2006
I.
adnom
I.を
obj
I.た
past
12
ゼロ代名詞と候補の関係を表す素性
は
top
首相
て
conj
訪米し
、
punc
が
nom
φ
先行詞候補
adnom
推進する
方針
を
obj
た
past
明らかにし
ゼロ代名詞が係る述語
3種の素性
述語単体: 文字列, 主節に存在するか, 埋め込み文の中か,
文末か, 態(“れる”,“られる”を含む)
候補単体: 主辞の文字列, 品詞, 格助詞, NE, “人”, “組織”, 文
頭, 文末, 主節にある, Center Listの順位, ランク
述語と候補: 述語と候補の位置関係(前後), 語彙大系を利用
した選択制限(2値), 大規模な共起情報を使った相互情報量(±
を離散化)
NLP2006 3,15,2006
13
最終的に利用する訓練事例
先行詞同定
ラベル:左側が先行詞 +1
右側が先行詞 -1
root
…
TL
TR
TI
…
fn
先行詞候補とゼロ代名詞の
関係を表す素性
2つの先行詞候補と
ゼロ代名詞の間の部分木
照応性判定
f2
f1
ラベル:φが文内に先行詞を持つ +1
φが文内に先行詞を持たない -1
root
…
T
最尤先行詞候補と
ゼロ代名詞の間の部分木
f2
f1
…
fn
先行詞候補とゼロ代名詞の
関係を表す素性
NLP2006 3,15,2006
14
ゼロ照応解析全体の解析手順
文内と文間を2段階で解析
先行詞
候補集合
村山富市首相
八日
文内ゼロ照応
解析モデル
scoreintra≧θintra
超党派
独自
社会党
…
ゼロ
代名詞
scoreintra<θintra
文間ゼロ照応
解析モデル
φ
文内の最尤
先行詞候補
NPiを先行詞
に決定
scoreinter≧θinter
scoreinter<θinter
文間の最尤
先行詞候補
NPjを先行詞
に決定
照応性なし
(φは外界照応)
NLP2006 3,15,2006
15
目次
1. ゼロ照応解析
2. 先行研究
3. 文の構造情報を利用した解析手法
4. 評価実験と考察
5. まとめと今後の課題
NLP2006 3,15,2006
16
評価実験
新聞記事コーパスに照応関係タグを付与
(http://cl.naist.jp/~ryu-i/coreference_tag.html)
ゼロ代名詞タグ付与の一致率を調査
二人の作業者が137記事を対象にタグ付与
ガ格のみ：作業者の一致率 84.6% (1670/1975)
一人の作業者が別の60記事にタグ付与
197記事 2,352ゼロ代名詞
文内に先行詞を持つゼロ代名詞 : 995
文間に先行詞を持つゼロ代名詞 : 754
外界照応のゼロ代名詞
: 603
NLP2006 3,15,2006
17
実験の設定
5分割交差検定(ガ格のみを対象に)
部分木の学習には部分木を素性とするブースティングを利用
した分類手法: BACT（工藤ら, 04)を使用
あらかじめ教える情報:
ゼロ代名詞の出現位置
述語と係り関係にある格関係，連体修飾の関係
対象となるゼロ代名詞以外の箇所のゼロ照応関係
（他の箇所をうまく解析できた場合の上限を見る）
比較する4つモデル
統語パタンを学習しない 統語パタンを学習する
Ngら(`02)のモデル
（ベースライン）
探索先行分類型モデル
（飯田ら `05）
BM
BM_STR
SCM
SCM_STR
NLP2006 3,15,2006
18
文内の解析精度（先行詞同定）
先行詞同定の精度
統語パタンを
学習しない
Ngら(02)のモデル 42.7%
(425/995)
統語パタンを
学習する
59.7%
(594/995)
探索先行分類型 65.4%
(651/995)
モデル
72.2%
(718/995)
すでに解析精度の良いSCMに関しても統語的なパタ
ンを学習することで解析精度が向上
NLP2006 3,15,2006
19
文内ゼロ照応解析の結果（照応性判定も含む）
θintraを人手で動かし
再現率-精度曲線を描く
SCM_STR
SCM
BM_STR
BM
BM: Ngら(`02)のモデル
SCM: 探索先行分類型モデル
(飯田ら, `05)
正しく先行詞を同定できた数
再現率=
文内に先行詞を持つ
ゼロ代名詞の総数
精度=
NLP2006 3,15,2006
正しく先行詞を同定できた数
文内に先行詞を持つとシステム
が判定したゼロ代名詞の総数
20
全体の解析結果
θintraとθinterを変動させて再現率-精度曲線を描く
緑色の線: 文内と文間を区別し
ない探索先行分類型モデル
(統語パタンは学習しない)
赤色の線: 提案手法
-0.007
0.006
0.008
0.011
θintra=
0.004 0.001
0.013
0.017
0.024
閾値をうまく推定することで既
存手法より精度が向上
NLP2006 3,15,2006
21
誤り分析(文内のゼロ照応解析)
文内に直接引用を含む場合に解析を誤る場合が多い
「選手はそのときの経験を生かしてくれた。（φiガ）言
わなくても分かっていた」と古前田監督i。
緑色の候補: システムが出力した先行詞
赤色の候補: φiの先行詞
文の中に異なる談話が埋め込まれる
文間ゼロ照応の問題に近い
談話の構造を考えなければならない
NLP2006 3,15,2006
22
まとめ
文の統語的なパタンを学習し，そのパタンを分類に利
用するゼロ照応解析モデルを提案した
先行詞同定，照応性判定それぞれで既存手法より
解析精度が向上することを示した
NLP2006 3,15,2006
23
今後の課題
大規模データを利用した評価
京大コーパス報道2,320記事のタグ付与作業完了
(今回利用したのは197記事のみ)
Kernel法を用いた場合との比較
Tree Kernel (Collinsら, 01)や HDAG Kernel(鈴木ら, 03)
文間ゼロ照応の解析に取り組む
引用の中の現象を参考に
ゼロ照応の解析の順序を考える
ゼロ代名詞がどの箇所に補完されているかによって
次の解析結果が異なる
文章の解釈が最適になるように解く
NLP2006 3,15,2006
24
NLP2006 3,15,2006
25
SCM_STRを引用の中と外で分けて評価
引用の外
SCM_STR
引用の中
引用の中の精度が極端に悪い
NLP2006 3,15,2006
26
文内ゼロ照応解析とその解析の手がかり
文内ゼロ照応の例
並列節
主節と従属節
連体節
太郎は遅刻をして（φガ）授業に遅れた。
先生も遅れたので（φガ）怒られなかった。
（φガ）遅刻をして授業に遅れた太郎。
統語的なパタンが手がかりとなる
構造情報を利用した一例(南, 74)
性質
接続表現の例
A類 接続助詞の前後で主語が一致する
ながら，て，たり，つつ
B類 接続助詞の前後で主語が一致しにくい
ても，ので，けれど，ば
C類 文脈による
が
NLP2006 3,15,2006
27
解析順序を考慮しなければならない問題の一例
首相は---------------------------------------------D
記者団に対し、-------------------------------------------D
「突然---D
|
<LOCATION>大分</LOCATION>に-D
|
（φガ）帰ったが、---------------D
|
温かい-D
|
|
歓迎に-D
|
|
（φガ）接し---------D
|
『地元は-D
|
|
いいなあ』という-D |
|
感謝の-D |
|
気持ちで-D
|
（φガ）いっぱい。-----------------D
|
期待に-D
|
|
応えて---D
|
|
しっかり-D
|
|
（φガ）頑張らないと-D
| |
いかんという-D
| |
気持ちを-----D |
一層---D |
強く-D |
（φガ）持った」と---D
解析の順序が問題となる
感想を-D
述べた。
NLP2006 3,15,2006
28