Transcript 述語項構造に基づいた統計 翻訳における語句の並べ替え

述語項構造に基づいた統計
翻訳における語句の並べ替え
2006年11月18日(日)
奈良先端大 松本研(M2)
小町守
述語項構造を用いた並べ替え
住所
を
書い て
please
ここ
下さい
write
down
に
書い て
住所
を
your address
下さい
ここ
に
here
• 並べ替えによって翻訳モデルの改善を狙う
2
概要
• 述語項構造解析を用いた統計翻訳のた
めの並べ替えを行った
• 日本語の語順を英語の語順に近く並べ
替えることによって翻訳モデルの単語
アライメントが改善
• IWSLT 2006 日英翻訳タスクにて BLEU
0.1431・NIST 5.2105 (ベースラインか
ら BLEU で22%・NIST で11%向上)
3
研究目的
• 言語の「構造」や「意味」を用いた翻
訳モデルはまだ成功していない
述語項構造解析を用いた統計翻訳の改善
• 述語項構造解析器を使って語順の異な
る言語間での歪みモデルの改善
語順の並べ替えによる語句の対応の向上
4
述語項構造解析器 SynCha
• Iida et al., 2006 と小町ら, 2006 に基づいた述
語項構造解析器
– 述語(動詞・形容詞・名詞+だ)と事態性名詞の項
(ガ・ヲ・ニ格)を同定
– NAIST テキストコーパス
http://cl.naist.jp/nldata/corpus/ で学習
– 係り受け関係にない格要素も出力
– ゼロ照応・省略も扱える
• 文内の項だとだいたいF値で0.8くらい
5
述語項構造解析の手順
住所
を
ここ
に
書い て
下さい
住所
を
ここ
に
書い て
下さい
住所
を
ここ
に
書い て
下さい
WO-ACC
NI-LOC
predicate
6
並べ替えの手順
住所
を
書い て
ここ
下さい
に
書い て
住所
を
下さい
ここ
に
• 述語(動詞・形容詞・事態性名詞)を探す
• 英語の語順に近くなるようヒューリスティッ
クに並べ替え
– 形態素解析を利用(Niessen and Ney, 2001)
– 構文解析を利用(Collins et al., 2005)
7
コーパスの前処理
• 日本語側
– 形態素解析・分かち書き: 茶筌
– 係り受け: 南瓜
– 述語項構造: 新茶(SynCha)
• 英語側
– 分かち書き: tokenizer.sed (LDC)
– 形態素解析: MXPOST
– 単語は全部小文字にしてトレーニング
8
会話文の対応付け
• 訓練コーパス39,953会話対から45,909
文対を人手でアライメント
かしこまり まし た 。 この 用紙 に 記入 し て 下さい 。
sure . please fill out this form .
かしこまり まし た 。
sure .
この 用紙 に 記入 し て 下さい 。
please fill out this form .
9
コーパスの並べ替え
• 述語項構造解析結果による並べ替え
交差減少
交差増加
増減なし
総計
文対数
33,874
7,959
4,076
45,909
文対数
並べ替えあり 18,539
交差あり 39,979
左・上: コーパスの統計
この 用紙 に 記入 し て 下さい 。
いずれの文対も
訓練事例に追加
please fill out this form .
記入 し て この 用紙 に 下さい 。
GIZA++で
10
単語対応を学習
翻訳モデルと言語モデル
• 翻訳モデル
– GIZA++ (Och and Ney, 2003)
• 言語モデル
– Palmkit (Ito, 2002) により英語側のコーパスを用い
てバックオフ単語 trigram モデル作成
• デコーダ
– WMT 2006 shared task のベースラインシステム
(Pharaoh を元にしたもの)
– Pharaoh のパラメータは誤り最小化学習で最適化
11
誤り最小化学習(MERT)
• Pharaoh のパラメータの最適化
– 句翻訳確率(日→英・英→日)
– 単語翻訳確率(日→英・英→日)
– 句ペナルティ
– 句の歪み確率
• 語順の並べ替えを行っていない500文を
用いてトレーニング
12
ベースラインとの比較実験
• WMT 2006 のベースラインシステムをそのま
まデフォルトで使ったモデル(パラメータの最
適化なし)
• 並べ替えた文をコーパスに加えて単語対応を
学習したモデル(パラメータの最適化なし)
• 上記のモデルに対して誤り最小化学習を行い
パラメータの最適化をしたモデル
13
比較実験結果
テストセット
音声認識
1-BEST
書き起こし
システム
BLEU
NIST
ベースライン
0.1081
4.3555
提案手法(MERTなし)
0.1366
4.8438
提案手法(MERTあり)
0.1311
4.8372
ベースライン
0.1170
4.7078
提案手法(MERTなし)
0.1459
5.3649
提案手法(MERTあり)
0.1431
5.2105
14
考察
• ベースラインシステムよりは精度向上
– 並べ替えによる翻訳モデル改善に成功
• 内容語に重点を置いた評価尺度では比
較的高精度・個々の単語選択に重点を
置いた評価尺度では低精度
– 用言の直前の格助詞のペアを切り離すこと
で句の対応が悪くなる
15
考察の続き
• 誤り最小化学習で性能が下がるのは変
– 原因が特定できない
– 語順を並べ替えた文をコーパスに追加しているの
にパラメータチューニングには元々の語順の文だ
け使っているのが問題かも
• うまく項が当たっていないケースが邪魔して
いる可能性
– 新聞記事でトレーニングした述語項構造解析器を
旅行会話に使ったため
16
まとめ
• 述語項構造に基づく統計翻訳のための語句並
べ替えモデルを提案
• IWSLT 2006 日英翻訳タスクにて、BLEU ス
コア0.1431・NISTスコア5.2105を達成
– ベースラインからはBLEUスコアで22%、NISTス
コアで11%向上
• 誤り最小化学習に効果が見られなかった
17
今後の予定
• 誤り最小化学習がうまく行かない原因
を突き止める
– Pharaoh による並べ替えを制限
– 並べ替えた文節に依存構造の交差を許さな
い制約を加えてトレーニング
• 述語の格フレーム情報を用いる
– 格助詞を文節頭に並べ替える
18