Transcript コーパス言語学入門
コーパス言語学入門 2007年度1学期 第4回 本日の内容 • 前回のおさらい – コーパスの特徴 5つ • コーパスの作成，加工 – コーパスへの情報付与 • どんな情報を付与するか – タグの話 • SGMLの話 • HTMLの話 • XMLの話 2 前回のおさらい（1） • コーパスの特徴 – 1. 2. 3. 4. 5. コーパスの違いを区別する特徴5つ 規模 量の変化 汎用性 収集期間 掲載メディア 3 前回のおさらい（2） • コーパスの特徴 – 1. 2. 3. 4. 5. コーパスの違いを区別する特徴5つ 規模 収集する量の違いに 量の変化 よる分類 汎用性 収集期間 大規模，中規模， 掲載メディア 小規模， 4 前回のおさらい（3） • コーパスの特徴 – 1. 2. 3. 4. 5. コーパスの違いを区別する特徴5つ 規模 サンプルコーパス， 量の変化 （収集する量固定） 汎用性 収集期間 モニタコーパス 掲載メディア （常に更新） 5 前回のおさらい（4） • コーパスの特徴 – 1. 2. 3. 4. 5. コーパスの違いを区別する特徴5つ 規模 汎用： 量の変化 様々な研究 汎用性 特殊目的： 収集期間 決まった特殊な目的 掲載メディア その他： パラレルコーパスなど 6 前回のおさらい（5） • コーパスの特徴 – 1. 2. 3. 4. 5. コーパスの違いを区別する特徴5つ 規模 共時コーパス： 量の変化 同時代に限って収集 汎用性 通時コーパス： 収集期間 複数の時代区分に 掲載メディア 渡って収集 7 前回のおさらい（6） • コーパスの特徴 – 1. 2. 3. 4. 5. コーパスの違いを区別する特徴5つ 規模 書き言葉 量の変化 新聞，小説，雑誌．．． 汎用性 話し言葉 収集期間 講演，ニュース，会話 掲載メディア 中間的 blog, チャット，Web文書 8 前回のおさらい（7） • 代表的なコーパス – Brown Corpus, LOB Corpus – BNC Corpus … British National Corpus→ BNC２ – Bank of English • （こうした特徴を踏まえて，） 自分の目的に合う特徴を持った コーパスの選択が大事 9 コーパスの加工（作成） • コーパスは言語データ – ただ集めてきただけでは使いにくい （「生のデータ」という） – 情報を付与して整備することで使いやすくする →どんな情報を付与するか？ →どんなやり方で付与するか？ などを学ぶ 10 コーパスに情報を付与（１） • 付与する情報とはどんなものか？ 例：毎日新聞 ＼ＩＤ＼００００００１０ ＼Ｃ０＼９８０１０１００１ ＼ＡＤ＼０１ ＼ＡＥ＼Ｎ ＼ＡＦ＼９８０１０１Ｍ０１ ＼Ｔ１＼［社告］「第３９回毎日芸術賞」決まる ＼Ｓ１＼ ’９８．１．１ 朝刊 １頁 写図無 （全７４２文字） ．．． ＼ＫＡ＼毎日芸術賞 ＼ＡＡ＼シャコク ＼ＡＡ＼ダイ３９カイ ．．． ＼ＫＢ＼１００本 ＼ＫＢ＼１１月 ．．． ＼ＡＢ＼ヤマモトリケン 11 コーパスに情報を付与（１） • 付与する情報とはどんなものか？ 例：毎日新聞 ＼ データの区切り（フィールド区切り） ＼ＩＤ＼００００００１０ ＼Ｃ０＼９８０１０１００１ ID ．．．記事のID ＼ＡＤ＼０１ ＼ＡＥ＼Ｎ C０ ．．．記事の番号 ＼ＡＦ＼９８０１０１Ｍ０１ ＼ ＼Ｔ１＼［社告］「第３９回毎日芸術賞」決まる AD ．．．セクション ＼Ｓ１＼ ’９８．１．１ 朝刊 １頁 写図無 （全７４２文字） 01→1面，02→2面，03→3面，04→ ．．． ＼ＫＡ＼毎日芸術賞 解説，05→社説，07→国際，08→経済， ＼ＡＡ＼シャコク 10→特集，12→総合，13→家庭，14→ ＼ＡＡ＼ダイ３９カイ 文化，15→読書，16→科学，18→芸能， ．．． 35→スポーツ，41→社会 ＼ＫＢ＼１００本 ＼ＫＢ＼１１月 AE，AF ．．．？ ．．． ＼ＡＢ＼ヤマモトリケン T1 ．．．見出し， T2．．．本文など 12 コーパスに情報を付与（2） • 情報の種類 1．ヘッダー情報 素材の管理のための情報 コーパス内部の表記規則など 2．コンピュータでの処理をしやすくする＋ 言語研究での利用をしやすくするための情報 13 コーパスに情報を付与（3） 1．ヘッダー情報（素材の管理のための情報） その言語データを整理，管理，参照するときに 必要になるような情報 14 コーパスに情報を付与（3） 1．ヘッダー情報（素材の管理のための情報） その言語データを整理，管理，参照するときに 必要になるような情報 ID ．．．記事のID C０ ．．．記事の番号 AD ．．．セクション 01→1面，02→2面，03→3面，04→解説，05→社説，07→ 国際，08→経済，10→特集，12→総合，13→家庭，14→文化， 15→読書，16→科学，18→芸能，35→スポーツ，41→社会 15 コーパスに情報を付与（4） 1．ヘッダー情報（コーパス内部の表記規則など） コーパス中で用いる特殊な記号や使い方の説明 など． 16 コーパスに情報を付与（5） 1．ヘッダー情報（コーパス内部の表記規則など） コーパス中で用いる特殊な記号や使い方の説明 例：対話を記録したコーパス 話者が2人いるとすると，A： B：とする．A:えー B:はい 発話が重なったとき，A，B：とする A,B：はい などという表記上のルール フォントを使い分けてあればその意味 送り仮名や漢字の統一した使い方など 17 コーパスに情報を付与（6） 2．コンピュータでの処理をしやすくする＋ 言語研究での利用をしやすくするための情報 コンピュータは，言語データの詳細をうまく扱えない （言葉がわからないから） コンピュータでの利用をやりやすくする処理 言語研究にとって都合のよいように加工して 手間をかけることで価値を高める 18 コーパスに情報を付与（7） 2．コンピュータでの処理をしやすくする＋ 言語研究での利用をしやすくするための情報 具体的には：例えば， 品詞情報（名詞，動詞，形容詞，．．．） 単数，複数などの情報（英語など） 形態素の情報 19 コーパスに情報を付与（8） 2．コンピュータでの処理をしやすくする＋ 言語研究での利用をしやすくするための情報 実際の例： – 京大コーパス（京大） • 毎日新聞 ’95の記事 （1／1～17の全記事2万文＋1月～12月の社説2万文） • 形態素解析（JUMAN），構文解析（KNP）人手修正 – PennTreebank (Univ. of Pennsylvania) • WSJ，ATIS，Brown Corpus • 品詞タグ，構文解析 20 コーパスに情報を付与（9） 2．コンピュータでの処理をしやすくする＋ 言語研究での利用をしやすくするための情報 韻律情報：イントネーション，ポーズ，ピッチなど 文章構造：単語，文，段落，節，章，テキスト • 文<sentence> ～ </sentence> • 段落<paragraph> ～ </paragraph> • 文章全体 <text> ～ </text> 21 コーパスに情報を付与（10） 2．コンピュータでの処理をしやすくする＋ 言語研究での利用をしやすくするための情報 固有名詞の属性: • 人名 <person>松井</person> • 組織名<organization>東京外国語大学 </organization> • 役職 <title>社長</title> その他情報として欲しいものは何でも対象となる 22 タグ タグtag．．．商品タグ，プライスタグ タグで区別されたものに何かの属性があるこ とを示す． /title/ こんな形のタグや <title></title> こんな形のタグがある 23 タグ（2） • タグのつけ方，タグというものの定義 – 囲んだり，印をつけたものの属性を示す ＜属性＞ほにゃらら＜/属性＞ ／属性／ほにゃらら 24 タグ（3） • タグのつけ方，タグというものの定義 – 囲んだり，印をつけたものの属性を示す – タグの形式は基本的には何でもよい ＜＞○○＜/＞ ／／ 25 タグ（4） • タグのつけ方，タグというものの定義 – 囲んだり，印をつけたものの属性を示す – タグの形式は基本的には何でもよい – 区別できるように定義され，曖昧でなく，境界を はっきりさせればよい 26 タグ（5） • タグのつけ方，タグというものの定義 – 区別できるように定義され，曖昧でなく，境界を はっきりさせればよい – 実際既存のコーパスでは独自の定義でタグの 集合（タグセット）が決められていることが多い 27 タグ（6） • タグのつけ方，タグというものの定義 – 区別できるように定義され，曖昧でなく，境界を はっきりさせればよい – 実際既存のコーパスでは独自の定義でタグの 集合（タグセット）が決められていることが多い →標準化（国際化を目指した）の試みもある 代表的なのはTEI（Text Encoding Initiative）形式 （SGML形式にのっとっている） 28 タグ（7） 表現例 著者名を表す： <author>赤川次郎</author> 作品名を表す： <title>三毛猫ホームズの．．． </title> 出典名：<source>角川文庫</source> 出版日：<pubdate>2004.03.31</pubdate> 加工者名：<tagger>mochi</tagger> 加工日：<tagdate>2006.04.25</tagdate> 29 代表的なタグ SGML（1） • SGML（Standard Generalized Markup Language） – 元のテキストにマーク（タグ）を付与する（これを マークアップするという）ことで，情報を付与する <要素名>元のテキスト</要素名> と記述 開始タグ 終了タグ – こういうのをマークアップ言語と呼ぶ 30 SGML（2） • SGML（Standard Generalized Markup Language） 世界標準のマークアップに関するルール – タグの名前を決めているのではない タグの名前の決め方のルール – 文書構造を決めているのではない 文書構造の決め方のルール →タグの集合（タグセット）を定義する方法 マークアップする言語を定義する「メタな言語」 31 SGML（3） • SGMLで「タグをつける」 – 意味がわかり，使い方が一定ならなんでもよい （SGMLの決まりにあわせる必要はある） <要素名>元のテキスト</要素名> – 使用する要素名を決める＝タグの定義 – テキストの論理構造などを記述する＋ – タグの出現順＝文章構造の定義 32 SGML（4） • SGMLの一例 TEI形式 DTD TEI（Text Encoding Initiative） • 人文科学系の文書を中心としたテキストの電子文書化を推進し ガイドラインを定める団体 – <p> … </p> 段落 – <q> … </q> 引用 – <note> … </note> 注記 – <text> … </text>文章全体 など 33 代表的なタグ HTML • 他の代表的なMarkup Language – HTML：Hyper Text Markup Language • SGMLから派生，テキストの表示形式を記述する • 主にWWWページ用の記述言語 • タグは決められていて自分では定義できない • タグを読めるブラウザが多いので使い勝手がよい （インターネットエクスプローラ，FireFox，Operaなど） <a href=“*****.html”>ほにゃららページ</a> <table><tr><td>0</td></tr></table> 34 代表的なタグ XML • 他の代表的なMarkup Language – XML：eXtended Markup Language • やはりSGMLから派生（SGMLのサブセット） SGMLは自由度↑，コンピュータでの扱い↓ 複雑すぎ HTMLは自由度↓，コンピュータでの扱い↑ • タグの定義ができる • タグ定義の自由さを残しつつ，コンピュータでも扱いや すいマークアップ言語として登場 • Webページも作れる→汎用性が高い 35 XML（2） • HTML と XML （意味情報） <HTML> <BODY> <H1>書籍情報</H1> <TABLE> <TR> <TD>書籍名</TD> <TD>定価</TD> <TD>著者</TD> </TR> <TR> <TD>XMLの話</TD> <TD>300円</TD> <TD>外大太郎</TD> </TR> </TABLE> </BODY> </HTML> <?xml version = "1.0" encoding = "Shift_JIS"?> <bookinfo genre = "computer"> <title>XMLの話</title> <price>300円</price> <author> 外大太郎</author> </bookinfo> 36 XML（3） • HTML と XML （意味情報） <HTML> <BODY> <H1>書籍情報</H1> <TABLE> <TR> <TD>書籍名</TD> <TD>定価</TD> <TD>著者</TD> </TR> <TR> <TD>XMLの話</TD> <TD>300円</TD> <TD>外大太郎</TD> </TR> </TABLE> </BODY> </HTML> <?xml version = "1.0" encoding = "Shift_JIS"?> <bookinfo genre = "computer"> <title>XMLの話</title> <price>300円</price> <author> 外大太郎</author> </bookinfo> これは表を作っているが， 見ないと想像しにくい 37 XML（4） • HTML と XML （意味情報） <HTML> <BODY> <H1>書籍情報</H1> <TABLE> <TR> <TD>書籍名</TD> <TD>定価</TD> <TD>著者</TD> </TR> <TR> <TD>XMLの話</TD> <TD>300円</TD> <TD>外大太郎</TD> </TR> </TABLE> </BODY> </HTML> <?xml version = "1.0" encoding = "Shift_JIS"?> <bookinfo genre = "computer"> <title>XMLの話</title> <price>300円</price> <author> 外大太郎</author> </bookinfo> こちらのタグには意味を定義 できる 例<price>..</price> 38 XML（5） • XMLは分業みたいな文書の定義 – 「文書の内容」「文書の構造」「文書の体裁」 この3つを分離して扱う 内容はXMLで記述 1つの文書 構造はDTDに定義 見た目はスタイルシート XSL,CSSを利用 39 XML（6） • XMLは分業みたいな文書の定義 – 「文書の内容」「文書の構造」「文書の体裁」 この3つを分離して扱う 説明が複雑になりすぎるので， 内容はXMLで記述 またの機会に．．． 1つの文書 構造はDTDに定義 見た目はスタイルシート XSL,CSSを利用 40 どんなタグを使うか • この授業では，SGML風タグを簡単に定義し て使用することにする • 文書の情報（header情報） • 言語処理のための情報 – 品詞，固有名詞，文章構造など 41