Transcript nlg.csie.ntu.edu.tw

Wikipedia Mining
NTU NLP Lab Seminar
Changhua Yang
1
WM Database直接下載, 免Crawl
• http://download.wikimedia.org/backup-index.html
2
中文Wiki重要的DB
• XML格式文字檔
• Wikipedia條目越來越多
3
XML, Content, Article Link, Category Link, Inter-Language Link
4
抓中文人名集合
• Category當Hint
• 某某姓
– 499個姓
– 8945筆人名
• 例外
5
抓人名集合
• 符合以下任一條件
– 某某姓
– 某某年出生
– 某某年逝世
• 18,115筆
• 但是會多出外國人
6
Political divisions, Locations
• 符合以下任一條件
– 某某区划
– 某某區劃
– 某某城市
– 某某都市
• 11,030筆
7
人名辨識系統
• 將Wikipedia語料化 (BIO標記)
• 关羽 是 concept、關公是appearance
• 張作霖沒被標到
8
Character-Base CRF
• 抽了32,466句
• 有815,980個characters
• 需要多一點features
FSt-1
St-1
et-1
St
et
St+1
et+1
FSt
FSt+1
– 中文人名
– 中文姓
9
人名偵測測試
總統馬英九昨透過發言人王郁琦發表聲明
去香港遇到楊昌樺和李佳穎在吃漢堡
總統楊昌樺昨透過發言人馬英九發表聲明
總統林敏順昨透過發言人李佳穎發表聲明
去香港遇到馬英九和李佳穎在吃漢堡
去北極遇到紀存希和楊昌樺在釣魚
去北極遇到楊昌樺和紀存希在釣魚
楊昌樺率領太平天國
跆拳道選手李佳穎
跆拳道選手紀存希
看來以Wikipedia自動產生的
台大校長林敏順返國前
語料還堪用，
但句型仍有限，有加強空間
10
Referencing Mining (hint [[关羽|關公]])
唐玄宗
6 李隆基 玄宗 4 玄宗皇帝 但其實最有名的稱呼是 唐明皇
黃鈺筑
15
黃鈺-{筑}- 3 瑤瑤 2
保留原型, 暱稱
康華
12
康
洪詩涵
12
洪詩 2
藝名
秦煌
11
秦 煌秦 煌0
排版
宣萱
11
宣
排版
排版
華2
萱1
蔡冕麗
9
Mini 2 夏至 6 蔡冕麗
筆名
孫中山
9
孙中山 9
簡繁
秦沛
9
秦
沛9
排版
胡楓
9
胡
楓9
羅蘭
8
羅
蘭8
楊怡
8
楊
怡8
羅莽
7
羅
莽7
汪琳
7
汪 琳汪 琳6
排版
夏萍
7
夏 萍7
排版
周杰倫
7
周-{杰}-倫 6 《周杰倫07-08世界巡迴演唱會香港站》
鄭如吟
7
玉兔 7
Pitfall:
藝人黑澀會團體人數太多
又互相以暱稱reference
排版
排版
排版
排版
保留原型, 代表作
藝名
11
Referencing Mining (不限定人名)
Samples
法拉利車隊
100
Ferrari 69 法拉利 31
簡稱, 原稱
96
清廷 清初 2 大清帝國 5 晚清 2 清末 3 中国 清領 大清國 清代 7 清帝国
滿清 清 71
簡稱, 別稱, 上下位
92
國道3號（二高） 國道三號 7 國道三號 (福高) 6 國道三號(福高) 北二
高 5 福高 2 國道三號大甲交流道沙鹿交流道 國道三號：福高 國道三號
福爾摩沙高速公路 3 國道三號（福高） 54 國道3號
別稱
波音747
92
波音747-300 3 747-400 2 波音747-100, -200 and -300 波音747-400型
B747-400 2 哪一款 波音747-400（74A） 波音 747-400 Combi 波音747400D 波音747-409F 波音747-100B 波音747-283B 波音747-481 3
… (還沒列完, 共幾十個型號)
明朝
77
明末 3 明 64 明代 8 大明朱朝 大明帝國
大韓民國
72
南 南韓 6 韓國 60 韩国 3 全國 2
聲優
66
配音員 30 配音 CV 9 聲 26
清朝
福爾摩沙高
速公路
台灣
42
台灣籍 台 4 詳情... 台灣區 台灣地區 台灣島 2 臺湾 中華民國（台湾）
台湾 3 臺灣 27
Pitfall: 雜訊太多
上下位從屬關係
簡稱, 別稱, 上下位
簡稱, 代稱, 別稱
簡稱, 代稱
Link,
12
Referencing Mining 2 (Redirection)
• Wikipedia共131,199筆redirection
• 品質似乎比較好, 最後有2386組人物
关羽
13
文衡聖帝 關聖恩主 關帝君 協天大帝 关公信俗 關羽 关老爷 迦藍菩薩 關聖帝君 恩主公 關二
哥 关云长 關雲長
梁启超
9
饮冰子 飲冰室主人 飲冰子 饮冰室主人 梁啓超 梁卓如 梁啟超 梁任甫 梁任公
商纣王
9
商帝辛 商紂 紂王 纣 商纣 帝辛 纣王 受辛 子受辛
吕洞宾
9
呂洞賓 呂祖師 呂純陽 孚祐帝君 吕祖師 呂仙祖 吕祖 純陽祖師 孚佑帝君
刘邦
8
漢太祖 汉高帝 汉太祖 汉高祖 劉季 漢高祖 汉高祖刘邦 高皇帝
蔣中正
8
蔣介石 蒋介石 蒋中正 蒋匪 軍事委員會委員長 中正 蔣公 中國國民黨總裁
刘备
7
先主 刘玄德 漢昭烈帝 昭烈帝 汉昭烈帝刘备 蜀汉先主 劉備
朱温
7
後梁太祖 朱全忠 后梁太祖 朱晃 梁太祖 朱溫 后梁太祖朱晃
鲁班
7
公輸子 公输般 公孫般 魯班 公孫班 鲁班传说 公輸班
卫绍王
7
完顏允濟 衛紹王 完顏永濟 金衛紹王 完颜允济 完颜永济 金卫绍王
金庸
6
金庸小說 查良鏞 查良镛 查良庸 金庸小说 金庸武侠小说
孫中山
6
孙大炮 孫文 中華民國國父 中山樵 孙文 孙中山
韩愈
6
韓昌黎 韓退之 韓文公 韩昌黎 韓愈 韩退之
姜尚
6
姜子牙 太公望 姜太公 齊太公 吕尚 吕望
李商隐
6
玉谿生 樊南生 玉溪生 李商隱 李義山 李义山
13
Referencing Mining 2 (不限定人物)
誼母女 乾哥哥 結乾親 結拜 誼姊弟 契妹 契父母 義父母 契母 結義 安答 結拜姊妹 把
結誼
博義一世
第16屆澎湖縣
議員列表
九一一袭击事
件
杜垩登家族
國立臺東大學
176
兄弟 沙耕 義兄姐 乾姊弟 八拜之交 金蘭姊妹 契姐 摟給 誼親 誼姐 誼姐妹 血誓兄弟姊妹 盟兄 義父女 契阿兄 契仔 乾姐弟 盟姐 契兄妹 契姐姐 盟兄弟姐妹 保爺 契父 拜
乾親 血誓兄弟 盟兄弟姊妹 契兄弟姊妹 乾子女 乾兄妹 盟姊 乾爹 義姐弟 契娘 金蘭契 打老庚 拜過房娘 誼母子 誼子女 契媽 契爸 乾爹娘 寄父母 義母 乾閨女 義姊 契母子
誼父 義姐妹 換帖 乾女兒 契親 義兄妹 義兄弟姐妹 摟友 拜過房爺 拜把子 乾兄弟姊妹 契爺 異姓兄弟 乾兄弟 義姊弟 結拜兄弟 乾大 誼母 盟姊妹 誼父子 契大佬 血誓姊妹
誼兄弟 乾父女 認乾親 契父子 乾親 義父 拜契 血誓姐妹 結義兄弟 嘎戳 誼姐弟 乾兒子 義兄弟姊妹 契細佬 乾媽 血盟兄弟姐妹 上契 契兄弟姐妹 乾妹 誼兄妹 義兄姊 金蘭
之交 結拜姐妹 換帖兄弟 契兒 乾姐妹 金蘭契友 乾妹妹 誼父女 盟兄弟 契哥 血盟兄弟姊妹 契子 乾兒 義子女 乾姐姐 義兄弟 老庚 血盟姐妹 誼女 血盟姊妹 契家姐 契姊弟
契大兄 乾弟 義子 乾兄弟姐妹 義母女 乾姊姊 血誓兄弟姐妹 保娘 乾哥 義姐 誼兄 契母女 義兄 金蘭姐妹 契女 契姐妹 誼弟 誼姊 乾姊妹 誼姊妹 義父子 乾姊 盟弟 契父女
乾弟弟 契兄 盟妹 磕頭兄弟 義妹 契姊妹 乾母女 乾姐 義姊妹 契弟 契爹 血盟兄弟 義弟妹 誼妹 乾父子 乾娘 義母子 契友 盟姐妹 契兄弟 誼父母 誼子 契細妹 義女 乾字輩
結義金蘭 乾母子 契姐弟 義弟
共176種結拜
85
聖邦尼腓斯一世 邦尼腓斯一世 聖波裏法斯一世 聖邦尼非士一世 保尼
弗斯一世 …
共有85種稱
呼的教宗
19
第16届澎湖县议员列表 陳進兩 陳富厚 呂春茶 許月里 劉陳昭玲 葉明
縣 魏長源 歐陽洲 李添進 楊曜 葉竹林 …
這個很難說
是百科全書
該有的了
17
911恐怖攻擊事件 九一一袭击 911事件 911攻擊 九一一恐怖攻擊事件
九一一恐怖事件 911袭击 九一一恐怖袭击事件 911恐怖攻擊 九一一恐
怖襲擊事件 九一一事件 911袭击事件 九一一襲擊 9·11事件 911恐怖袭
击 九一一恐怖袭击 九一一
16
锐森·杜垩登 布里莎·杜垩登 札克纳梵 狄宁 狄宁·杜垩登 纳梵·杜垩登
玛雅·杜垩登 维尔娜·杜垩登 纳梵 席纳菲·赫奈特 玛烈丝·杜垩登 布里
莎 席奈安·杜垩登 锐森 札克纳梵·杜垩登 玛烈丝
小說迷的
威力
15
台東師院 省立台東師範專科學校 省立台東師範學校 省立台東師範學
院 台東大學 台灣省立台東師範學校 台東師範專科學校 國立台東師範
學院 國立台東大學 台灣省立台東師範專科學校 台東師範學院 東師
台東師範學校 NTTU 台灣省立台東師範學院
舊台東師院
14
Disambiguation (WM格式未統一)
然而中文有歧義的不多，僅300多筆
• 最結構化格式
• 解釋
• 半結構化
15
跨語言Issue (1)
•
•
•
•
•
•
•
•
•
•
•
지미 카터
함석헌
백남준
귄터 그라스
데니스 리치
토마스 만
하인리히 뵐
노무현
장국영
빅토르 최
막스 플랑크
1924년 태어남
吉米·卡特
1901년 태어남1989년 죽음 咸錫憲
2006년 죽음 1932년 태어남白南準
1927년 태어남
君特·格拉斯
1941년 태어남
丹尼斯·里奇
1955년 죽음 1875년 태어남
1985년 죽음 1917년 태어남
1946년 태어남
1956년 태어남2003년 죽음
1990년 죽음 1962년 태어남
1947년 죽음 1858년 태어남
從不熟的語言也可以找到類似的結構
10704筆韓文人名
16
跨語言Issue(2)
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
ソクラテス
士郎正宗
高橋留美子
村上もとか
青木光恵
赤塚不二夫
一条ゆかり
うすた京介
浦沢直樹
車田正美
高橋しん
高屋奈月
竹本泉
寺沢武一
冨樫義博
鳥山明
聖悠紀
日渡早紀
藤島康介
紀元前399年没
1961年生
1957年生
1951年生
日文可以抓到111,285筆人名
1969年生
1935年生
1949年生
1974年生
1960年生
1953年生
1967年生
1973年生
1959年生
1955年生
1966年生
1955年生
1949年生
1961年生
17
1964年生
托马斯·曼
トーマス・マン
Thomas Mann
토마스 만
海因里希·伯尔
ハインリヒ・ベル
Heinrich Böll
하인리히 뵐
盧武鉉
盧武鉉
Roh Moo-hyun
노무현
芥川龍之介
芥川龍之介
Ryūnosuke Akutagawa 아쿠타가와 류노스케
張國榮
レスリー・チャン
Leslie Cheung
장국영
马克斯·普朗克
マックス・プランク
Max Planck
막스 플랑크
维尔纳·海森贝格 ヴェルナー・ハイゼンベルク
Werner Heisenberg
베르너 하이젠베르크
朝永振一郎
朝永振一郎
Sin-Itiro Tomonaga
도모나가 신이치로
汤川秀树
湯川秀樹
Hideki Yukawa
유카와 히데키
小柴昌俊
小柴昌俊
Masatoshi Koshiba
고시바 마사토시
伊利亚·普里高津 イリヤ・プリゴジン
Ilya Prigogine
일리야 프리고진
鄭周永
鄭周永
Chung Ju-yung
정주영
马丁·加德纳
マーティン・ガードナー
Martin Gardner
마틴 가드너
弗里曼·戴森
フリーマン・ダイソン
Freeman Dyson
프리먼 다이슨
曼弗雷德·艾根
マンフレート・アイゲン
Manfred Eigen
만프레트 아이겐
琳·馬古利斯
リン・マーギュリス
Lynn Margulis
린 마굴리스
阿诺·施瓦辛格
アーノルド・シュワルツェネッガー Arnold Schwarzenegger 아널드 슈워제네거
跨語言人名對應(四語都有)有3754筆
18
跨語言Issue(2)
• 韓中日英的原始資料比大概是 1:4:16:64
• 各種知識mining量大概也成這種比例
高橋葉介
赤松健
麻宮騎亞
东清彦
桂正和
三浦建太郎
皆川亮二
椎名高志
尾田荣一郎
高河优
手塚治虫
永野護
梶原一騎
安达充
荒木飛呂彥
池上辽一
Yōsuke Takahashi
Ken Akamatsu
Kia Asamiya
Kiyohiko Azuma
Masakazu Katsura
Kentaro Miura
Ryōji Minagawa
Takashi Shiina
Eiichiro Oda
Yun Kōga
Osamu Tezuka
Mamoru Nagano
Ikki Kajiwara
Mitsuru Adachi
Hirohiko Araki
Ryoichi Ikegami
高橋葉介
赤松健
麻宮騎亜
あずまきよひこ
桂正和
三浦建太郎
皆川亮二
椎名高志
尾田栄一郎
高河ゆん
手塚治虫
永野護
梶原一騎
あだち充
荒木飛呂彦
池上遼一
人名對應
韓中日英
中日英
3754筆 (上一頁)
12375
19
跨語言Issue(3)
• 地名對應仍有雜訊, 僅列Sample
芝加哥
旭川市
弘前市
关西国际机场
橫須賀市
八戶市
旧金山
田澤湖
巴塞罗那
布宜諾斯艾利斯
亞松森
蒙得维的亚
拉巴斯
浦那
豪斯登堡
Chicago
Asahikawa, Hokkaidō
Hirosaki, Aomori
Kansai International Airport
Yokosuka, Kanagawa
Hachinohe, Aomori
San Francisco, California
Lake Tazawa
Barcelona
Buenos Aires
Asunción
Montevideo
La Paz
Pune
Huis Ten Bosch (theme park)
シカゴ
旭川市
弘前市
関西国際空港
横須賀市
八戸市
サンフランシスコ
田沢湖
バルセロナ
ブエノスアイレス
アスンシオン
モンテビデオ
ラパス
プネー
ハウステンボス
20
Conclusions
• WM當材料優點
– 持續有更新
– 可把某語言方法套用到別語言
– 可以獲得跨語言綜合資訊
• 缺點
– 材料不齊全或不balanced, 在某些語系或model
的建置上仍不robust
• Future: 本土教學材料
21
本土教學材料
Ô͘ Gím-tô
Kim Chèng-ji̍t
Siā Tiông-têng
Tō͘ Hú
Lí Kong-iāu
Lí Chū-sêng
Kim Ji̍t-sêng
Lí Pe̍k
Tân Chúi-píⁿ
Gô͘ Chok-tòng
Lí Hián-liông
Sòng Chhó͘-jû
Liân Chiàn
Má Eng-kiú
Lí Teng-hui
Chiúⁿ Kài-se̍k
胡锦涛
金正日
謝長廷
杜甫
李光耀
李自成
金日成
李白
陳水扁
吴作栋
李显龙
宋楚瑜
連戰
馬英九
李登輝
蔣中正
Sò-͘ ha̍k
Tiat-ha̍k
Lek̍ -sú
Tiān-iáⁿ
Im-ga̍k
Choh-sit
Tiong-hoâ Jîn-bîn Kiōng-hô-kok
Chok-gia̍p hē-thóng
Nobel Chióng
Tiān-náu bāng-lō·
Siōng-hái
Tiong-kok
Tiong-hoâ Bîn-kok
Chong-kàu
Kè-sǹg gí-giân-hak̍
Tē-jī-chhù Sè-kài Tāi-chiàn
数学
哲学
歷史
电影
音乐
农业
中华人民共和国
操作系统
诺贝尔奖
计算机网络
上海市
中国
中華民國
宗教
计算语言学
第二次世界大战
22