Transcript 1 - 乾・岡崎研究室
東北大学電気・情報 東京フォーラム 2013年11月21日 ビッグデータから知をつむぐ 自然言語処理 乾 健太郎 東北大学 情報科学研究科 [email protected] コミュニケーション あらゆる社会活動の根幹 最も重要なメディアは 言語 （こと ば） ソーシャルメディアの爆発的普及 http://internet.watch.impress.co.jp/docs/event/itweek12/20120511_532162.html 自然言語処理 言葉がわかる賢いコンピュータを 作る 言葉（＝自然言語）で伝達される情報を 人工知能 理解・検索・抽出・翻訳・整理・分析し、 地球規模のコミュニケーションを支援するソフトウェア技術 自然言語処理 言語意味解析による情報の編集 信憑性分析 デマ検出 根拠検索 健康・危機管理 行動決定支援 情報リテラシー アプリケーション 大学・ 研究機関 政府・会社 言 語 解 析 意 味 解 析 リ ン ク 解 析 解析・集約 国民 マスメディア ウェブ・SNS 情 報 検 索 知 識 獲 得 発言 厚労省(@mhlw) イソジンを飲んで い けません． 政府 同意 発言 厚労省(@mhlw) 消毒薬を服用すると，下 痢・腹痛が発生します． 参照 反論 同意 東海亜(@tokaia) ちょっとイソジン買っ てくる． 東北太郎(@tohokutaro) 同意 イソジンを飲め 甲状腺 東京兼(@tkyken) がんを防げるよ． イソジン飲んでみたけ 313人がリツイート 反論 ど，超まずかった． 反論 東京花子(@hanatky) イソジン 件 デマです． 放射線研究所HPを見て！ http://bit.ly/gQxWZq 市民 大阪二郎(@jirosaka) ヨウ素を含むうがい薬”飲ま 談 ないで” (NHKニュース) 参照 話 参照 解 発言 析 大学・研究機関 マスメディア 情報・意見の整理・集約・可視化 78人がリツイート 宮城子(@miyako) 震災 混乱に乗じた 悪質な流言に注意を 東北大学 自然言語処理研究室 研究スタッフ VACANT VACANT 乾健太郎 岡崎直観 教授 准教授 渡邉陽太郎 助教 松林優一郎 特任助教 水野淳太 (NICT研究員) 井之上直也 C. Kruengkrai 研究員 研究員 研究員 募集中 30 10 (+2) スタッフ 研究生 20 4 博士 10 12 修士 5 学部 0 2010 2011 2012 2013 東北大学 自然言語処理研究室 2010年9月 2011年2月 2011年3月 2011年6月 2011年9月 2012年5月 2012年9月 2012年9月 2012年9月 2013年3月 2013年3月 2013年3月 2013年3月 2013年9月 言語処理学会 第16回年次大会 最優秀発表賞 CICLing-2011 Best Paper Award (First Place) 言語処理学会 2010年度 最優秀論文賞 日本経済新聞社 技術トレンド調査 総合3位 NLP若手の会 第6回シンポジウム 奨励賞 情報処理学会 自然言語処理研究会 学生奨励賞 情報処理学会 2012年度 山下記念研究賞 言語処理学会 第18回年次大会 優秀賞 NLP若手の会 第7回シンポジウム 奨励賞 東北大学 情報科学研究科長賞 情報処理学会 第75回全国大会 学生奨励賞 情報処理学会 第75回全国大会 学生奨励賞 情報処理学会 東北支部 学生奨励賞 言語処理学会 第19回年次大会 優秀賞 ビッグデータと対話する自然言語処理 自然言語処理 話題① 知識の編集 知識の獲得 話題② ツイートデータの解析例① 福島の桃 with NHK http://www.youtube.com/watch?v=RwIjlqDVNdg 2013.9.8 ツイート数の推移（肯定・否定別） 「福島産のモモを買うこと、食べること」に肯定的か否定的か 肯定側ツイート 福島の桃は市場に出てい るものはしっかりと調べら れているので安全です！ 何よりこんな笑顔が素敵 なおじちゃんおばちゃんの 愛がつまってるのでめちゃ めちゃ美味しいです！ 否定側ツイート 福島では山梨からトラックが 桃を安値で買い占めに来て いる。山梨産といっても安心 はできない。 リツイート RTネットワーク 否定的な意見が強い 肯定的な意見が強い • RTネットワーク上で２つのクラスタ（グループ）に分離 – 肯定・否定の推測結果に一致する • 反対の立場のツイートはあまりRTされない – 反対側のツイートは拡散させたいと思われない 肯定派・否定派はそれぞれムラを作っている 両者の意見交換は少ない → 風評対策の難しさ 否定→否定 0% 2011-05 2011-07 2011-09 2011-11 2012-01 2012-03 2012-05 2012-07 2012-09 2012-11 2013-01 2013-03 2013-05 2013-07 10% 20% 30% 否定→肯定 40% 支持→肯定 50% 60% 肯定→肯定 70% 80% 90% 100% ツイートデータの解析例② 参議院選挙 with 朝日新聞 （2013年7月3日, 22日，26日 朝日新聞掲載） 参議院選挙のツイート分析 （ 2013年7月3日 朝日新聞掲載） 分析内容 政策・政党名でツイートを検索し， 日々のツイート数，関連語を分析 知見 • ツイート総数が衆院選前と比べ ３割減（参院選への関心低い） • 共産党に関するツイートが増加 • 維新の会のツイートは激減 • ネット選挙に関連して，未成年 のリツイート問題が話題に • 原発を含むツイートが依然多い 世の中の関心を自動的に掘り起こす （ 2013年7月26日 朝日新聞掲載） 分析内容 記者のフィル ターを介さずに，ツイートか ら社会の論点・関心を抽出 結果と課題 • 「児童ポルノ禁止法改正 案」「Ｊリーグの２ステージ 制」など，新聞が取り上げ ていない話題を抽出 • 分析結果がそのまま新聞 記事に掲載された • 賛否を分離して数を出す ことは出来なかった 信頼できる情報を 見分けるための支援 情報の「背景」の可視化 東北太郎(@tohokutaro) イソジンを飲め 甲状腺がんを防げるよ． 反論 313人がリツイート 東京花子(@hanatky) イソジン 件 デマです． 放射線研究所HPを見て！ http://bit.ly/gQxWZq 78人がリツイート 反論 懐疑 九州一郎(@ichirok) @tohokutaro これ本当？ 大阪二郎(@jirosaka) ヨウ素を含むうがい薬”飲ま ない で” (NHKニュース) 言論マップ 質問 イソジンで被曝を防げる？ 肯定 被曝を軽減するにはイゾジンがいい 否定 イソジンは被曝対策には使えません 平時の一般のトピックでも 同意・対立・根拠の認識 事実性（モダリティ）解析 ＋ 構造的アライメント ＋ 関係パターン認識 対立意見の根拠 evidence of opposing opinion Collagen has beautiful skin effects. コラーゲンには美肌効果がある 美肌＝肌を美しくする beautiful skin = to beautify skin 肌を美しくする to beautify skin 美しい→きれい beautiful→pretty ＋存在 + existence − 存在 対立 conflict − existence コラーゲンをサプリメントで飲んでも、 Even when taken as a supplement, 途中でアミノ酸に分解されてしまうので、 (collagen) ends up broken down into amino acids so, 根拠 evidence 肌をきれいにする効果は期待できません。 （Φが） we cannot expect (collagen) to be effective at making skin pretty. 賛否によるネット情報の自動分析は世界初 言語処理学会 最優秀発表賞（2010） 言語処理学会 若手奨励賞（2010） CICLing Best Paper Award（2011） 日経新聞技術トレンド調査 総合3位（2011） 情報処理学会 山下記念研究賞（2012） ウェブの情報の流れを変える 論理的な 言論空間 対立 デマ ① _____ 訂正情報 _____ 賛成 批判 発信 _____ まとめ ハイパー リンク ④ _____ まとめ ③ _____ _____ デマ ① _____ _____ 訂正情報 ハイパー リンク ② _____ 現在の Web空間 「裏を取る」を支援 「ω-3脂肪酸はADHDの改善に有効」 の対立ページ 深海魚油 ソフトカプセル Deep sea Fish Oil Soft Capsules 健康食品データベース DHA.. [独立行政法人 国立栄養研究所] 小児のADHDは血中DHAレベルの低さと関 連があるが、 DHAは小児の注意欠陥多動 性障害(ADHD)に対して、経口摂取で効果 がないことが示唆されている。DHAを1日 あたり345mg摂取しても改善はみられな かった... ○○社によって製造された深海魚 油のソフトカプセルです。... 主な成分であるω-3脂肪酸は， 血液のより良い循環を促進し， 高コレステロールの改善，血栓 の防止，高血圧の改善，心臓の 健康維持をサポートします。ま た、双極性障害，ADHDの改善 に有効です。 魚油のオメガ3脂肪酸、頭を良 くする効果ない＝英研究 対立 [ロイター] 英国で行われた研究による と、魚油に含まれるオメガ３脂肪酸は、 心臓の健康のためには良いが、脳の機能 を高める効果はないという。ロンドン大 学の研究者らが専門誌「アメリカン・ ジャーナル・オブ・クリニカル... 「ω-3脂肪酸はADHDの改善に有効」 の根拠ページ 生活習慣をサポートする 『オメガ3脂肪酸 （後編）』 根拠 [サプマートUSA] ... ADHD、統合失調症、 アルツハイマー疾患のような精神・認知 に関する疾患を患う人は、血中のオメガ3 脂肪酸レベルが低い人が多いことから、 このような精神・認知に関係する疾患に 対し、オメガ3脂肪酸は有効性が期待でき あ れ ？ ち が う の か ぁ その先の言語理解研究へ 「行間を読む」言語処理への挑戦 「行間を読む」 週末に母とやなぎに行ってみまし うどん屋の名前 うどんを食べるために た。 私は評判のきつねうどんを頼んだの 私はうどんを食べた やなぎで ですが、期待通りの味に大満足。 うどんが美味しいと きつねうどんの 「行間を読む」 乾 ・岡崎 研究室 常識に基づく推論 庭に洗濯物を干したとたんに雨が降ってきた ガッカリ 庭に洗濯物を干す 〈洗濯物を干す〉 〈晴れ〉 目的 条件 雨が降る 〈洗濯物を乾かす〉 常識的な 知識 〈洗濯物が乾く〉 大問題！ 膨大な知識をどうやって集めるか 言葉の理解に必要な知識 • • • • • 「洗濯物を干す」目的は「洗濯物を乾かす」こと 「洗濯物が乾く」条件は「晴れている」こと 「うどん」は，「レストラン（うどん屋）で食べる」 「（料理を）注文する」ことを「頼む」とも言う 「レストラン」では，「料理を注文」して，しばらく すると料理が「出て」きて，それを「食べる」 常識もビッグデータから集める 天気が良いので，洗濯物がよく乾く 最近，晴れが続いているので，洗濯物がよく乾く 日が当たらないので，洗濯物が乾くのもままならず お天気は晴れマークが多かったから，洗濯物が乾く 湿度はなかったから，洗濯物が乾く 今日は，空気が乾燥していて，洗濯物がよく乾く 梅雨空が続いたため，洗濯ものが乾かず 天気が良い（晴れる） → 洗濯物がよく乾く 背景知識 「行間を読む」仮説推論 「何かを食べる」には「飲食店に行って、それを注文」すればよい 食べる(x, z) → 飲食店(w) ∧ 行く(x, w) ∧ 注文する(x, z, w) 「（店で）注文する」ことを「頼む」とも言う 注文する(x, z, w) → 頼む(x, z, w) ③ 言語処理への応用: 評判(z) → 食べる(x, z) |= 仮説 飲食店(w) やなぎ＝飲食店 観測 y=w O 観測 評判(z) ① 世界最速の推論エンジン 情報処理学会 山下記念賞 (2012) 言語処理学会 年次大会優秀賞 (2012) ∪ H 仮説 NLP若手の会 奨励賞 (2011) 「ある食べ物が評判」なら「それを食べたい」と思う 7分（US） → 3秒（東北大） B 背景知識 評判だから食べに行った 食べる(x, z) きつねうどんを食べた ② 仮説の評価関数の学習（世界初 NLP若手の会 奨励賞 (2012) 学生奨励賞 (2012) 注文する(x,自然言語処理研究会 z, w) IBIS 2012 Honorable Mention (2012) 食べる目的 で行った 「頼む」＝ やなぎで注文する w=v 私(x) ∧ やなぎ(y) ∧ 行く(x, y) ∧ きつねうどん(z) ∧ 頼む(x, z, v) ∧ 評判(z) 母とやなぎに行った。 評判のきつねうどんを頼んだ。 （S1: A lot of traffic once used Folsom Dam Road. ） S2: Right now, the road is closed. S3: Most of the people who used the road every day are angry. まとめ グーテンベルク以来の情報爆発 地球規模のコミュニケーションの支援へ 鍵は自然言語処理による情報・知識編集 ソーシャルリスニングとメディエーション 言語処理技術自身もビッグデータで飛躍 「行間を読む」言語処理は知識×推論 言語処理から人工知能にブレークスルーを