Transcript Slides

文章合成の不自然さを用いた
CAPTCHA
東海大学
工学研究科情報理工学専攻
○鴨志田芳典 菊池浩明
研究背景
CAPTCHA
(Completely Automated Public Turing test to tell Computers and Humans Apart)
 プログラムによるアカウントの大量取得対策
 問題点：現行のCAPTCHAの脆弱性
 高性能OCRを持つ攻撃に破られている．
 低賃金労働者による攻撃(リレーアタック)
リレーアタック
攻撃者のWebサイト
3．CAPTCHA問題閲覧
低賃金労働者
26714
.
攻撃プログラム
5
解
答
取
得
4．解答送信
.
2
問
題
転
載
正規Webサイト
6．アカウント取得
１．CAPTCHA問題取得
研究目的
1.
リレーアタックによる攻撃に強く，
2.
OCR機能を持つマルウェアによる攻撃に強く，
3.
正規アクセスの拒否率が低い．
CAPTCHAの提案．
文章の意味を理解する問題を用いる．
提案手法
 不自然な文をワードサラダにより合成する．
 ワードサラダ：マルコフ連鎖モデルを利用した合成文章
 スパムの大量投稿に利用されている．
 ワードサラダの特徴
 文法は正しくなる傾向があり，検出が困難．
 ある程度以上の語学力が無ければ，判断は難しい
 ネイティブが読めば不自然であると判断可能である．
提案手法：方法
1.
Webからのコーパス収集
2.
n階マルコフ連鎖による文章合成
3.
CAPTCHAによる検査
自然な文書h個，不自然な文書s個からなる
c個の文書を順次提示
 解答の方法は「自然」か「不自然」の二択
 正解数kの値が閾値θ以上ならCAPTCHA成功

提案手法：概要
問題１：自然な文章
解答１：自然
問題２：不自然な文章
解答２：不自然
問題３：自然な文章
解答３：不自然
問題４：不自然な文章
解答４：不自然
問題５：不自然な文章
問題５：自然
正解数 k = 3
閾値 θ = 4 とした場合
自然な文書数 h = 2
不自然な文書数 s = 3
全体の問題数 c = 5
正答率Pq = k/c = 3/5
前回の発表内容
 総当り攻撃への耐性の検証
 リレーアタックへの耐性の検証
 文章量を減らす事によるパフォーマンスの
向上
定義：FRR, FAR, ERR
 F ( H ) RR
人間拒否率
s

k 
s  k
sk
  Pq (1  Pq )
k 
 F ( M ) AR
機械受入率
1
2
s
s

k 
s 
 
k 
EER
FAR  FRR となる値
False
humans
Reject
Rate
False
machines
Accept
Rate
Equal
Error
Rate
留学生と日本人との精度の差
精度に27%の差
文章量による精度の変化
自然な文の出題数 h=15
ワードサラダの出題数 s=5
総問題数 c=20
正解数kの閾値Θ=15 の時，
EER = 3.7%
本日の発表
 文章校正ツールによる検出の検討
 日本語以外への言語への適用
実験１
 目的
文章校正ツールによる検出の精度の調査
 内容
問題として使用したn=1,…,3のワードサラダと
自然な文，各300文について，MicroSoftWord
による文章校正が行われる確率を調査．
実験１：結果
 実験結果
 n=1の時のみ，検出率24%．P(w|X=S)=0.24
 その他の場合の検出は無かった． P(w|X=H)=0
P(w)：校正が行われる確率．
 検出
 第二次世界における影響力は、各国の影響力を樹立していったの
クリストファー・検閲等から遠洋捕鯨が民間に送られてさらに各地から
購入した。
 未検出
 ラク・オバマ大統領の紛争や国民に対して
政治的に殆ど被害を謳歌している。
解析.1
提案方式で一題辺り校正が行われる確率P(w)を求める．
= 0.24×0.25 + 0×0.75 = 0.06
0.25
提示される文章がワードサラダである確率
P(X=S)=0.25
P(w)=0.06 P(w|X=S)=0.24
解析.2
 検出が行われた際の実際の機械の判定を求める．
 機械はP(X=S)を知らないと仮定する．
P ( X  H | w) 
P(w | X  H )P ( X  H )
P (w)

0  0 .5
0
0 . 06
P( X  S | w ) 
P(w | X  S )P( X  S )
P(w )
0 . 76  0 . 5

 0 .4
0 . 94
解析.3
 従って，機械は以下のスパム判定機を得る．
 校正が行われた場合，100%不自然と解答する．
 校正が行われなかった時，60%の確率でY=H
40%の確率でY=Sと解答する．
検出
not w w
判定
X=H
0.6
0.4
X=S
0.0
1.0
解析.4
 この判定機が正解する確率Pqwを求める．
P (Y  S | X  S )  P (Y  S | w ) P ( w )  P (Y  S | w ) P ( w )
P (Y  H | X  H )  P (Y  H | w ) P ( w )  P (Y  H | w ) P ( w )
出力
Y=H
Y=S
入力
X=H
0.51
0.49
X=S
0.44
0.56
出題率の歪みを考慮して，
Pqw=0.51×0.75+0.56×025
≒0.55
解析結果
EER = 8%
実験2
 目的
 提案手法を他言語へ適用出来るか評価する
 内容
 各言語の評価データの合成実験を行い，日本人学生3
名，英語，中国語，タイ語を母国語とする学生それぞれ1
名に対し40題提示し，その正答率を計測した．
 評価データ
Wikipedia のアメリカ合衆国の記事の本文から合成，ま
たは抽出したワードサラダと本文の一部。
日本語についてのワードサラダ
 n=1
 第二次世界における影響力は、各国の影響力を樹立
していったのクリストファー・検閲等から遠洋捕鯨が民
間に送られてさらに各地から購入した。
 n=3
一方、1915年にハイチ、1916年にドミニカ共
和国に出兵していない。
英語ワードサラダ
 n=1
 Farther west of the Dutch ceded their establishment of New
Amsterdam on the United States is the north to the U.S. s
American Revolution, with an American Civil War of Alaska's
most recent state-eight national economy is a strong central
North American is subarctic or polar.
 n=3
 The United States also possesses five major overseas
territories: Puerto Rico and the United States displaced
native tribes, acquired the Louisiana territory from France,
Florida from Spain, part of the Oregon Country from the
United Kingdom, Alta California and New Mexico from
Mexico, and Alaska from Russia, and annexed the Republic
of Hawaii.
中国語ワードサラダ
 形態素解析にはICACLSを用いた．
 n=1
 1819年，1952年公布中国面积是世界上加上了许多
地区是哥伦比亚特区及军事力量，数千种已经被推
翻。
 n=3
 本气候分类法的温带大陆性湿润气候：受墨西哥湾
暖流影响，温暖湿润，年降雨量2000毫米以上。
タイ語ワードサラダ
 形態素解析は，タイ人留学生に依頼し手作業で行った．
 n=1
 ทีร่ าบชายฝั่ งแอตแลนติกเป็ นประเทศจึงรับอิสรภาพ ผลของ
สหรัฐอเมริกา โดยในอีกครึง่ ศตวรรษต่อมาอย่างรวดเร็ว ขบวนการ
ตรวจสอบและวัฒนธรรมของฝ่ ายมหาอานาจกลางตกตา่ ครัง้ ที่
สามารถเอาชนะของแอฟริกน
ั เพียงแต่ระดับชาติเข ้ามาจากความ
ั เตอร์ของประเทศ ซงึ่ ได ้ประกาศ และ
ขัดแย ้งทางการโจมตีคา่ ยซม
ยุตก
ิ ารค ้าทาสแอฟริกน
ั อเมริกน
ั ถึงแม ้ว่าเป็ นพลเมืองของป่ าไม ้ไม่
ิ รรมทางการ
ผลัดใบเข ้ามาเป็ นประเทศเศรษฐกิจ การทาให ้รัฐกสก
บังคับแห่งชาติทรี่ ู ้จักกันมากอพยพจากข ้อมูลของฝ่ ายสมาพันธรัฐ
เป็ นการเลิกกฎหมายในพืน
้ ทีค
่ รอบคลุมสว่ นใหญ่ในสงครามยุต ิ
รัฐสภาไม่นับรวมกับรองลงสมัครรับความกระตือรือร ้นของประเทศไป
実験2.実験結果
言語
N=1
N=2
N=3
自然文
日本
0.87
0.47
0.20
0.90
英語
1.0
0.8
0.6
0.7
中国
1.0
0.8
0.5
0.7
タイ
1.0
1.0
0.8
0.6
実験2
タイ語ワードサラダの文章量
考察
 タイ語については，全ての場合不自然であると
言う結果が得られた
 文節記号がない為，文の終了条件を学習出来ない．
 それ以外の言語では，理想的な結果が得られた
 適切な形態素解析さえ行えれば，
提案方式は他言語に充分適用可能であると言える．
おわりに
 結論
 提案方式を20題の文章中に階数n = 1のワードサラダ5 題と自然
な文15 題の最も精度の良くなる条件下で行った場合，人間拒否率
4.3% 及び機械受入れ率2% の精度と，必要時間151.7秒のパ
フォーマンスで認証を行う事が可能である．
 提案方式はリレーアタックに対して耐性を持つ事を示した
 提案方式は日本語に限らず他言語にも適用可能である事を示した
 提案方式について，
文章校正機能を用いられた場合では精度は半減する
実験３：実験結果1
文章量による正答率
１行
0.91
５行
0.59
増減
+0.32
0.73
0.99
-0.27
文章量による応答時間[秒](N=1)
１行
５行
8.05 21.07
自然な文 (n=5)
増減
-13.2
自然な文 (n=5)
ワードサラダ(m=10)
ワードサラダ (m=10)
6.19
13.2
-7.01
実験３：実験結果2
表２：文章量による正答率
N=1
0.91
自然な文 (n=5)
N=2
0.80
N=3
0.68
0.73
0.62
0.45
表３：文章量による応答時間[秒]
N=1
N=2
8.05
8.12
自然な文 (n=5)
N=3
7.44
ワードサラダ(m=10)
ワードサラダ (m=10)
6.19
7.76
8.58
文章量によるERRの比較
必要時間 151.7秒
0.031
θ=15 のとき，
FRR=0.043, FAR=0.02
また，最小 EERは
0.031
改善案の検討
1. 問題文を短くする
2. より不自然な文を合成するように，
ワードサラダを調整する．
2.1
2.2
コーパスサイズの拡大
より適切なコーパスの選択
 今後実験予定
2.3
マルコフ連鎖の遷移確率の操作
2.4
ワードサラダの検出手法の応用
おわりに
 マルコフ連鎖による合成文章を利用した
CAPTCHAを提案した．
 提案手法は，最適な条件下では，人間拒否率及び機械
受け入れ率2%の精度と，308.75秒のパフォーマンスで
検査が可能である事を示した．
 文章の不自然さの理解を用いた問題は，
リレーアタックに耐性を持つ事を示した．
今後の課題
 実験2:留学生による主観評価の再実験
 提案手法の実装実験
 より短い文章量で不自然さを確保できる文章合成方法の検討
 n, m, θを一度のCAPTCHA毎に可変とした時の評価
実験結果：正答率
Nの増加に従い減少
不自然な文書に対する正答率k/m
日本人：
0.9875 ±0.04 (N=1)
凡そ0.2ポイントの差
留学生：
0.81 ±0.12 (N=1)
自然な文書に対する正答率k/ n
日本人：
0.59±0.19
留学生： ※ 0.50
※実験を行っていないため，暫定的に最低値とした
センテンス
実験結果：応答時間
センテンス
ワードサラダの文章合成例
単純マルコフ連鎖（N=1）
基本方針を含め、罰金の３１４年に丸投げした。本人を受
け、12月中旬に目先の寄付を記載する二つの辞任を導入
し、まじめに同額の事務所は、実際は50％台に組んだ４７
千万円の数百万円単位の運営する政治主導した。
３階マルコフ連鎖(N=3)
この３億円を含め、新生党と自由党の解党時の残金２２億
円余が、小沢氏関連の３つの政治団体に移されていたこと
が、関係者への取材で分かった。鳩山首相は不起訴だっ
たとはいえ、政治的責任は極めて重大である。
マルコフ連鎖による文章合成のプロセス
単純マルコフ連鎖モデル(N=1)を用いる場合
鴨志田が車に轢かれた。
入力(コーパス) 鴨志田が子犬に懐かれた。
車
轢か
1/2
1/1
鴨志田
1/2
1/1
が
1/2
1/1
れ
に
1/2
子犬
1/1
た
1/1
懐か
P ( x i )  P ( x i | x i 1 , x i  2 ,..., x i  N )
。
関連研究
•山本匠，J. D. Tygar, 西垣正勝
機械翻訳の違和感を用いたCAPTCHA の提案
 コンセプト
 機械翻訳により再翻訳された
語の違和感を利用して，
CAPTCHAを行う．
山本匠，J. D. Tygar, 西垣正勝：機械翻訳の違和感を用いたCAPTCHA の
提案，情報処理学会研究報告, CSEC-46 No. 37，2009． より図を引用．
閾値θについてのFRRとFAR
(n=5,m=15)
CAPTCHAとして適切なパラメータ
n=5, m=15の20題のとき
正解数kの閾値θ=15で
EERは最低値を取る．
ワードサラダの割合による
精度の変化
0.155
0.049
0.02
n=5, m=15の20題
正解数kの閾値θ=15
この時，
FRR及びFARは2%
実験
文字列変形CAPTCHAとの比較
 目的
広く利用されている文字列変形CAPTCHAとの精度とパ
フォーマンスの違いを調査する．
CAPTCHA公式サイトに提示されているCAPTCHAデモプ
ログラムを利用し，2名に20回ずつCAPTCHAを行わせ，
成功率と必要時間を計測する．
従来手法との比較：結果
FRR
提案手法
(マルコフ)
文字列
画像変形
FAR
必要時間
2%
リレー
アタック
2% 307.85秒 58%
0%
9.74秒 耐性低
過去研究：日本人による主観評価
 実験内容
 日本人学生9名と留学生3名に対し評価データを100件で提示し,
コンピュータで合成された文章か否かを判定させ, 正答率と応答
時間を計測する.
評価データ
作文方法
ワードサラダ
(Order N = 1,…,4)
センテンスサラダ
コーパスの一部抜粋
件数
40題
10題
50題
計100題
 5000文字程度の政治・経済に関する記事から合成
実験3:日本人による主観実験２
 目的
文章量と正答率k/n, k/mの関係を調査する．
 7名の被験者に対し，1行の文からなる評価
データをn=5,m=10,s=15の条件で順次提示し，
被験者に自然か不自然かを判断させ正答率
k/n, k/mと応答時間を計測する．
評価：１
Order n=1, の時の条件付確率P(Y|X)
判別文書 Y=H
Y=S
0.59
0.01
0.41
0.99
入力文書
X=Human
X=Spam
自然な文書の出題率：
P(X  H ) 
n
s
不自然な文書の出題率
： P(X  S ) 
m
s
 1
n
s
評価方法
CAPTCHA1問あたりの成功/失敗率を以下の同時確率で与える．
成功
P (Y  H , X  H )  P (Y  H | X  H ) P ( X  H )
P (Y  S , X  S )  P (Y  S | X  S ) P ( X  S )
失敗
P (Y  S , X  H )  P (Y  S | X  H ) P ( X  H )
P (Y  H , X  S )  P (Y  H | X  S ) P ( X  S )
これらをまとめて，CAPTCHA失敗率Pqを以下のように定める．
P  P(Y  S,X  H)  P(Y  H,X  S)
q