Transcript Web検索における リンク構造解析を利用した ランキング法

Ｗｅｂ検索における
リンク構造解析を利用した
ランキング法
中窪 仁† 佐藤隆士‡
†大阪教育大学大学院総合基礎科学専攻
‡大阪教育大学情報処理センター
発表内容








背景
研究目的
関連研究
提案手法
考察
実験概要
まとめ
今後の課題
背景
ＷＷＷ空間上には膨大な情報が存在
 膨大な情報から必要な情報のみを抽出す
ることは困難
 情報抽出支援ツールであるＷｅｂ検索シス
テムを利用
 Ｗｅｂ検索システムの検索精度は未だ十分
ではない

研究目的

現在のＷｅｂ検索システム
– Ｗｅｂページ本文と検索語句による全文検索
– Ｗｅｂページ間のリンク構造解析による文書抽出
Ｗｅｂページ特有の情報であるリンク構造を利用
した手法を提案
 Ｗｅｂ検索システムの精度向上を図る

関連研究
－ ＰａｇｅＲａｎｋアルゴリズム（１） －

ＰａｇｅＲａｎｋアルゴリズム
– Ｗｅｂページ間のリンク構造にランダムウォー
クモデルを適用
– ＷＷＷ空間上の全Ｗｅｂページへの遷移確率
をもとにスコアリング
関連研究
－ ＰａｇｅＲａｎｋアルゴリズム（２） －

ＰａｇｅＲａｎｋアルゴリズム例
90
30
30
30
30
15
15
45
15
15
15
関連研究
－ ＰａｇｅＲａｎｋアルゴリズム（３） －

ＰａｇｅＲａｎｋアルゴリズムの特徴
– ＷＷＷ空間上の各Ｗｅｂページの被参照度を
示す固定値
– 検索語句によって左右されない静的スコア

ＰａｇｅＲａｎｋアルゴリズムの問題点
– リンク構造上隣接していないＷｅｂページへの
影響が減少
関連研究
－ ＨＩＴＳアルゴリズム（１） －

ＨＩＴＳアルゴリズム
– リンク構造を利用して検索語句に対して適切
なコミュニティを抽出
– “authority”

検索語句に関する的確な情報を持つＷｅｂページ
集合
– “hub”
 リンク構造上，“authority”に含まれるＷｅｂページ
と隣接関係を持つＷｅｂページ集合
関連研究
－ ＨＩＴＳアルゴリズム（２） －

ＨＩＴＳアルゴリズム例
auth: 0.408
hub: 0.000
auth: 0.000
hub: 0.408
auth: 0.816
hub: 0.000
auth: 0.000
hub: 0.816
auth: 0.408
hub: 0.000
auth: 0.000
hub: 0.408
関連研究
－ ＨＩＴＳアルゴリズム（３） －

ＨＩＴＳアルゴリズムの特徴
– “authority”，“hub”の二種類のスコアを算出
– 検索語句によって左右される動的スコア

ＨＩＴＳアルゴリズムの問題点
– 常に適切なコミュニティを抽出できるとはかぎ
らない
提案手法概要（１）

提案概要
Ｗｅｂページ本文と検索語句による全文検索結果
＋
リンク構造解析による静的スコアリング
＋
リンク構造解析による動的スコアリング
Ｗｅｂ検索システムの精度向上
提案手法概要（２）

提案手法手順
Ｃｏｒｐｕｓ
Ｒｅｓｕｌｔ
全文検索スコア
Ｌｉｎｋ Ｓｔｒｕｃｔｕｒｅ
Ｄａｔａ
動的スコア＃１
動的スコア＃２
静的スコア
グループ化
スコアリング
ランキング
Ｗｅｂページのグループ化（１）

Ｗｅｂページのグループ化
– Ｗｅｂページ群をグループとして扱う
– グループの定義
 同一の作成者が作成し，類似分野の情報を持つと
思われるＷｅｂページ群
– グループ化手法
 「類似分野の情報は同一の親を持つ部分木であ
る」と仮定
 ディレクトリ構造，リンク構造の二通りのアプローチ
Ｗｅｂページのグループ化（２）

ディレクトリ構造方式
Ｂ
Ａ
Ｃ
Ｄ

ディレクトリ構造を木構
造とみなしてグループ化

リンク構造解析が不要
作成者のディレクトリ分
類法によってグループ
の質が変化

ルート
：グループ
Ｅ
Ｗｅｂページのグループ化（３）

リンク構造方式

Ｂ
Ａ
Ｃ
Ｄ
ルート
Ｅ
：グループ
リンク構造を木構造とみ
なしてグループ化
作成者の意図通りにグ
ループ化が可能
 リンク構造によるグルー
プ化は難易度が高い

静的スコアリング（１）

静的スコアリング
– 小規模コミュニティのスコアリングが目的
– グループ化済みのリンク構造についてスコア
リング
– スコアリングにはＰａｇｅＲａｎｋアルゴリズムを
使用
静的スコアリング（２）

静的スコアリング例
Ｆ
Ａ
Ｂ
Ｇ
Ｃ
Ｄ
ディレクトリ
構造方式
Ｈ
Ｅ
：Ｗｅｂサイト
（Ａ..Ｅはグループ化例と同じ構造を持つ）
Ｆ
グ
ル
ー
プ
化
Ｆ
リンク
構造方式
Ａ
ＢＣ
Ｇ
ＤＥ
Ｈ
ＡＢ
Ｇ
ＣＤＥ
Ｈ
静的スコアリング（３）

静的スコア例
Grouping
Method
A
B
C
No
0.26 0.15 0.26
0.38
Dir.
0.22
0.22
Link
Page
D
E
0.11 0.11
0.22
0.36
F
0.00
0.00
0.00
G
0.06
0.09
0.22
グループからリンクされている
Ｗｅｂサイト外ページのスコアが増加
リンク構造上隣接関係にない
Ｗｅｂページへの影響度が増加
H
0.06
0.09
0.22
静的スコアリング（４）

静的スコア例
Grouping
Method
A
B
C
No
0.26 0.15 0.26
0.38
Dir.
0.22
0.22
Link
Page
D
E
0.11 0.11
0.22
0.36
F
0.00
0.00
0.00
G
0.06
0.09
0.22
グループ化によりスコアが均一化
本来のリンク構造が表す各Ｗｅｂページの
特性が失われている
H
0.06
0.09
0.22
動的スコアリング（１）

動的スコアリング
– 全文検索結果集合に含まれるリンク構造につ
いてスコアリング
– スコアリングにはＰａｇｅＲａｎｋアルゴリズムを
使用
– グループ化適用の前後二種のスコアを算出

グループ化適用前を＃１，適用後を＃２とする
動的スコアリング（２）

動的スコアリング＃１（グループ化適用前）
– 全文検索結果集合内での有用なＷｅｂページ
の抽出が目的

動的スコアリング＃２（グループ化適用後）
– 全文検索結果集合内のＷｅｂページを含む小
規模コミュニティのスコアリングが目的
– 動的スコアリング＃１からスコアリング範囲を
グループ単位まで拡張
動的スコアリング（３）

動的スコアリング例
＃１
＃２
Ｕ
Ｖ
Ｗ
Ｙ
Ｘ
：結果集合
Ｚ
グ
ル
ー
プ
化
：グループ
Ｕ
Ｖ
Ｗ
ＸＹＺ
動的スコアリング（４）

動的スコア例
#
1
2
Page
U
V
W
X
Y
Z
1.00 0.00 0.00 0.00 0.00 0.00
0.50
0.50 0.00 0.00
各Ｗｅｂページの特性を明確に示す
スコアリングが可能
動的スコアリング（５）

動的スコア例
#
1
2
Page
U
V
W
X
Y
Z
1.00 0.00 0.00 0.00 0.00 0.00
0.50
0.50 0.00 0.00
複数のＷｅｂページにスコアリングされている
検索結果集合内Ｗｅｂページのみスコアを適用することにより
最終的なランキング時のノイズ混入を防止しつつ評価可能
ランキング（１）

ランキング
– 得られたスコアを最適な手法をもって併合
 全文検索結果
– 検索語句に特化したスコア

静的スコア
– 各Ｗｅｂページ特性の大まかなスコア

動的スコア＃１
– 検索語句に特化，各Ｗｅｂページ特性の明確なスコア

動的スコア＃２
– 検索語句に特化，各Ｗｅｂページ特性の大まかなスコア
ランキング（２）

スコア併合手法
– 各スコアにそれぞれ一定の重みを付け，加算
Score ( p)  w r Retrieval ( p)  w s Static( p)  wd Dynamic( p)
w : Weight ( w r  wd  w s , wd1  wd2 )
Retrieval ( p ) : Full - text Search Score of Document p.
Static( p ) : StaticScore of Document p.
D1 ( p ) : Dynamic Score of Document p without Grouping.
D2 ( p ) : Dynamic Score of Document p with Grouping.
Dynamic( p )  w d1 D1 ( p )  w d2 D2 ( p )
提案手法考察

考察
– 検索語句を含むＷｅｂページを高評価
– 類似情報を持つであろう小規模コミュニティを
考慮
Ｗｅｂ検索システムの精度向上が可能
実験概要（１）

実験対象データ（ＮＴＣＩＲ*テストコレクション）
– 検索対象
 ＮＷ１００Ｇ－０１
– １００ＧｂｙｔｅのＨＴＭＬデータ
– 上記ＨＴＭＬデータに含まれるリンク構造データ

ＵＲＩ総数：約２３７０万ページ
– ＨＴＭＬデータのあるもの：約１１００万ページ

リンク総数：約８０００万リンク
– 検索語句
 トピック総数：１５３トピック
* ＮＩＩ－ＮＡＣＳＩＳ Ｔｅｓｔ Ｃｏｌｌｅｃｔｉｏｎ ｆｏｒ ＩＲ Ｓｙｓｔｅｍｓ Ｐｒｏｊｅｃｔ
情報検索システム評価用テストコレクション構築プロジェクト
実験概要（２）

実験環境
– ハードウェア
 ＣＰＵ：Ｐｅｎｔｉｕｍ４ ２.４ＧＨｚ
 Ｍｅｍｏｒｙ：１Ｇｂｙｔｅ
– ＯＳ
 ＦｒｅｅＢＳＤ
実験概要（３）

プロトタイプ
– 全文検索プログラム
 グラムベースインデクスによる検索システム
 スコアリングには tf・idf 法を使用
– グループ化プログラム
 ディレクトリ構造方式にてグループ化
– ＰａｇｅＲａｎｋスコア算出プログラム
 ＨＴＭＬデータのないＷｅｂページも算出
実験概要（４）

収集データ
– グループ化

グループ作成手法を検討しつつ数パターン
– 静的スコア


グループ化適用前のスコア
グループ化適用後のスコア
– 動的スコア

全文検索結果上位５０００件分のスコア
– ランキング

各スコアの重みを検討しつつ数パターン
実験結果（１）

全文検索システム
– 処理時間
 前処理：２０時間
 インデクス作成処理：１５時間
 検索処理平均値：７２ミリ秒／語
 検索処理中央値：２６ミリ秒／語
– 処理結果
 インデクスサイズ：約３０Ｇｂｙｔｅ
実験結果（２）

グループ化
– 処理結果
 グループ総数：約４６７万グループ
 最大値 ２１４６８ページ／グループ
 最小値
１ページ／グループ
 平均値
５ページ／グループ
 中央値
１ページ／グループ
実験結果（３）

ＰａｇｅＲａｎｋスコア算出
– 処理時間（算出対象：約２４００万ページ）
 前処理：２０時間
 算出：４５分（未収束，５０ループ）
– 処理結果
 スコア最大値：０．０００２３５２４８３
 スコア最小値：０．００００００００００
 スコア中央値：０．００００００００８４
 スコア平均値：０．０００００００４２２
まとめ
リンク構造解析を利用したランキング法と
して，静的・動的スコアリング法を提案
 検索語句を含むＷｅｂページに重点をおき
つつ，小規模コミュニティを考慮可能

ランキング時の各スコアの重みを検討することで
興味深い結果が得られると思われる
今後の課題
提案手法についての実験
 精度に関するデータ収集・検討
 ランキング時の重み最適値の検討
 Ｗｅｂページグループ化手法の検討
 処理コスト低減手法の検討

ご静聴ありがとうございました