Transcript Document

Javaソフトウェア部品検索システムのための
索引付け手法の提案と実装
大阪大学基礎工学情報科学科
井上研究室
梶田 泰伸
研究背景
Javaソフトウェア部品検索システムSPARS-Jを開
発
検索語に対して全文検索を行い，検索語と関連した部
品（クラス、インターフェイス）のソースコードを提供
あらかじめソースコードに対し索引付けを行い、索引語
をデータベースに登録
→検索語と一致する索引語を検索
用語
索引語 ： 文書の内容を特徴付ける単語
索引付け ： 文書中から索引語を抽出する処理
2
2004/2/26 特別研究発表会
現状の問題点
全ての語を抽出しそのま
static boolean safetyCheck(int row){
ま索引語としている
for (int j=1; j<column; j++)
複合語“safetyCheck”が
if (board[j] == row)
return false ;
存在
検索語“safety”や
“check”にマッチしない
この部品は検索されない
}
static
boolean
検索漏れ
safetyCheck
(
不要語が存在
int
row
)
{
for
・・・
データベース容量の無駄
3
}
return true ;
2004/2/26 特別研究発表会
研究の目的
Javaソースコードの特性を生かした索引付け手法
を提案する
検索漏れを減らすため
索引語の拡張
適合部品：
• 検索語が出現する部品
• 検索語が、語形変化して出現する部品
データベースの容量の増加を抑えるため
不要語の除去
4
2004/2/26 特別研究発表会
提案手法の概要
ソースコードはプログラム部とコメント部に分かれる
プログラム部：文法はプログラム言語に依存 → Java
コメント部：文法は自然言語に依存 → 英語
不要語の除去
索引語の拡張
5
１．プログラム部、コメント部
２．プログラム部
３．コメント部
2004/2/26 特別研究発表会
不要語の除去
（プログラム部、コメント部）
不要語とは
その語が他の多くの部品に存在し、出現した部品を
絞り込むのに役に立たない語
プログラム部
コメント部
記号 （例外： “_”、“$” ）
数字のみで構成される語
１文字の語（１文字の語＋数字）
予約語
名詞（代名詞を除く）、動詞（be動詞
を除く）、形容詞、副詞 以外の語
6
2004/2/26 特別研究発表会
索引付けの例
（不要後の除去：プログラム部、コメント部）
以下の不要語
の除去
C： /*This
Thisisisisaasample
asample
sample
samplecase
case
case
case. */
This
class roomNumber
roomNumber {
static int column
column = 10
10,a0a0
a0,a1a1
a1;
記号
static char string1
string1, string2
string2;
static boolean saftyCheck ( int row
row ){
数字のみの語
for ( int j = 11; jj <column
column;jjj++){
column
if ( board
board
board[ j ] ==row
row
row )
１文字の語
return false
false;
予約語
}
return true
true;
不要な品詞
}
の語
C： //This
Thismethod
argument
argument.
methodchecks
checks 1argument
argument
}
7
2004/2/26 特別研究発表会
索引語の拡張（プログラム部）
1. 複合語の切り分け
Javaでは、複合している単語の始まりは大文字で書き、
残りは小文字で書く慣例
1. 小文字から大文字になる箇所で切り分ける
tmp
temporary
2. 大文字から小文字になる箇所の１つ前の文字で切り分ける
err
“$”、”_” でも切り分け
error
新たに索引語とする
readInputFile
add ID Key
2. 省略語を本来の形にする
addIDKey
add IDKey
addID IDKey
省略語リストを作成（現在７０語程度）
getProcessID
3. 語の最後が数字なら数字を除去する
8
2004/2/26 特別研究発表会
索引付けの例
（索引語の拡張：プログラム部）
プログラム部の
索引語の拡張
C：
sample case
roomNumber room Number
column
string string1 string2 string
string
safety Check safetyCheck
safetyCheck
row
row
column
board
row
C：
method checks argument
複合語の切り
分け
省略語の復
元
末尾の数字を
除去
9
2004/2/26 特別研究発表会
索引語の拡張（コメント部）
1. 複合語の切り分け
2. 原形でない語は、原形も索引語とする
形態素解析ツール TreeTagger を利用
入力された単語を解析して、その単語の品詞情報と原形を
出力
例：“She saw men”を入力すると
She PP
she
saw
VVD see
men NNS man
品詞情報原形
品詞情報は、不要語の除去に利用
10
2004/2/26 特別研究発表会
索引付けの例
（索引語の拡張：コメント部）
コメント部の索
引語の拡張
C：
複合語の切り
分け
原形でない語
を原形に戻す
索引語として
登録
データベース
11
C：
sample case
roomNumber room Number
column
string string1 string2 string
safety Check safetyCheck
row
column
board
row
check
method checks argument
2004/2/26 特別研究発表会
評価
1. 検索漏れをどの程度減らすことができるか
検索漏れの少なさを示す尺度
• 再現率＝
検索された部品中の適合部品の数
全部品の中の適合部品の数
５種類の検索語で検索
手法適用前と手法適用後で再現率を比較
2. データベース容量の増加はどの程度抑えられるか
５種類のソースコード群に対してデータベースを作成
不要語除去前と不要語除去後でサイズ（KB）を比較
12
2004/2/26 特別研究発表会
再現率の変化
Netscape DevEdgeで公開されているソースコード２６１
ファイル（部品数２８１）を対象
1.00
1
1.00
1.00
0.9
0.8
再
現 0.7
率 0.6
0.77
全ての検索語おいて
再現率が上昇
0.75
0.67
0.56
0.5
0.4
0.3
0.31
0.29
0.23
0.2
提案手法適用前
提案手法適用後
0.1
0
13
K1 K2
複合語の切り分けが
完全でなかった
“scrollbar” が “bar”
で検索されない
K3 K4 K5
検索語
2004/2/26 特別研究発表会
データベース容量の変化
DBの種
類
部品数 手法導入前 索引語拡張のみ(KB) 索引語拡張
(KB)
＋不要語除去(KB)
DB1
281
8176
12752 (156.0%)
-17.2%
11344 (138.7%)
DB2
511
9440
14608 (154.7%)
12224 (129.5%)
-25.3%
DB3
767
17664
25760 (145.8%) -18.2%
22544 (127.6%)
DB4
1120
17456
25584 (146.6%)
DB5
2844
84384
141968 (168.2%)
21728 (124.5%)
-22.1%
124480 (147.5%)
-20.7%
平均 -20.7%
部品数に関わらず、データベース容量の増加
が約20％抑えられた
14
2004/2/26 特別研究発表会
まとめと今後の課題
Javaソフトウェア部品検索システムのための索引付
けを提案した
索引語を拡張することにより、検索漏れを減らすことがで
きた
不要語を除去することにより、索引語拡張の際のデータ
ベース容量の増加が約20％抑えられた
今後の課題
複合語のより完全な切り分け
コメント部が日本語である場合の提案手法の適用
他のプログラム言語への提案手法の適用
15
2004/2/26 特別研究発表会
発表終了
16
2004/2/26 特別研究発表会
補足：５種類の検索キー
K1 set
バーの設定を行なっている部品が目的
bar
K2 initialize
window
K3 font
size
K4 frame
update
K5 mouse
event
17
ウィンドウを初期状態に戻す処理が記
述されている部品が目的
フォントのサイズ関連のことが記述されて
いる部品が目的
新しいフレームにアップデートする際に行
なう処理が記述されている部品が目的
マウスの操作で起こるイベントが記述さ
れている部品が目的
2004/2/26 特別研究発表会
補足：
各手法の検索結果の比較
手法 複合語
なし 切り分け
省略
語
末尾の
数字
除去
複合語の 原形に
全手法
切り分け 戻す
適合
文書
set bar
4
10
4
4
5
5
10
13
initialize
window
3
3
7
3
3
3
13
13
font size
8
9
8
8
9
8
9
12
frame
update
5
8
5
6
6
5
9
9
mouse
event
4
14
4
4
4
4
14
14
18
2004/2/26 特別研究発表会
補足：
各手法のデータベース容量の変化
19
2004/2/26 特別研究発表会
補足：
各手法の索引語総数の変化
20
2004/2/26 特別研究発表会
補足：
各手法の処理時間の変化
21
2004/2/26 特別研究発表会
補足：処理の流れ
抽出した
語
・不要語除去
４
JAVA
ソース
コード
５
・字句解析
プログラム部
３
・コメント部の語
抽出
コメント部
２
５
・不要語
・不要な品詞
除去
の語を除去
・参照
・形態素解析
22
・索引語として登録 Word
DB
４
１
コメント部
の語
・拡張した索引語
を登録
品詞原形
参照表
・拡張した
索引語を登録
索引品詞
リスト
2004/2/26 特別研究発表会