Transcript キャッシュ・ミス頻発命令 が性能に与える影響

キャッシュ・ミス頻発命令
が性能に与える影響
福岡大学
○堂後靖博
2004/09/08
井上弘士
1
発表内容

はじめに

実験環境

キャッシュ・ミス頻発命令の特徴解析

考察

おわりに
2004/09/08
2
はじめに
性
能
向
上
比
（
基
準
は
１
９
８
０
年
）
～メモリ・ウォール問題～
10
5
10
4
CPU
55%/年
10
3
10
2
10
1
10
0
性能向上差
48%/年
1980
1990
memory 2000
7%/年
2005 (年)
マイクロプロセッサと主記憶との
性能向上差を埋める技術が必要
出典：J.L.Hennessy, D.A.Patterson, “Computer Architecture: A Quatitative Approach 3rd Edition”
2004/09/08
3
メモリ・ウォール問題を解決する手段


キャッシュ・メモリの導入
キャッシュ・プリフェッチ
•データの対象は？
•データの再利用性は？
•いつするか？
解決手段は
1つだけではない！
キャッシュ・ミス頻発命令
（Troublesome命令：TS命令）
TS命令に着目したメモリ性能向上技術
2004/09/08
4
TS命令に着目したメモリ性能向上技術

プログラム実行中、処理内容に応じてTS命令専用
最適化を施し高い性能向上を実現
1.
TS命令の動的検出
2.
最適化手法、最適化適用範囲の決定
3.
TS命令専用最適化回路の生成

TS命令専用プリフェッチ回路

TS命令専用キャッシュ

etc
2004/09/08
重要!
5
目的


TS命令動的検出の可能性の検討

TS命令の存在とその出現率

TS命令の生存期間

TS命令のアクセス・パターン
TS命令が性能へ与える影響を考察
2004/09/08
6
実験環境

シミュレータ

Simplescalar 3.0d

キャッシュ・メモリ



L1：32KB（32B，4way，256lines）

L2：256KB（32B，4way，2048lines）
命令発行：out-of-order
対象アプリケーション

SPEC CPU 95 ベンチマーク

整数演算 8種類（入力にはtrainを使用）
2004/09/08
7
実験方法
TS命令の存在調査
ベンチマーク
SPECint95
Simplescalar
3.0d
トレース
ファイル
キャッシュ・ミス
を引起す命令
TS命令の生存期間，アクセス・パターン
ベンチマーク
SPECint95
トレース
ファイル
TS命令上位10個
2004/09/08
Simplescalar
3.0d
トレース
ファイル
TS命令の
•生存期間
•アクセス・パターン
8
キャッシュ・ミス頻発命令の特徴解析


TS命令動的検出の可能性の検討

TS命令の存在とその出現率

TS命令の生存期間

TS命令のアクセス・パターン
TS命令が性能へ与える影響を考察
2004/09/08
9
TS命令の出現頻度
TS
ミ 全 100%
ス ミ 90%
数ス
（ 数 80%
10 に
個 占 70%
60%
）
のめ
割 る 50%
合
40%
命
令 30%
2004/09/08
x
ort
e
14
7.v
erl
13
4.p
pe
g
13
0.li
13
2.ij
12
4.m
09
9.g
88
ksi
m
12
6.g
cc
12
9.c
om
pre
ss
20%
10%
0%
o
L1Cache
L2Cache
10
TS命令は存在するか？
129.compress
126.gcc
23%
2.6%
1.8%
1.7%
TS１
22%
21%
上位3命令で66%
ミスを引起す命令の
局所性が高い！
2004/09/08
上位3命令で6%
TS2
TS3
ミスを引起す命令の
局所性が低い！
11
キャッシュ・ミス頻発命令の特徴解析


TS命令動的検出の可能性の検討

TS命令の存在とその出現率

TS命令の生存期間

TS命令のアクセス・パターン
TS命令が性能へ与える影響を考察
2004/09/08
12
TS命令の生存期間
TS命令が長時間に渡って実行
一定間隔でミスを引起している
~129.compress(L1cache)~
TS命令専用最適化
の効果が期待できる
ミ
ス
頻
発
命
令
上
位
10
個
2004/09/08
実行サイクル（1万サイクルを1）
13
キャッシュ・ミス頻発命令の特徴解析


TS命令動的検出の可能性の検討

TS命令の存在とその出現率

TS命令の生存期間

TS命令のアクセス・パターン
TS命令が性能へ与える影響を考察
2004/09/08
14
メモリ・アクセス・パターン①（局所集中型）
TS4
300000000
298000000
メモリアドレス
296000000
294000000
292000000
アクセスが集中!!
290000000
288000000
286000000
284000000
282000000
0
500
2000
1500
1000
実行サイクル
2500
3000
動的特徴抽出が容易！！
2004/09/08
15
メモリ・アクセス・パターン②（中域集中型）
メモリアドレス
メモリアドレス
268650000
268600000
268550000
268500000
TS2
0
500
1000 1500 2000
実行サイクル
2500
3000
268950000
268900000
268850000
268800000
268750000
268700000
268650000
268600000
268550000
268500000
268450000
0
500
TS3
1000 1500 2000
実行サイクル
2500
3000
集中した範囲でアクセス
2004/09/08
動的特徴抽出が可能！
16
メモリ・アクセス・パターン③（均一分散型）
TS1
268800000
メモリアドレス
268750000
268700000
参照アドレスの幅が等しい
268650000
268600000
268550000
動的特徴抽出が可能！
268500000
268450000
0
500
2004/09/08
1000 1500 2000
実行サイクル
2500
3000
17
考察

TS命令が存在（099.go，126.gccを除く全てのベンチマーク）

TS命令の生存期間が比較的長い


キャッシュ・ミスの回避

ミス・ペナルティの隠蔽
性能向上を達成可能!
TS命令の種類によりアクセス・パターンが異なる

TS命令の特徴に応じた手段を用いる

局所集中型TS命令 → 小容量TS命令専用キャッシュ

中域分散型TS命令 → 大容量TS命令専用キャッシュ

均一分散型TS命令 → ストライド・プリフェッチ
2004/09/08
18
おわりに

TS命令動的検出の可能性についての検討

TS命令は存在するか？
存在する

TS命令の生存期間は？
比較的長い

TS命令のアクセス・パターンは？
種類により異なる
TS命令を動的に検出することが可能!!

今後の課題

TS命令の動的検出・特徴抽出の手法確立と性能評価
2004/09/08
19
2004/09/08
20
TS命令が性能に与える影響
TS命令の削除による性能向上評価
2004/09/08
21
評価環境（1/2）


シミュレータ

Simplescalar3.0

命令発行：out-of-order
使用アプリケーション

SPEC CPU 2000 ベンチマーク

整数ベンチマーク


浮動小数ベンチマーク


164.gzip, 175.vpr, 176.gcc, 197.parser, 256.bzip2
177.mesa, 179.art, 183.equake
入力データ：small input
2004/09/08
22
評価環境（2/2）
プロセッサの構成
命令フェッチ
命令フェッチ/デコード/発行幅：8
RUUエントリ数：64
LSQエントリ数：32
分岐予測
分岐予測：PHT8Kエントリ/履歴長6のgshare
分岐先アドレス予測：BTB2Kエントリ4ウェイ、RAS32エントリ
演算ユニット
int-ALU数/実行レイテンシ/発行レイテンシ：4/1/1
int-MUL-DIV数：1（MUL→実行/発行レイテンシ：3/1）
（DIV→実行/発行レイテンシ：20/19）
fp-ALU数/実行レイテンシ/発行レイテンシ：4/2/1
Fp-MUL-DIV数：1（MUL→実行/発行レイテンシ：4/1）
（DIV→実行/発行レイテンシ：12/12）
（SQRT→実行/発行レイテンシ：24/24）
キャッシュ
L１命令 サイズ/連想度/ポート数/レイテンシ/ラインサイズ：64KB/2/1/1/64B
L1データ サイズ/連想度/ポート数/レイテンシ/ラインサイズ：64KB/2/1/2/64B
L２命令データ統合 サイズ/連想度/ポート数/レイテンシ/ラインサイズ：2MB/4/1/16/64B
オフチップ・アクセス・メモリバス幅/レイテンシ（L2ミスペナルティ）：8B/250
TLB
命令 エントリ数/連想度/ミス･ペナルティ：1K/4/30
データ エントリ数/連想度/ミス・ペナルティ：1K/4/30
2004/09/08
23
本実験での実行命令数、コミット数
（シミュレーション結果による）
7,000,000,000
6,000,000,000
5,000,000,000
4,000,000,000
実行命令数
コミット数
3,000,000,000
2,000,000,000
1,000,000,000
rt
18
3.e
qu
ak
e
17
9.a
25
6.b
zip
2
17
7.m
es
a
se
r
19
7.p
ar
2004/09/08
17
6.g
cc
pr
17
5.v
16
4.g
zip
0
24
全ミス数に占めるTS命令（L2ミス）の割合
100%
全
ミ 80%
ス
数
に
占 60%
め
る
40%
命
令
の
割 20%
合
TS
TS_8
TS_16
TS_32
TS_64
ak
e
18
3.e
qu
rt
17
9.a
17
7.m
es
a
25
6.b
zip
2
19
7.p
ar
se
r
2004/09/08
17
6.g
cc
pr
17
5.v
16
4.g
zip
0%
25
18
3.e
qu
ak
e
rt
17
9.a
17
7.m
es
a
25
6.b
zip
2
0.08%
0.08%
0.08%
0.08%
19
7.p
ar
se
r
15%
3.90%
3.90%
3.90%
3.89%
17
6.g
cc
10.81%
pr
30%
TS
17
5.v
17.67%
16.74%
14.13%
14.00%
11.93%
TS_8
TS_16
TS_32
TS_64
19.57%
18.70%
17.20%
15.65%
20%
26
2004/09/08
2.56%
1.96%
1.29%
1.21%
0.07%
0.07%
0.06%
0.06%
1.49%
1.49%
1.47%
1.47%
5%
25.32%
22.66%
25%
10%
0%
命
令
削
除
に
よ
る
実
行
サ
イ
ク
ル
数
削
減
率
16
4.g
zip
TS命令削除による実行サイクル数の削減の割合