Transcript パワポ資料：cache
記憶の階層とキャッシュ 天野英晴 記憶システム 膨大な容量を持ち、アクセス時間（読み出し、書き込み） が短いメモリが欲しい！ しかし 容量の大きい（ビット単価が安い）メモリは遅い 高速なメモリは容量が小さい お金にモノを言わせて高速なメモリをたくさん揃えても大容量化の段 階で遅くなってしまう そこでアクセスの局所性(Locality)を利用 時間的局所性(Temporal Locality) 一度アクセスされたアドレスは近いうちにまたアクセスされる 空間的局所性(Special Locality) 一度アクセスされたアドレスに近い場所がまたアクセスされる CPU 記憶の階層 高速小容量の CPUの近くに置き よく使うデータを入れておく L1キャッシュ ソフトウェアから は透過 （トランスペアレント） チップ内メモリ ～64KB 1-2clock L2キャッシュ ～256KB 3-10clock L3キャッシュ SRAM 2M～4MB 10-20clock そこになければより遅い 大容量メモリに取りに行く 主記憶 DRAM OSが管理 4～16GB 50-100clock 補助記憶 （2次記憶） μ-msecオーダー 数百GB 半導体メモリの分類 RAM （RWM)： 揮発性メモリ 電源を切ると内容が消滅 SRAM(Static RAM) DRAM(Dynamic RAM) ROM(Read Only Memory)：不揮発性メモリ 電源を切っても内容が保持 Mask ROM 書き換え不能 PROM(Programmable ROM) プログラム可 One Time PROM 一回のみ書き込める Erasable PROM 消去、再書き込み可能 UV EPROM （紫外線消去型） EEPROM （電気的消去可能型） フラッシュメモリ 容量 深さ×幅 右の表に幅を掛 ければ全体の 容量が出る 省略した言い方 でも十分（端数 を覚えている人 は少ない） アドレス 本数 ８ 10 12 16 18 20 24 28 容量 省略した言 い方 ２５６ 1024 4096 65536 ２５６ 1K 4K 64K 256K 1M 16M 256M 30 32 1073741824 262144 1048576 16777216 26835456 4204067296 1G 4G SRAM (Static RAM) 非同期式SRAM 古典的なＳＲＡＭ クロックを用いない 現在も低電力SRAMシリーズなどで用いられる 連続転送機能を強化したSSRAM (Synchronous SRAM）が登場、高速大容量転送に用いられる 8Mbit/Chip-６４Mbit/Chip程度 TSOP (Thin Small Outline Package)やBGA(Ball Grid Array)を利用 DRAM（Dynamic RAM) 記憶はコンデンサ内の電荷によって行う リフレッシュ、プリチャージが必要 ２５６Mbit/Chipの大容量 連続転送は高速 SDRAM（Synchronous DRAM）の普及 DDR-SDRAMの登場 DDR2 → DDR3 DDR4、HMC(Hｙｂrid Memory Cube)が準備中 DDR-SDRAMカードの例 下は１GBでやや小さい。今は４GB－８GBの カードが良く使われる SDR (Single Data Rate) ＳＤＲＡＭ：同期式ＤＲＡＭ １００ＭＨｚ－１３３ＭＨｚの高速クロックに同期し た読み・書きを行う CS,RAS,CAS,WEなどの制御線の組み合わせ でコマンドを構成 コマンドにより、同期式に読み、書き、リフレッ シュ等を制御 バンクの切り替えにより連続読み・書きが高速に 可能 SDR-ＳＤＲＡＭの読み出しタイミング CLK Command ACT Read Row Column Address Data0 Data1 Data2 Data3 DDR (Double Data Rate) ＳＤＲＡＭ：同期式ＤＲＡＭ SDR SDRAM同様の高速周波数（１００ＭＨｚ－ １３３ＭＨｚ）のクロックの両エッジで転送を行うこ とにより、倍のデータ転送レートを実現 差動クロックを利用 データストローブ信号によりタイミング調整 より豊富なコマンド DDR-ＳＤＲＡＭの読み出しタイミン グ CLK ～CLK Command ACT Read Row Column Address ＤＱＳ Data0Data1Data2Data3 DRAMのまとめ SRAMの4倍程度集積度が大 使い難いが、連続アクセスは高速 転送はますますパケット化する傾向にある SDR-SDRAM→ DDR-SDRAM→DDR2-SDRAM DDR2: 800Mbps (400MHz両エッヂ） 2Gbit /Chip DDR3: 1600Mbps (800MHz両エッヂ） 4Gbit /Chip パッケージ：FBGA(Fine pitch Ball Grid Array)の利用 SO-DIMM(Small outline Dual dual in-line memory module)の 形で供給される： 8GByte/DIMM 現在PC用にはDDR3が標準となる DDR-4が準備中 制御は複雑、高速なため取り扱いもたいへん → IP( Intellectual Property)の利用が進む プリフェッチ機能→ 連続転送可能 １．５V電源、電気的特性の改善 フラッシュメモリ EEPROM型の発展：小型化のために選択ゲートを用いず、ブロック 単位で消去を行う. NOR型、NAND型、DINOR型、AND型等様々な構成法がある. オンチップ用：高速消去可能NOR型 1Gbit程度まで 単独読み出しが可能、消去が高速 ファイルストレージ用：大容量のNAND型 1Gbit- 128Gbit/チップ 連続読み出し、消去はミリ秒オーダー掛かる SDメモリカード・SDHCメモリカードなど、8GB-32GBが使われる 書き換え回数に制限がある ストレージシステム：ディスク装置 トラック：同心円状のアクセスの単位 １万-５万ある シリンダ：ヘッドの下にある すべてのトラックのこと ヘッド セクタ：512B程度に分割したアクセスの単位 100-500 セクタ番号、誤り訂正符号付きのデータを含む 磁性体の塗布された円板に データを格納 可動式のヘッドを使って読み書き 不揮発性 容量と動作速度 2.5インチー3.5インチ ヘッド数：2-4 容量： １００GB-1TB 平均ディスクアクセス時間＝ 平均シーク時間（ヘッドを動かす時間）＋ 平均回転待ち時間＋転送時間→数msec インタフェース ATA(Advanced Technology Attachment) SCSI(Small Computer Systems Interface) ディスク内にマイクロプロセッサを装備し、アクセス時間 を最適化 ディスクキャッシュの利用 キャッシュ 頻繁にアクセスされるデータを入れておく小規模高速なメモリ CacheであってCashではないので注意 元々はコンピュータの主記憶に対するものだが、IT装置の色々なとこ ろに使われるようになった ディスクキャッシュ、ページキャッシュ..etc.. 当たる(ヒット）、はずれる（ミスヒット） ミスヒットしたら、下のメモリ階層から取ってきて入れ替える(リプレイ ス） マッピング（割り付け） 主記憶とキャッシュのアドレスを高速に対応付ける Direct map ⇔ Full associative cache 書き込みポリシー ライトスルー、ライトバック リプレイス（追い出し）ポリシー LRU (Least Recently Used) アドレスマッピング（割り付け） ワード単位に割り付けるのは効率が悪い 一定の連続アドレスのブロック（ライン）を管理単位と する ブロックサイズは8byte-128byte程度 ここでは8word(16byte)を使う やや小さい 順番に割り付けていって１周したら、元に戻る キャッシュのブロック数（セット数）が2のn乗、ブロック サイズが2のm乗とすると、、、 残り n タグ （キー) インデックス m ブロック内アドレス 0000000000 … 0000000111 0000010000 … 0000010111 0000001000 … 0000001111 0000100000 … 0000100111 0000011000 … 0000011111 0000110000 … 0000110111 0000101000 … 0000101111 0001000000 … 0001000111 0000111000 … 0000111111 0001010000 … 0001010111 0001001000 … 0001001111 1111111000 … 1111111111 1111110000 … 1111110111 … Direct Map のアドレス 割り付け 主記憶：1024ワード 000 001 010 011 100 101 110 111 Index ブロックサイズ：8ワード Tag 0000101000 キャッシュ：64ワード ブロック内 … （Key) =8ブロック 0000101111 アドレス Direct Map From CPU 0011010 0011 010 100 … … Main Memory (1KB=128Lines) 010 Yes：Hit = Data 010 0011 Cache (64B=8Lines) Cache Directory (Tag Memory) 8 entries X (4bit ) ディレクトリは小さくて済む Direct Map (Conflict Miss) From CPU 0000010 0000 010 100 … … Main Memory 010 No: Miss Hit = 010 0011 0000 Cache Cache Directory (Tag Memory) 010を共通するキャッシュラインは Conflict Missを起こす 0000000000 … 0000000111 0000010000 … 0000010111 0000001000 … 0000001111 0000100000 … 0000100111 0000011000 … 0000011111 0000110000 … 0000110111 0000101000 … 0000101111 0001000000 … 0001000111 0000111000 … 0000111111 0001010000 … 0001010111 0001001000 … 0001001111 1111111000 … 1111111111 1111110000 … 1111110111 … 2-way set associative のアドレス 割り付け 00 01 Tag （Key) 10 11 Index 0000101000 … 0000101111 キャッシュ内 アドレス 2-way set associative Map From CPU 0011010 00110 10 100 … … Main Memory (1KB=128Lines) Yes: Hit = Data 10 00110 Cache (64B=8Lines) 10 No = 00000 Cache Directory (Tag Memory) 4 entries X 5bit X 2 2-way set associative Map From CPU 0000010 00000 10 100 0011010 … … Main Memory (1KB=128Lines) No = 10 00110 Cache (64B=8Lines) 10 Yes: Hit = 00000 Cache Directory (Tag Memory) 4 entries X 5bit X 2 Data Conflict Missが減る 4-way set associative Map From CPU 0000010 001101 0 100 0 001101 0011010 … … Main Memory (1KB=128Lines) = = Ｄａｔａ = Cache Directory (Tag Memory) 2 entries X 6bit X 4 000000 = Cache (64B=8Lines) 8-way set associative Map → Full Map 0000010 From CPU 0011010 … … 100 0011010 0011010 Main Memory (1KB=128Lines) = = = Ｄａｔａ = = = Cache Directory (Tag Memory) 7bit X 8 0000001 = = Cache (64B=8Lines) タグメモリの設計法 キャッシュ内に何ブロック入るかを計算する。 ２のn乗である時 インデックスはnbitとなる メモリ内に何ブロック入るかを計算する。 ２のh乗である時 タグはh-n=mbitとなる ダイレクトマップでは幅m,深さ2のn乗のタグメモリが必要 2-way set associativeは、インデックスが1bit減り深さが半 分となり、タグが1bitを増える。しかしこれがダブルで必要 way数が倍になる度にインデックスが1bit減り、深さが半 分になり、タグが1bit増え、タグ自体が倍になる。 書き込みポリシー Write Through 書き込み時に主記憶にもデータを書く Direct Write:ミス時は主記憶だけに書く Fetch-on-write:ミス時はリプレイスしてから書く 主記憶に合わせると性能ががた落ち（Verilogの設計はそうなっ ている）だが、Write bufferがあれば性能がさほど落ちることは ない Write Back 書き込みはキャッシュのみ キャッシュと主記憶が一致：Clean、違う：Dirty Dirtyなキャッシュブロックは書き戻し（Write Back)をしてからリ プレイス Write Through （Hit） 0011010 … From CPU … Main Memory (1KB=128Lines) 0011 010 100 主記憶も同時に更新 0011 Hit Cache (64B=8Lines) Cache Directory (Tag Memory) 8 entries X (4bit ) Write Data Write Through （Miss：Direct Write） 0000010 0011010 … … From CPU Main Memory (1KB=128Lines) 0000 010 100 主記憶のみ更新 0011 Miss Cache (64B=8Lines) Cache Directory (Tag Memory) 8 entries X (4bit ) Write Data Write Through （Miss：Fetch on Write） 0000010 0011010 … From CPU … Main Memory (1KB=128Lines) 0000 010 100 0011 0000 Miss Cache (64B=8Lines) Cache Directory (Tag Memory) 8 entries X (4bit ) Write Data Write Back （Hit） 0011010 … … From CPU Main Memory (1KB=128Lines) 0011 010 100 Dirty 0011 1 Hit Cache (64B=8Lines) Cache Directory (Tag Memory) 8 entries X (4bit+1bit ) Write Data Write Back （Replace） 0000010 0011010 … … From CPU Write Back 0000 010 100 Main Memory (1KB=128Lines) Dirty 0011 10 0000 Miss Cache (64B=8Lines) Cache Directory (Tag Memory) 8 entries X (4bit+1bit ) ライトスルーとライトバック 「ライトスルーは主記憶を待たなければならないので非 効率」というのは嘘 ちゃんとライトバッファを装備すれば性能的に悪くはならない しかし、シングルライトが必要→DRAMに合わない 常にデータの一致が取れるのがメリット、観測性が高い、I/Oで 有利 ライトバック 常にデータ転送がブロック単位→DRAM、高速バスに適合 バスの利用率が下がる→マルチコアに適合 大体世の中はライトバックになりつつある リプレイスポリシー リプレイスの際、どのWayを選ぶか？ LRU (Least Recently Used) Direct map以外のキャッシュで問題になる 最近もっとも使っていないwayを選ぶ 2-wayならば簡単→ Verilog記述参照 4-way以上は結構面倒→ 擬似的なLRUでも大体 OK 他にランダム、FIFOなどが考えられるが実際上 あまり用いられない キャッシュの性能 キャッシュオーバーヘッド付きCPI(Clock cycles Per Instruction)＝ 理想のCPI + 命令キャッシュのミス率×ミスペナルティ ＋ データキャッシュの読み出しミス率×読み出し命令の生起確率×ミス ペナルティ この式の問題点 ミスペナルティは書き戻しを伴うかどうかで違ってくる（Write Back) ライトバッファの容量、連続書き込み回数によっては書き込みミスでも ストールする 書き込み直後に読み出しをするとキャッシュが対応できないでペナル ティが増えることもある→ノンブロッキングキャッシュ 実際は階層化されているのでそれぞれの階層を考えないといけない プロセッサがOut-of-order実行可能ならば読み出し時にストールしな いかもしれない（この話は後ほど、、、） ちゃんと評価するにはシミュレータを使うしかない、、、、 ミスの原因：３つのC Capacity Miss：容量ミス Conflict Miss:衝突ミス 絶対的な容量不足により起きる 容量に余裕があっても、indexが衝突することで、格納 することができなくなる Compulsory Miss (Cold Start Miss) 初期化ミス スタート時、プロセス切り替え時に最初にキャッシュに ブロックを持ってくるためのミス。避けることができない キャッシュサイズと それぞれもミスの 割合 Hennessy & Patterson Computer Architectureより ミス率を減らす 容量を増やす 〇容量ミスはもちろん減る。衝突ミスも減る。 ×コストが大きくなる。ヒット時間が増える。チップ（ボード）に載らない Way数を増やす 〇衝突ミスが減る キャッシュ容量が小さいと効果的、2Wayは、2倍の大きさのDirect Mapと同じ 位のミス率になる キャッシュ容量が大きい場合、残った不運な衝突ミスを減らす効果がある ×コストが大きくなる。ヒット時間が増える。4以上はあまり効果がない。 ブロックサイズを大きくする 〇局所性によりミスが減る。 ×ミスペナルテイが増える。（ブロックサイズに比例はしないが、、） キャッシュ容量が小さいと衝突ミスが増える 容量に応じて適切なブロックサイズを選ぶ。32byte-128byte ブロックサイズと ミスの割合 Hennessy & Patterson Computer Architectureより ブロックサイズと 平均アクセス時間 Hennessy & Patterson Computer Architectureより ミスペナルティを減らす 階層キャッシュ ノンブロッキングキャッシュ CPU－Memory間に複数のキャッシュを設ける ミス処理の間にも次のアクセスを受け付ける Critical Word FirstとEarly Restart CPUに対して可能な限り早くアクセスされたデータ （命令）を渡す CPU マルチレベル キャッシュ CPUに近い 方からL1,L2.. と番号を付ける L2・L3キャッシュの 局所ミス率は L1キャッシュより 高い L1キャッシュ L2キャッシュ L3キャッシュ 主記憶 ～64KB 1-2clock ～256KB 3-10clock 2M～4MB 10-20clock 4～16GB 50-100clock マルチレベルキャッシュの制御 Multi-level Inclusion 上位階層のキャッシュが下位階層の内容を全て含む 階層間のやり取りは、キャッシューメモリ間と同じ メモリシステム中にデータの重複が数多く存在 Multi-level Exclusion 上位階層のキャッシュと下位階層のキャッシュの内容 が重なることはない 階層間のやり取りは、リプレースというよりはスワップ ノンブロッキングキャッシュ キャッシュが動作中にも次のアクセスを受け付 ける キャッシュの操作をパイプライン化する メモリアクセスを強化しないとノンブロッキングキャッ シュにはできない 実際はミス中のヒットを1回許せば大体OK CPUがアウトオブオーダ実行可能でないと効果 が小さい→来年 Critical Word FirstとEarly Restart CPU キャッシュに転送する前に CPUにワードを渡す （Early Restart) キャッシュ 主記憶 アクセスした ワードを先に 送る （Critical Word Firsｔ） プリフェッチ アクセスする前にキャッシュに取って来る (問題点) 使うかどうか分からないデータ（命令）のために他の ラインを追い出していいのか？？ →プリフェッチバッファを使う場合が多い 本当にアクセスされたらキャッシュに入れる ハードウェアプリフェッチ 命令キャッシュで用いる。一つ（二つ）先のブロックまで取って来 る 命令キャッシュは局所性が高いので効果的 ソフトウェアプリフェッチ プリフェッチ命令を使う：データキャッシュ コンパイラが挿入 命令実行のオーバーヘッドを伴う コンパイラによる最適化 ループ構造の最適化 ループの入れ子を入れ替える for(j=0; j<100; j=j+1) for(i=0; i<5000; i=i+1) x[i][j] = a * x[i][j]; ループをくっつける ブロック化 for(i=0; i<5000; i=i+1) for(j=0; j<100; j=j+1) x[i][j] = a * x[i][j]; キャッシュにうまく入るようにデータ構造を変更する 科学技術計算には効果的 仮想記憶（Virtual Memory) プロセッサから見たアドレス（論理アドレス）と実際のメモリ上のアドレ ス（物理アドレス）を分離する 実メモリよりも大きいメモリを扱うことができる 複数のプロセスを互いのアドレスを気にせずに並行実行可能 管理単位で記憶の保護 ページ：固定サイズ(4K-16KB) vs. セグメント：可変サイズ→ページ を用いる場合が多い 概念はキャッシュに似ているがOSが管理、用語も違う ブロック(ライン)：32-128B ⇔ ページ:4KB リプレイス スワップイン ライトバック ⇔ スワップアウト ページの割り付けはOSが管理 リプレイスはLRU(Least Recently Used) 書き込み制御は当然ライトバック 仮想記憶のアドレス変換 論理アドレス空間（４GB) ページ番号 20bit ページ内 アドレス 12bit 物理アドレス空間（16MB) TLB 12bit 12bit 20bit→12bitの変換テーブルは巨大 ソフトウェアで管理 TLB(Translation Lookaside Buffer)はこの変換テーブルに 対するキャッシュ TLB(Translation Lookaside Buffer) 論理アドレス ページ番号 ページ内アドレス 00110101011100000010 001011001100 Dirty bit Priority bit = = 00110101011100000010 = 111011001110 = = = = 物理アドレス = 111011001110 001011001100 ページフォルト（Page Fault)の発生 3年のコンピュータアーキテクチャ、OSの授業で 学ぶ例外処理の一つ TLBミス ヒットしたがDirty bitが0のページに書き込みを 行った ページ自体は主記憶中に存在→TLBの入れ替え ページ自体が主記憶中にない→スワップイン＋TLB の入れ替え Dirty bitのセット ヒットしたが特権命令でないのに特権ページを 扱った いずれのケースもOSで処理する TLB変換時間の短縮 仮想アドレスキャッシュ キャッシュは仮想アドレスで参照する プロセスによってアドレスがダブる問題（シノニム問題）の解決 が難しい 仮想アドレスインデックス-物理アドレスタグ方式 (Virtually indexed, Physically Tagged) 変換を行わないページ内アドレスをキャッシュのインデックスに 使う タグ参照、キャッシュ参照、TLB変換が同時に可能 Direct Mapだとキャッシュサイズが4KBに制限される 2 way だと8K、4 wayだと16K、8 wayだと32K １次キャッシュだけの話なので、多少小さくてもいいか。。。。 仮想アドレスインデックス・物理アドレス タグ方式 ページ番号 20bit ページ内アドレス(12bit) index Tag Mem. TLB 12bit Tag キャッシュ = Hit CPUへ 演習1 0x00番地からサイズ8の配列A[i]が、0x40番地から同じ くサイズ8の配列B[i]が割り付けられている。 enshu.asmは以下を計算するプログラムである int i,dsum; dsum =0; for(i=0; i<8;i++) dsum += B[i]-A[i]; これをダイレクトマップのキャッシュ（direct)で実行したとき と２ウェイセットアソシアティブ（2way)で実行したときで、 両者のミスの回数と、演算結果が出るまでのクロック数 （pcがｃ番地になったら終了と考えよう）をシミュレーショ ンして求めよ。 演習2 64kワードの主記憶に対して4kワードのキャッ シュを設ける ブロックサイズは16ワードとする ダイレクトマップ、2way set associative、4way set associativeキャッシュのタグメモリ構成をそ れぞれ示せ ヒント：タグメモリの設計法のページを参照！ 演習３ あるキャッシュのブロックにマップされた互いに衝突するアドレ スA,Bに対して以下のアクセスを順に行う。 1. Aから読み出し 2. Bから読み出し 3. Aに書き込み 4. Aから読み出し 5. Bに書き込み 6. Aから読み出し 7. Aに書き込み ダイレクトライト型のライトスルーキャッシュ、ライトバックキャッシュについ て、それぞれのアクセスがミスするかヒットするかを示せ。また、各アクセ スによってメモリに対してどのような操作（リプレイスR、ライトバックWB、ラ イトスルーの書き込みWTH）が必要か？ライトバックについてはブロックは C、Dのうちどちらの状態になるか？