Transcript 西原功修
阪大レーザー研の実験データ処理システム と EUV光源開発のための連携シミュレーションGRIDポータル 大阪大学レーザーエネルギー学研究センター 西原 功修 実験データベースサーバー デイリースケジュールと 計測画像データの流れ PW PC 生データ 格納領域 X線ピンホールカメラ X線半影カメラ GXII PC X線分光器 HTMLファイルから PWショットNo,時刻 等を抜き出し、 その日のショット順番 を付加してテキスト ファイルに書き出す 飛行時間分解型 多チャンネル 中性子スペクト ロメーター （マンダラ） HTMLファイル www-local レーザー エネルギー t050527b ショット データ Oracle 10g Oracle Application ServerDSFILE.CSV X線画像計測 ファイル変換プログラム (C言語+シェル)を cronで自動実行 イメージングプレート 粒子トラックディテクタ（CR-39） 電子スペクトロメーター デジタルオシロ チャージコレクター vista sora X線フレーミングカメラ レーザーデータ LFEX PC X線時間分解計測 X線ストリークカメラ 粒子計測 画像データ(GIF) 格納領域 中性子計測 自動転送 Agカウンター他 放射化計測 image.fp ７ sido デイリー スケジュール サーバー TEXTファイル lfex_shot.csv TEXTファイル pw_shot.txt LFEXshotdata PWshotdata 自動取り込み 主幹ノート_FB-01.fp７ TEXTファイル FB03_nfs リレーション （画像） shotdata FileMaker Server Advanced 7 リレーション （テキスト） phc.fp７ xfc.fp７ xsc.fp７ XML ds.fp７ カスタムweb公開 Webブラウザで表示 インスタントweb公開 インスタントweb公開 Webブラウザからショット予定入力 Webブラウザからテキストデータ入力 共有から開く クライアントPC 計測主幹用 PC FileMakPro 7 テキストデータ入力 デイリースケジュール入力画面 認証ウィンドウ インスタントWeb公開TOPページ IT利用シミュレーション研究 1. レーザーEUV光源開発のための 連携シミュレーションGRIDポータルシステム 2. GRIDを用いた大規模分子動力学シミュレーション 大阪大学レーザーエネルギー学研究センター 西原 功修，Vasilii V. Zhakhovskii, 福田 優子 レーザー技術総合研究所 砂原 敦, 古河 裕之 日本原子力研究開発機構・関西光科学研究所 佐々木 明 岡山大学大学院自然科学研究科 西川 亘 大阪大学サイバーメディアセンター 下條 真司 レーザーEUV光源開発のための 連携シミュレーションGRIDポータルシステム 半導体リソグラフィー露光波長と加工寸法 （≤45nmの細線：波長13.5nm） スズ プラズマ 発光 10 kHz (after Fujioka et al) コンタクト露光 2000 1:1プロジェクション 1000 700 低 ULSIの微細化トレンド Ｘ ０.７/３年 NA g線 500 300 70 50 i線 KrF 高N A弱 200 100 縮小投影露光 い超 解 高NA縮小投影光学系 （屈折光学系）での 実用的な解像限界 R～１/２λ 低NA縮小投影光学系 （反射光学系）での 実用的な解像限界 R～２λ 30 20 ArF F2 像 強い 超解 像 反射率 (%) 集積回路の最小加工寸法、露光波長 （ｎｍ） 3000 EUV 13 nm 波長 10 1970 1980 1990 年代（西暦） 2000 2010 現在90nm細線加工，1年以内に60nm実用化 (nm) 背景 1 研究の目的： レーザーからEUV光への変換効率の最適化 研究目的 (リーディングプロジェクト（文科省）’03 –’07 EUVA(経産省）） ＥＵＶ光源プラズマの物理を解明し，実用化への指針を与える． 高効率ＥＵＶ光発生に必要な条件を明確にする． EUV光源出力 ≥ 350 W / 2πsr (波長13.5nm, 2%バンド幅 ）：実用機の要求条件 レーザー照射強度 (W/cm2) レーザープラズマシミュレーション： 変換効率の ・ レーザー強度依存性 (電子温度Te最適化） ・ レーザーパルス幅依存性 （放射のオパシティ・プラズマサイズ最適化） ・ レーザー波長依存性 （密度ni最適化） ・ ターゲット初期密度依存性 （密度ni最適化） 10 12 EUV変換効率 mm2sr Etendue = 1 (光源サイズ = 700µm) 4% 11 2% 10 4% 10 EUV spectrum (Nishimura et al) 2% レーザーパルス 1.7 J 0.86 J 10 Sn+8 - Sn+12 (4d-4f) Transition １０数万本の発光線 Etendue = 3.3 mm2sr (光源サイズ = 1300µm) 10 9 1 10 レーザーパルス幅 100 (ns) 背景 2 IT利用： GRIDを用いた連携シミュレーション ・ 異なる研究機関で並行して複数のプログラムを開発 ・ 各プログラムは連携して動作 ・ ２-3年の短期間 原子モデル （原研，北里大，奈良女，岡大） 4f 4d 4p Sn15+He charge transfer spectroscopy (Tanuma) Sn14+He Sn13+He Sn12+He Sn11+He Sn10+He Sn9+He Sn8+He Sn7+He Sn6+He Sn15+Xe Sn14+Xe Sn13+Xe Sn12+Xe Sn11+Xe Sn10+Xe Sn9+Xe Sn8+Xe Sn7+Xe Sn6+Xe Sn5+Xe 4f 4d 4p 2D 100 100μm 10 12 14 16 0 opacity tin 100 0 (Nishimura,Sasaki ) 10 configuration interaction イオン密度ni 波動関数の重なり 200 23 (raw) Experiment Experiment (smooth) Simulation (Te = 20.9 eV) Simulation (Te = 31.0 eV) Simulation (Te = 40.3 eV) 1.2 18 300 (μm 60 1.0 50 22 10 電子温度Te 0.8 40 0.6 21 光学的に希薄な 場合の放射能率 （emissivity) 10 0.4 20 0.2 plasma 8 プラズマダイナミックス （阪大，レーザー総研） Laser (cm-3) Transmission 8 200 10 12 14 16 wavelength (nm) 状態方程式 （核科研，レーザー総研） 18 liquid gas 10 0.0 8 9 10 11 12 13 14 Wavelength (nm ) 15 16 17 19 吸収を考慮した 実効放射能率 20 19 10 wavelength (nm) 10 solid 18 10 liquid-vapor 18 30 0 0 放射輸送 10 20 30 40 50 Position (m) （阪大，レーザー総研） GRIDシステム １ ・ ・ ・ ・ ・ 連携シミュレーションGRIDの設計指針 各サイトのWEBポータル上で実行 並行して各サイトでプログラムを開発 各サイトの計算資源を用いた連携シミュレーション実行 ナビゲーション機能つきワークフローで実行 データベース構築 ☆ﾜｰｸﾌﾛｰ候補を一覧表示 Ｗｅｂ Ｃｌｉｅｎｔ ワークフロー一覧 ・AP1→AP2→Ap3→AP4 ・AP2→Ap3→AP4 ・Ap3→AP4 PSEｻｰﾊﾞｰ ワークフロージョブ一覧 順 AP名 入力File 出力File・・・ 1 AP1 FileA FileB 2 AP2 FileB FileC 3 AP3 FileC FileD ・ ・ ・ ☆APの入出力ﾃﾞｰﾀをセットアップ APｾｯﾄｱｯﾌﾟ AP名：AP1 入力ﾌｧｲﾙ指定 出力ﾌｧｲﾙ指定 ・ ・ ⑤ 計算ノードA ①ﾜｰｸﾌﾛｰ 候補表示 ・ ・ ・ ☆ﾜｰｸﾌﾛｰ内のｼﾞｮﾌﾞを一覧表示 ワークフロー 実行イメージ WEBブラウザ ②ﾜｰｸﾌﾛｰ選択指定 ④ﾜｰｸﾌﾛｰ 投入 ③各ｼﾞｮﾌﾞ（計算AP）の 入出力情報をｾｯﾄｱｯﾌﾟ ワークフロー 定義DB （イメージ） ワ ー ク フ ロ ー エ ン ジ ン 計算前 AP1起動 計算処理 AP1 ⑥ ⑦ 処理AP 計算ノードB AP2起動 計算処理 AP2 計算後 ⑧ 処理AP ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ GRIDシステム 2 ワークフローシステム機能の概要 ・ ・ ・ ・ ・ 一覧表示・詳細表示 （検索機能） オンライン編集 （新規，変更，削除） ナビゲーション機能 実行監視 データベース構築 ワークフロー作成・操作画面を表示します． 実行状況表示画面 登録されている，シミュレーション結果のファイルの参照，更新を行いま （６つのプログラムの す． 前回設定したワークフロー 連携シミュレーション） シミュレーション結果，入力ファイルのデータベースへのアップ 検索条件で絞りこまれたワ ークフロー一覧を表示 実行中 ナビゲーション 機能を用いた ワークフロー作成 連携ジョブ 岡山大学 ロード 画面を呼び出します． 阪大・総研 終了待ち 原研 前回の検索条件 入力ファイ ル転送中 検索条件にマッチした一覧を表示します． GRID実証 ナビゲーション機能付きワークフローによって 連携シミュレーションを実行 原子コード， 状態方程式コード 放射 - ハイドロコード EUV放射特性を計算するプログラム 岡山大 (西川） EUV放射特性を計算 するプログラム 詳細な原子構造を 計算するプログラム 原研 (佐々木） 阪大・総研 (古河） 高温度・高密度プラズマの 状態を計算するプログラム 阪大・総研 (砂原） 阪大 (西原・前原） レーザー生成EUV光源プラズマの ダイナミックスを計算するプログラム EUV放射光のスペクトルを 計算するプログラム 日刊工業新聞（朝刊）平成17年6月3日 連携シミュレーション GRIDのパワー 1 シミュレーションの検証： 実験結果の再現 （EUVスペクトル，電子密度プロファイル, 最適レーザー強度など） 実験スペクトル EUV intensity (a.u.) 8.8x1010 W/cm2 3.0x1011 W/cm2 9.0x1011 W/cm2 0 Conversion Efficiency [%] 変換効率のレーザー強度依存性 Sn シミュレーションによる実験EUVスペクトルの再現 2Dシミュレーションによる 実験による検証 （レーザー強度依存性） 実験電子密度プロファイルの再現 4 シミュレーション結果 1D Sim. 2D Sim. with 1D cond. 2D Sim. 1x1011 W/cm2 3 theory 2x1011 W/cm2 2 1 1x1012 W/cm2 from high density 0200 10 15 2011 10 5 Wavelength (nm) 10 Wavelength (nm) 10 5 10 15 12 2 laser intensity [W/cm ] 10 (世界最高値：実用化に必要なEUV出力(>850W)が可能であることを実証） EUV連携シミュレーションGRIDのパワー： シミュレーションにより最適化条件を解明 連携シミュレーション GRIDのパワー 2 実用化に向けた多くの指針を提供 ・ 最適レーザー波長 ・ 最適レーザー強度･パルス幅 ・ 最適ターゲット物質 経産省プロジェクトへのフィードバック 変換効率のレーザーパルス幅依存性 2 ~ 3 ns 1.2 ns 2.0 1.0 1.5 0.8 0.6 1.0 0.4 8 ~ 10 ns 10 ns 0.5 0.2 0.0 0.0 1010 2 3 4 5 67 2 3 4 5 67 1011 Laser intensity (W/cm2) 1012 2 CE simulation (%) CE experiment (%) 1.2 electron temperature [eV] シミュレーションにより，レーザーからＥＵＶ光へ の変換効率の密度, 温度依存性 を明らかにし， レーザーの最適条件などを示した （実線：変換効率(%), 破線：レーザー強度(W/cm2) 2.5 1.4 ３年未満の短期間 に指針を提供 80 Sn 2ns 50 30 20 10 1017 1018 ion density [cm-3] 1019 1020 GRIDを用いた大規模分子動力学シミュレーション (Phase diagram of WDM) ln p i liquid a pcc T=0 liquid-vapor b pt V. Temnov PhD Thesis (2004) solid-vapour フェムト秒レーザー加熱 液相-気相混合状態の形成 t solid pressure gas i0 density フェムト秒レーザー加熱 弾性波，非弾性波，溶融などの形成 n 背景 GRIDを用いた大規模シミュレーションの可能性 背景 ・ Super-SINETで接続されたスーパーコンピュータが使用可能になった ・ NAREGIの使用が見込まれる ・ 計算機資源の有効利用 問題点 ・ 性能の異なる計算機が混在する ・ 他の不特定ユーザーと同時使用 ・ しかし，ジョブスケジューラが未発達 計算機の環境に応じて動的に分割領域を最適化するプログラムの開発 MP-D3 (Material Particle - Dynamic Domain Decomposition)手法の開発 Material Particle D3 (Dynamical Domain Decomposition) Method 1 M (i ) R(i) rk , M (i ) k 1 2D Voronoi decomposition Rk , Wk of simulation domain Rl , Wl where R(i) is a center of i-th MP, rk are atom positions W (i ) Ri , Wi t w (i ) , P (i )te (i ) Rj , Wj W(i) is a weighting factor within [0,1]. te - elapsed time (sys_clock), tw - processor dependent time, P(i) is a loading factor within [0,1] Good balance condition: W (i ) W ( j ) The displacement of the i-MP center can be evaluated as following: R (i ) N (i ) aL(i, j ) R (i,j ) W(i) W(j) R (i,j ) N (i ) j 1 where L(i,j) is a symmetrical function of i, j L(i, j ) min L(i), L(j) At next step (n+1) a new desired position here L(i) is a linear size of the i-MP R 0n 1 (i ) R n (i ) R(i ) Zhakhovskii & Nishihara CCGRID (2005) Ｇｒｉｄ大規模シミュレーションの実証 ダイナミック領域分割法のスケーラビリティ ７２０台のプロセッサーを用いて実証 (約３桁のスケーラビリティ） Normalized performance, p = N0 N0) / N) 103 80 CPU cluster, N0=2 5 720 CPU cluster, N0=19 3 linear function, p = N 2 102 5 3 2 10 1 5 3 2 2 3 5 101 102 Number of CPU, N 2 3 5 2 3 5 103 number of particles 2,551,472 22,961,888 Ｇｒｉｄ大規模シミュレーションの実証 Super-SINET上のスーパーコンピュータ上で実現 • GT2.4 を用いて，Super-SINETで接続されたスーパーコンピュータ上で ダイナミック領域分割法(LPD3)の有効性を実証 ・ NAREGI上でのテストを予定 Osaka U. SX5 8cpu Tohoku U. Sx7 7cpu 2004年11月 実ユーザー環境で実行 animation of collision of 2 solids by MPD3 method On SX5(Osaka) – SX7(Tohoku) connected with Super/SINET Ｇｒｉｄ大規模シミュレーションの実証 ダイナミック領域分割法(MPD3)の有効性実証 35 time, sec/ step (2) (1) 30 25 elapsedtime 20 15 waitingtime 10 CPUtime 5 0 0 1000 2000 3000 simulation step （１）占有使用時の実行時間 （右図２－３） （２）SX5上で他のユーザーが使用している 時の実行時間の時間経過 （LPD３により，SX5上の計算領域が 小さくなり，実行時間が改善される： waiting時間のほとんどは他のユーザー の計算時間実行である） １．SX5(阪大）, SX7(東北大）上での 入力した領域分割 ２－３．占有使用時の領域分割 ４．SX5上で他のユーザーが使用して いる時のダイナミック領域分割 （SX5上の各領域の大きさは， SX7に比べ小さい） IT利用シミュレーション研究 結論 ･ レーザーEUV光源開発のための連携シミュレーションGRIDポータルシステム - 複数の研究機関で並行してプログラムを開発 - 複数プログラムをネットワークを介して連携シミュレーションを行う Gridシステムを構築 - 開発期間を飛躍的に短縮 ・ 世界に先駆け，光源開発に不可欠なレーザーの最適条件を解明, 実用化に弾みがつくものと期待される ・ GRIDを用いた大規模分子動力学シミュレーション - ダイナミック領域分割法MPD3 (Material Particle Dynamic Domain Decomposition) を開発 - 不特定多数のユーザが同時に使用している遠隔地の複数のスーパー コンピュータを用いた大規模シミュレーションが可能, 非常に高いシステム利用効率を実現 - Super SINET上で有効性を実証 （NAREGI上でのテスト予定） ・ MD流体シミュレーションなどの大規模シミュレーションが可能， 計算資源の有効利用 謝辞 レーザー実験データ処理システム 島田京子，白神宏之，畦地宏 EUV連携シミュレーションGRIDポータル 日本原子力研究開発機構 平山俊雄，中島憲宏，山岸信寛 上島豊 NECシステムテクノロジー 山下晃弘，中島登美子，池田和之 Super – SINET上のスーパーコンピュータGRID 東北大学・情報シナジーセンター 曽根秀昭，小林広明，伊藤英一 大阪大学・サイバーメディアセンター 秋山豊和，加藤精一，宮永勢次 NEC 妹尾義樹，田村正典，加藤隆士 • データmpg2, 4でよいか