VMAX 40K, FAST VP, SRDF

Download Report

Transcript VMAX 40K, FAST VP, SRDF

VMwareクラウド環境向け
EMCインフラストラクチャ
EMC Symmetrix VMAX 40K、
EMC Symmetrix FAST VP、EMC SRDF、
VMware vSphere 5
EMCソリューション グループ
© Copyright 2012 EMC Corporation. All rights reserved.(不許複製・禁無断転載)
1
アジェンダ
 ソリューションとテクノロジの概要
 構成の詳細
 Unisphere for VMAXを使用したVMAX 40Kへのス
トレージの導入
 仮想化とアプリケーションのプロファイル
 検証とテスト
 まとめとソリューションのメリット
© Copyright 2012 EMC Corporation. All rights reserved.(不許複製・禁無断転載)
2
ソリューションとテクノロジ
の概要
© Copyright 2012 EMC Corporation. All rights reserved.(不許複製・禁無断転載)
3
ビジネス ケース
 あらゆるミッション クリティカルなアプ
リケーションとデータベースをサポート
 FAST VPとSRDFを使用したFAST
VP整合性により、本番サイトとリモー
ト サイトでのパフォーマンスを保証
 Unisphere for VMAXにより、スト
レージ リソースの管理に要する時間
を削減
 ROIの向上:統合階層型ストレージに
より、階層1、2、3のストレージ資産を
最大限利用
© Copyright 2012 EMC Corporation. All rights reserved.(不許複製・禁無断転載)
4
Symmetrix VMAX 40Kの紹介
新機能
 大容量、高性能、高速
– パフォーマンスと容量が以前の2倍に向上
 2.5インチSASドライブの新規サポート
– 標準24インチ キャビネットに400台のドライ
ブを収容可能
 システム ベイの分散
– スペースに余裕のないデータセンターでも柔
軟に拡張可能
© Copyright 2012 EMC Corporation. All rights reserved.(不許複製・禁無断転載)
5
強力な拡張性と統合
新機能
エンジン1
極めて高い
レベルの拡
張性
VIRTUAL
MATRIX
最大
8個のエンジン
ハイブリッド クラウド環境
の変革
© Copyright 2012 EMC Corporation. All rights reserved.(不許複製・禁無断転載)
6
ソリューション概要
 複数の重要なデータベース アプリケーションをVMwareプライ
ベート クラウド上に導入。このクラウドは、Enginuity 5876
コードを実行するVMAX 40Kアレイが実現し、EMC SRDFレプ
リケーションによるサイト保護を使用してFAST VPにより最適化
 処理が集中する顧客データベース環境をシミュレートし、階層1
アプリケーションにサービスを提供
オンライン トランザク
ション データベース
•Oracle Database 11g R2
•SAP ERP 6.0 EHP 4
•Microsoft SQL Server 2012
データ ウェアハウス
•Microsoft SQL Server 2012
© Copyright 2012 EMC Corporation. All rights reserved.(不許複製・禁無断転載)
7
ソリューションの概要(続き)
 EMC Unisphere for VMAXによる管理、監視、最
適化
– FAST VPの「ポリシーによる割り当て」機能を使用した、FAST VPの合
理化されたアレイ管理
– SRDF対応FAST VP(Enginuity 5876)が可能にするDRシナリオで
のパフォーマンスの保証。本番サイトと災害復旧サイトの両方でアプリ
ケーション ストレージを常時自動でチューニングすることにより実現
 VMware vSphere 5 Update 1による仮想化
© Copyright 2012 EMC Corporation. All rights reserved.(不許複製・禁無断転載)
8
ソリューションのアーキテクチャと設計
 各サイトに2つのESXiサー
バーを構成
 VMにOracle、SAP、SQL
Serverを導入
 SRDF/Sが保護するFAST VP
によりEMC VMAX 40Kスト
レージ アレイを最適化
 ホストとサイト間で8 Gbファイ
バー チャネルを稼働
 ホストとサイト間の1 Gb
Ethernetネットワーク接続
© Copyright 2012 EMC Corporation. All rights reserved.(不許複製・禁無断転載)
9
ソリューション ハードウェア
コンポーネント
個数
構成
ストレージ アレイ
2
以下を搭載したEMC Symmetrix VMAX 40Kファミリ
• 3個のエンジン
• 384 GBキャッシュ
• 200 GBフラッシュ ドライブ×32
• 600 GB 10K FCドライブ×126
• 450 GB 15K FCドライブ×64
• 2 TB 7.2K SATAドライブ×72
VMware ESXiサーバー
(本番仮想環境)
2
以下を搭載したESXiサーバー
• 10コアIntel Xeon E7 CPU(2.4 GHz)×8
• 1 TB RAM
• デュアル ポートBrocade 825 8 Gb FC HBA×2
VMware ESXiサーバー
(災害復旧仮想環境)
2
以下を搭載したESXiサーバー
• 10コアIntel Xeon E7 CPU(2.4 GHz)×4
• 128 GB RAM
• デュアル1 Gb NIC
• デュアル10 Gb CNA
FCスイッチ
2
Brocade DCX 4S 8Gb FC Director Classスイッチ
Ethernetスイッチ
2
1 Gb/s Ethernetスイッチ
© Copyright 2012 EMC Corporation. All rights reserved.(不許複製・禁無断転載)
10
ソリューション ソフトウェア
ソフトウェア
バージョン
EMC Symmetrix VMAX Enginuityコード
5876
EMC PowerPath
PowerPath/VE V5.7 for VMware
EMC Unisphere for VMAX
1.0
EMC Solutions Enabler
7.4
VMware vSphere
ESXi 5 Update 1
アプリケーション
SAP ERP 6 EHP 4
Oracle ASM Lib 2.0.5
Oracle Database 11gR2 11.2.0.3
SQL Server 2012 RTM
オペレーティング システム
Windows Server 2008 R2
SUSE Enterprise Linux 11
Red Hat Linux 5.7
ワークロード シミュレーション テスト ツール
SQL Server 2012: MSTPCE(OLTP)ツールキットおよびQuest BMF(DSS/DW)
Oracle: SwingBench 2.3
HP LoadRunner 9.52ビルド3188
© Copyright 2012 EMC Corporation. All rights reserved.(不許複製・禁無断転載)
11
主要なテクノロジ コンポーネント
 EMCのコンポーネント:
–
–
–
–
–
–
Enginuity 5876を使用するSymmetrix VMAX 40K
Unisphere for VMAX
SRDF(Symmetrix Remote Data Facility)
SRDF整合性を使用するSymmetrix FAST VP
PowerPath/VE
VSI(VMware Storage Integrator)
 アプリケーション
– Oracle Database 11g R2 Enterprise Edition
– Microsoft SQL Server 2012
– SAP ERP 6.0 EHP 4
© Copyright 2012 EMC Corporation. All rights reserved.(不許複製・禁無断転載)
12
Enginuity 5876オペレーティング環境を使用す
るSymmetrix VMAX 40Kアレイ
 シンプルでインテリジェントなモジュラー設計のハイエンドのエンタープライズ ストレー
ジ アレイ。システムをエントリ レベルの構成から世界最大のストレージ アレイにまで、
シームレスかつコスト パフォーマンスの高い方法で拡張可能
 2.5インチ フラッシュ、FC、SASドライブ搭載の新しい高密度構成オプション
–
–
同じ設置面積あたりのドライブ数を最大33%増加
ワットあたりのパフォーマンスを向上
 仮想プロビジョニングによる、無停止かつオン デマンドでのシン プロビジョニング
フラッシュ
 FAST VPによるサブLUNレベルでの自動ストレージ階層化
 FAST VP SRDF整合性による災害復旧サイトでのパフォーマンスの保証
FC
 階層1、2、3ストレージに対するROIを最大化する統合階層型ストレージ
 TimeFinder VP SNAPによる容量効率の高いスナップショット機能
SATA
 Unisphere for VMAXによる合理化された構成と管理
© Copyright 2012 EMC Corporation. All rights reserved.(不許複製・禁無断転載)
13
EMC仮想プロビジョニングの概要
 ストレージ使用率が向上
 ストレージ プロビジョニングの複雑さとオーバーヘッドを軽減
 処理を自動化してストレージを容易に拡張
ESXi 1
10 TB
ESXi 2 ESXi 3
10 TB 10 TB
4 TB
3 TB
3 TB
物理的な
割り当て
 事前に物理ストレージ全体を提供することなく、過剰にスト
レージをプロビジョニングして、アプリケーションの寿命を延長
 無停止かつオン デマンドで容量を追加
 パフォーマンス維持のための、シン プールの自動バランス再
調整
 Unisphere for VMAXによる合理化されたストレージ管理
共通
ストレージ プール
© Copyright 2012 EMC Corporation. All rights reserved.(不許複製・禁無断転載)
14
EMC Symmetrix FAST VP:概要
フラッシュ
FC
SATA
 仮想プロビジョニング シン プールのための自動ストレージ
階層化
 サブLUNレベルでの分析とデータ管理
– 単一のシン デバイスから複数のプールにデータを分散
– LUNの特にアクティブな部分を高性能のフラッシュ ドライブ
に配置
– LUNのあまりアクティブでない部分は、よりコスト パフォーマ
ンスに優れた大容量のFCまたはSATAドライブに配置
 エクステント グループ レベル(7,680 KB)でデータを移動
• ストレージ管理を大幅に合理化
• パフォーマンスを最適化
• ストレージ効率の向上
 ユーザー定義のポリシーとアプリケーション パフォーマン
スのニーズに基づいてデータを移動
 データの移動は自動的で無停止
FAST VPを使用したSymmetrix VMAX:適切なデータを適切な場所に適時に取得
© Copyright 2012 EMC Corporation. All rights reserved.(不許複製・禁無断転載)
15
Symmetrix FAST VP:コンポーネント
 ストレージ階層: 同じテクノロジ タ
イプ、ドライブの速度、RAID保護レ
ベルを備えたデバイスを含む1つ
以上の仮想プールのセット。
 ストレージ グループ: 管理を共通
化するストレージ デバイスの論理
グループ。
 FASTポリシー: 関連づけられた
ストレージ グループに適用される
階層使用ルールのセット
管理者は以下を設定可能:
ポリシーにより各階層の使用量上
限を割り当て、各階層に保存可能
なストレージ グループからのデー
タ量を指定。
© Copyright 2012 EMC Corporation. All rights reserved.(不許複製・禁無断転載)
• 高パフォーマンス ポリシー。重要なアプリケーショ
ンにフラッシュ ドライブの容量をより多く使用する。
• コスト最適化ポリシー。重要度が低いアプリケー
ションにSATAドライブの容量をより多く使用する。
16
FAST VPのSRDF整合性
 FAST VPが、本番サイトでデー
タ配置を継続的に監視し、調整
 1時間ごとに両方のサイトでパ
フォーマンス統計を取得し交換
 アクティブ サイトからのデータを
使用して、両方のサイトでデータ
配置を決定
FAST VPとSRDF整合性を使用したSymmetrix VMAX:
本番サイトとDRサイトの両方で、適切なデータを適切な場所に適時に取得
© Copyright 2012 EMC Corporation. All rights reserved.(不許複製・禁無断転載)
17
構成の詳細
© Copyright 2012 EMC Corporation. All rights reserved.(不許複製・禁無断転載)
18
ストレージ構成:仮想プール
シン プールの名前
ドライブのサイズ/
テクノロジ/RPM
RAID保護
ドライブ数
TDATサイズ
DATAデバイス数
(TDAT)
プール容量
FLASH_3RAID5
200 GBフラッシュ
RAID 5(3+1)
32
68.8 GB
64
4.2 TB
FC10K_RAID1
600 GB FC 10K
RAID 1
126
66 GB
504
32 TB
FC15K_RAID1
450 GB FC 15K
RAID 1
64
49.2 GB
256
12.2 TB
SATA_6RAID6
2TB SATA 7.2K
RAID 6(6+2)
72
240 GB
256
60 TB
© Copyright 2012 EMC Corporation. All rights reserved.(不許複製・禁無断転載)
19
アプリケーションによる仮想プールの使用
 SAP、Oracle、MS SQL
OLTPは共通のフラッシュ、FC、
SATAプールを共有
 MS SQL DSSアプリケーショ
ンは共通のSATAプールをす
べてのアプリケーションと共有
するが、別のFCプールとバイ
ンド
© Copyright 2012 EMC Corporation. All rights reserved.(不許複製・禁無断転載)
20
フロント エンド ポートの使用状況
 書き込み集中型アプリケーションを専用のフロント エンド ポートに隔離し、安
定したパフォーマンスを確保
 共通トラフィックは
共通ポートに
 PowerPath/VEは
ロード バランシングと
フェイルオーバーを
管理
© Copyright 2012 EMC Corporation. All rights reserved.(不許複製・禁無断転載)
21
FAST VPの構成
 FAST VPは有効または無効の
いずれかである
 データ移動は、自動として設定
する必要がある
 再配置レートにより、FASTの
積極性を制御する
 新機能「ポリシーによる割り当
て」により、シン プロビジョニン
グされた環境の容量管理を合
理化する
© Copyright 2012 EMC Corporation. All rights reserved.(不許複製・禁無断転載)
タイム ウィンドウ
タイム ウィンドウを作成して、パフォーマンス分析の
ためにデータを収集できるタイミングと、データ移動
が実行可能なタイミングを指定します。
FAST VPが最新の分析を使用してデータ配置を最
適化できるよう、ウィンドウは常にオープンにしておく
ことを推奨します。
22
FAST VPの構成
1. VPプールから
FAST VP階層を
作成
2. フラッシュ、FC、
SATAの割合を指
定して、ポリシー
を定義
3. アプリケーション
に適用
© Copyright 2012 EMC Corporation. All rights reserved.(不許複製・禁無断転載)
23
Tiers Demand Report
 容量管理を合理化
現在使用中のスト
レージ容量
階層ごとのFAST VP
SGからの最大の要求
[Excess(GB)]に、
各階層の残りのス
ペースを表示
• UnisphereのTier Demand Reportを使用して、階層の使用
状況と要求を監視
© Copyright 2012 EMC Corporation. All rights reserved.(不許複製・禁無断転載)
24
Unisphere for VMAX
を使用したVMAX 40Kへ
のストレージの導入
© Copyright 2012 EMC Corporation. All rights reserved.(不許複製・禁無断転載)
25
Unisphere for VMAXによる合理化されたスト
レージ プロビジョニング
• Unisphereの共通タスク ウィ
ザードが、新しいユーザーにホス
トに対するストレージ プロビジョ
ニングのプロセスを案内する。
• ユーザーはプロンプトに従って次
の手順に進むことができるため、
直観的な流れと学習プロセスが
生み出される。
© Copyright 2012 EMC Corporation. All rights reserved.(不許複製・禁無断転載)
26
カスケード ストレージ グループ
 5876の新機能により、単
一のマスキング ビューで
複数のストレージ グループ
をネスト可能
 仮想環境でFAST VP構成を合理化
 単一のマスキング ビュー内の複数のアプリケーションを、所属するスト
レージ グループとFASTポリシーで管理
 さらに容易となったアプリケーション レベルでのモニタリングと管理の合
理化
© Copyright 2012 EMC Corporation. All rights reserved.(不許複製・禁無断転載)
27
FAST VP整合性をストレージ グループで有効化
 この機能を有効にすると、FAST VPは、デバイス使用状況の統計をR1からR2に送信し、スタン
バイ/フェイルオーバー サイトのFASTエンジンが決定の根拠となる最新のメトリックを所有できる
ようにする。
 Unisphereのストレージ グループ管理で有効化
–
チェック ボックス Enable FAST VP RDF Coordination
 整合性はソースとターゲットVMAXの両方のストレージ グループで有効化が必要
© Copyright 2012 EMC Corporation. All rights reserved.(不許複製・禁無断転載)
28
仮想化とアプリケーション
のプロファイル
© Copyright 2012 EMC Corporation. All rights reserved.(不許複製・禁無断転載)
29
VMwareの構成
 キューの深さの変更により、vSphere ESXiサーバーに対す
るHBAキューイングを削減
– esxcli system module parameters set -p
bfa_lun_queue_depth=64 -m bfa
 仮想マシンのブートLUNを構成して、LSI SASアダプターを
使用
 VMware PVSCSI(準仮想SCSI)アダプターを使用して、高
パフォーマンスを得るようデータLUNを構成
vCenterの
スクリーン ショット
© Copyright 2012 EMC Corporation. All rights reserved.(不許複製・禁無断転載)
30
EMC Virtual Storage Integratorと
VMAX 40K
© Copyright 2012 EMC Corporation. All rights reserved.(不許複製・禁無断転載)
31
アプリケーションの構成
Oracle OLTP
MSSQL OLTP(TPC-Eと同様)
Oracle DBインスタンス×1、vCPU×12と53
GB RAMを搭載
SQLインスタンス×2、vCPU×16と
32 GB RAMを搭載
VMあたりのDB×1、2 TBの容量
VMあたりのDB×1、1 TBの容量
SwingBenchのエントリ ワークロードは400
ユーザー、60:40のR/W率
混在ワークロードでホット、ウォーム アプリケー
ションをシミュレート。85:15のR/W率
SAP OLTP
MSSQL OLAP(DSS、TPC-Hと同様)
SAP ERP 6 IDES EHP 4インスタンス×3、
vCPU×16と32 GB RAMを搭載
SQLインスタンス×1、vCPU×32と
128 GB RAMを搭載
Oracle DBインスタンス×1、845 GBの容量
VMあたりのDB×1、2 TBの容量
LoadRunner更新ユーザー×1000とローカ
ル クライアント コピーのシミュレーション 80:
20のR/W率
コンカレント ロード×2、100%読み取り
© Copyright 2012 EMC Corporation. All rights reserved.(不許複製・禁無断転載)
32
検証とテスト
•
•
•
•
アプリケーション パフォーマンスの検証
オンライン ポリシーの調整
SRDFの整合性
すばやく適用できるアプリケーション フェイルオー
バー
© Copyright 2012 EMC Corporation. All rights reserved.(不許複製・禁無断転載)
33
アプリケーション パフォーマンスの要約
 4つのミッション クリティカルな大量トランザクションのア
プリケーション。VMAX 40Kに導入したVMware
vSphere 5.0プライベート クラウドで稼働する混在
ワークロードを実行
–
–
–
–
SAP OLTP
SQL Server OLTPインスタンス×2
SQL Serverデータ ウェアハウス×1
Oracle OLTP
© Copyright 2012 EMC Corporation. All rights reserved.(不許複製・禁無断転載)
34
FAST VPポリシー
以下の表は、ベースラインとなる構成に対して設定したFAST VPポリ
シーの詳細です。
ストレージ グループ
FASTポリシー名
フラッシュ
FC
SATA
MSSQL1_OLTP
MSSQL_OLTP
5%
40%
100%
MSSQL2_OLTP
MSSQL_OLTP
5%
40%
100%
MSSQL_DSS
MSSQL_DSS
0%
100%
100%
Oracle
Oracle
15%
35%
50%
SAP
SAP
10%
80%
10%
 MSSQL1とMSSQL2アプリケーションの両方が同じFASTポリシーを共有
 ポリシーにより、1つのアプリケーションがフラッシュのリソースを独占しないようフラッ
シュ階層を制限
© Copyright 2012 EMC Corporation. All rights reserved.(不許複製・禁無断転載)
35
ビルドの検証:すべてのアプリケーションを実行
OLTPアプリ
ケーション
1分あたりのサーバー ト
ランザクション数
読み取りの平均レ
スポンス タイム
DSS/OLAPアプリケーション
MSSQL DSS
Oracle
97,846
平均スループット
808 MB/秒
5.5ミリ秒
MSSQL1
37,920
10ミリ秒
MSSQL 2
139,020
11ミリ秒
© Copyright 2012 EMC Corporation. All rights reserved.(不許複製・禁無断転載)
アプリケー
ション
SAP
1分あたりのサーバー ト
ランザクション数
平均ダイアログ レ
スポンス タイム
2894.8
929.93ミリ秒
36
FAST VPのSRDF整合性の検証
 SRDFの整合性
– ソースとターゲットでの
バランス
– 両方のサイトで、同様な
階層の使用状況
 太線はソース デバイス
 点線はターゲット デバ
イス
© Copyright 2012 EMC Corporation. All rights reserved.(不許複製・禁無断転載)
37
SRDF整合性(続き)
[root@solenabler1 ~]# symcfg list -tdev -range 426:426 -bound -detail -v -sid 542
Symmetrix ID: 000195700542
Enabled Capacity (Tracks) : 1826068704
Bound Capacity (Tracks) : 1048590
ソース アレイ
SYMMETRIX THIN DEVICES
---------------------------------------------------------------------Pool
Pool
Total
Bound
Flags
Total Subs
Allocated
Written
Sym Pool Name ESPT
Tracks (%)
Tracks (%)
Tracks (%)
---- ------------ ----- ---------- ----- ---------- --- ---------- --0426 FC10K_RAID1 F..B 1048590
0
546156 52 1044754 100
FLASH_3RAID5 -.-312924 30
- SATA_6RAID6
-.-186540 18
- Total
Tracks
---------- ----- ---------- --- ---------- --1048590
0 1045620 0 1044754 0
[root@solenabler1 ~]# symcfg list -tdev -range 426:426 -bound -detail -v -sid 541
Symmetrix ID: 000195700541
 R1とR2の両方で同
様に分散されたすべ
ての階層にわたりデ
バイスをバランス調整
Enabled Capacity (Tracks) : 1826068704
Bound Capacity (Tracks) : 1048590
災害復旧アレイ
SYMMETRIX THIN DEVICES
---------------------------------------------------------------------Pool
Pool
Total
Bound
Flags
Total Subs
Allocated
Written
Sym Pool Name ESPT
Tracks (%)
Tracks (%)
Tracks (%)
---- ------------ ----- ---------- ----- ---------- --- ---------- --0426 FC10K_RAID1 F..B
1048590
0
570996 54 1044492
FLASH_3RAID5 -.-352524 34
SATA_6RAID6 -.-120972 12
Total
Tracks
© Copyright 2012 EMC Corporation. All rights reserved.(不許複製・禁無断転載)
100
- - -
---------- ----- ---------- --- ---------- --1048590
0 1045620 0 1044754 00
38
フェイルオーバー テスト
 アプリケーション ロードをR1サイトで長時間実行し、FAST VPが両方のアレイ上のストレージ グ
ループのバランスをとる
 RDFリンクを分割し、フェイルオーバーをシミュレート
 SAPとOracleを、リモートESXiサーバー上で起動
 フェイルオーバーの前後でパフォーマンスを監視
OracleとSAPを
R1で実行
OracleとSAPがフェイ
ルオーバーし、R2で
実行
© Copyright 2012 EMC Corporation. All rights reserved.(不許複製・禁無断転載)
39
フェイルオーバー テスト(続き)
 アプリケーション レベルでの
フェイルオーバー後のパフォー
マンスは本番と同等
 測定された1分あたりのトラン
ザクション数とレスポンス タイ
ムは同等
© Copyright 2012 EMC Corporation. All rights reserved.(不許複製・禁無断転載)
40
FAST VPの即応性と柔軟性
 午前7時40分に、SQL OLTP
ポリシーを調整し、追加のフ
ラッシュ容量を追加
 30分後にパフォーマンスが
向上
 SQLトランザクション/秒が上
昇し、レーテンシーが低下
 2時間後、SQLのパフォーマ
ンスが安定
 他の実行中のアプリケーショ
ンによる影響は認められない
© Copyright 2012 EMC Corporation. All rights reserved.(不許複製・禁無断転載)
41
まとめとソリューションのメリット
 VMAX 40Kは、さまざまなワークロードを実行する仮想化された重要なデータベース アプリケー
ションにとって理想的なプラットフォームを提供。
 EMCのVMware Storage Integratorに備わったエンド ツー エンドの可視性により、vCenter
から直接VMAXデバイスを合理的に管理し、識別。
 FAST VPのカスケード ストレージ グループにより、FASTを使用してESX環境を合理的に管理。
 ポリシーによる割り当てが、FAST VPストレージ グループとFAST VPにより移動が必要なデータ
量との間でバランスをとる時間を短縮。
 チューニング可能で、即応性が高いFAST VP。 FASTポリシーを調整することにより、変化する
ビジネス上のパフォーマンスに対するニーズに適合するようパフォーマンスをチューニング可能。
他の実行中のワークロードに悪影響を与えずに、30分以内でパフォーマンスが向上。
 FAST VPを使用したSRDF整合性により、構成が類似している場合、フェイルオーバー時に
FAST VP環境のR2サイトで本番レベルのパフォーマンスを保証。 これにより、本番サイトと災害
復旧サイトの両方で、FAST VPのパフォーマンスとコスト面でのメリットを実現。
© Copyright 2012 EMC Corporation. All rights reserved.(不許複製・禁無断転載)
42
質疑応答
© Copyright 2012 EMC Corporation. All rights reserved.(不許複製・禁無断転載)
43