Transcript VA Questのご紹介

Linux障害解析サービス
VA Quest
のご紹介
真のプロフェッショナルが提供する、Linux障害解析サービス
2008年2月 Release 1.3
valinux.co.jp
VA Linux Systems Japan株式会社
営業本部
[email protected]
ST-0801004-06
Copyright © VA Linux Systems Japan. All rights reserved.
Linux障害解析サービス
Index
valinux.co.jp
Chapter 1.
Linux適用のリスク
s.3
Chapter 2.
VA Questの位置付け
s.7
Chapter 3.
VA Questのサービス内容
s.11
Chapter 4.
VA Questの特長
s.14
Chapter 5.
事例紹介
s.18
ST-0801004-06
2
Copyright © VA Linux Systems Japan. All rights reserved.
Linux障害解析サービス
Chapter 1.
Linux適用のリスク
valinux.co.jp
ST-0801004-06
3
Copyright © VA Linux Systems Japan. All rights reserved.
Linux(OSS)の導入と不安
Linux障害解析サービス
Linuxの高信頼化、高可用性追及に伴い、ミッションクリティカルな基幹システムへの導入も増加
低コスト化による費用削減効果、拡張性や堅牢性によるBCM効果(ビジネス継続性)も期待
しかし
メリット
 初期導入コストの削減
 独自での改良・拡張
 セキュリティ対策
デメリット
 管理運用における人材不足
 ベンダやSIerのサポート
 他アプリケーションとの互換性
OSSを使用する際のリスクを認識
valinux.co.jp
OSSの原則
OSSは使用者責任が原則で、開発コミュニティにサポートの義務はない。
サポート
コスト
ソフトウェアはフリーでもサポートは” タダ”ではない。
サポート
レベル
誰がどのレベルのサポートを提供できるのかを認識する必要がある。
ST-0801004-06
4
Copyright © VA Linux Systems Japan. All rights reserved.
忘れられているOSSの保守
Linux障害解析サービス
例えば、メインフレームからOSSにシステムを移管しても、、
メインフレーム・UNIXサーバー
責任
IAサーバー
コスト構造
コスト構造
責任
OS保守
サポート
この部分が抜け落ちている
コスト構造から見ても、OS（カーネル）サポートのための人員
は確保できていない。
 現実的にはSIerやハードベンダに障害対応を依頼することになるが、ディストリ
ビュータのサポート部隊までに複数のパスが存在し、対処に時間がかかる。
 また、日本国内にはカーネル開発者が非常に少なく、ソースコードレベルの調
査・修正を国内で提供できるベンダは限られている。
OS開発費
ハードウェアベンダ
ハードサポート
ハードウェアベンダ
ディストリビューション
ハードウェア
valinux.co.jp
検証
ハードウェア
ST-0801004-06
5
ハードウェアベンダ
Copyright © VA Linux Systems Japan. All rights reserved.
ベンダサポートの不安
Linux障害解析サービス
ディストリビュータのサポートレベル
SIerのサポートレベル
 アップデートの提供
 OSSの使用者責任原則からすると、システムを
提案、構築したSierのサポート責任は必須
• 各種パッケージの修正をまとめて提供
• アップデートの提供は必要だが、十分か?
 しかし、コストの問題もあり、カーネルの開発者
の確保は難しく、十分なサポートは難しい
 開発者がいるわけではない
• ソースコードレベルの調査、解析、修正ができるのか?
• 開発コミュニティに義務があるわけではない
トラブル時エスカレーションパス
ディストリビュータ
ユーザ
日本
SE
SIer
valinux.co.jp
ハード
ベンダ
bug report
窓口、
サポート
サポート
部隊
開発者
開発
コミュニティ
エスカレーションパスが不十分
ST-0801004-06
6
Copyright © VA Linux Systems Japan. All rights reserved.
Linux障害解析サービス
Chapter 2.
VA Questの位置付け
valinux.co.jp
ST-0801004-06
7
Copyright © VA Linux Systems Japan. All rights reserved.
VA Linuxの役割
Linux障害解析サービス
クローズドソフト
オープンソフト
Linuxカーネル開発者集団
エンタープライズOS事業ユニット
フィールド部門
フィールド部門
VA Linux
（開発部門の位置付け）
開発コミュニティとの
パイプ役
開発部門
valinux.co.jp
開発コミュニティ
ST-0801004-06
8
Copyright © VA Linux Systems Japan. All rights reserved.
VA Linuxのサービス群
Linux障害解析サービス
他に類を見ないカーネルエキスパート集団が、ソースコードレベルで
のサービスを展開します。コンサルティング、開発、検証、サポートま
での一貫したソリューションの提供が可能です。
/ カーネル対応障害・性能解析サービス
ミッションクリティカルな基幹システムへLinuxの導入を行っているSIerや
お客様に対して、Linuxシステムの障害に対してLinux カーネルのソース
コードやメモリダンプに基づいた詳細調査を行い、障害の解析、障害原
因の追及・特定、回避方法の提案、修正パッチの提供等を実施。








障害原因の解析
障害回避方法の提案
修正パッチの提供
システムリリース時など、トラブルが想定される際の事前連絡
によるサポート体制構築
性能分析
プローブによる詳細性能分析
RFPなどに対するアドバイス
Linuxカーネル/システムに関する技術情報交換会の開催
/ 仮想化支援サービス
｢Xen｣を中心とした仮想化システムに関して、コンサル、開発、検証、サ
ポートまでのトータルメニューを提供。




｢Xen Quest｣：
｢Xen｣対応 障害・性能解析サービス
｢Xen Expert｣：｢Xen｣対応 受託開発サービス
｢Xen Zest｣：｢Xen｣対応 コンサルティングサービス
｢Report Service｣：仮想化に関する検証、考察の情報提供
/ カーネル対応 受託・開発サービス
サポート
コンサル
ティング
標準カーネルに足りない機能の開発、特定用途に向けたカーネルの改造
を請負。標準カーネルへの採用を意識した設計、カーネル開発コミュニテ
ィへの働きかけを行うことも可能。
valinux.co.jp
VA –
Professional
Services
検証・
設計
開発
/ カーネル対応 コンサルティングサービス
Linuxカーネルを、お客様のシステムまたはプロダクトに適用／採用する際
の課題の整理、改善ポイントの提示、問題解析の支援を実施。
ST-0801004-06
9
Copyright © VA Linux Systems Japan. All rights reserved.
VA Questの位置付け
Linux障害解析サービス
システムインテグレーションのカーネル障害解析を担当
ユーザコスト
責任
SI/運用費用
SIer
障害解析費用
カーネル障害解析
VA Linux
人的リソースと
技術力の
課題解消
VA Quest
アウトソース
ソフトウェア
 SIerはあくまでも一例
 障害解析に責任を持つ全てのユーザがサービスの対象
ex. ハードベンダ、オープンソース活用パワーユーザ
ハードウェア
カーネル開発者との間にインシデントのショートカットパスが実現
valinux.co.jp
SE
SIer
ベンダ
① インシデント
③ レポートおよび
パッチ提出
② 解析報告、修正提供
ディストリビュータ
ST-0801004-06
10
Copyright © VA Linux Systems Japan. All rights reserved.
Linux障害解析サービス
Chapter 3.
VA Questのサービス内容
valinux.co.jp
ST-0801004-06
11
Copyright © VA Linux Systems Japan. All rights reserved.
VA Questのサービス概要
Linux障害解析サービス
項目
内容
サービス概要
Linuxカーネルに関する障害解析、性能解析、アドバイザリーサービス
解析対象
Linux カーネル(※1)
カーネルバージョン
2.4 2.6
アーキテクチャ
IA-32 AMD64/EM64T IA-64（※2）
ディストリビューション
不問(※3)
ハードウェア
不問
 ソースコードレベルでの原因特定
障害解析
 回避策提示
 パッチ作成 (※4)
 緊急対応用待機
提供サービス
性能解析
解析支援
valinux.co.jp
アドバイザリー
 簡易性能解析
 詳細分析
 調査方法、資料採取方法コンサル
 資料採取のためのカーネルパッチ作成
 RFPなどに対するアドバイス
 教育コースの提案と開催(情報交換会)
(※1) ミドルウェア(DB、Web Server等）は対象外。ベーシックユーティリティ(bash、mount等）は都度応相談。
(※2) IA-64は、オプション。
(※3) ソースコードが公開されていることが条件。
(※4) 使用についてはユーザ責任となります。Linuxカーネルに関するリグレッションテストは実施しません。
ST-0801004-06
12
Copyright © VA Linux Systems Japan. All rights reserved.
VA Questのサービスの流れ
Linux障害解析サービス
 メールベースのやりとり
 稼働時間課金制
インシデント
 各お客様専用メーリングリスト
 インシデント内容記述の雛形用意
受付
資料
初期解析
•
•
•
質問・確認
追加資料採取依頼
etc
中間報告
稼働時間
報告
valinux.co.jp
稼働時間
報告
パッチ提供
稼働時間
報告
13
 初見報告
 稼働時間見積もり提示
 長期化案件
 見積もり修正（必要な場合。早めに）
回答
クローズ
ST-0801004-06
2H程度
 原因報告、回避策提示
 パッチ提供（簡単な場合）
 パッチ作成時間見積もり提示
Copyright © VA Linux Systems Japan. All rights reserved.
Linux障害解析サービス
Chapter 4.
VA Questの特長
valinux.co.jp
ST-0801004-06
14
Copyright © VA Linux Systems Japan. All rights reserved.
VA Questの価値
Linux障害解析サービス
迅速な解決
正確な障害回避ができる
valinux.co.jp
エンドユーザへの説明責任が果たせる
ST-0801004-06
15
Copyright © VA Linux Systems Japan. All rights reserved.
VA Questだけができること ①
Linux障害解析サービス
解決率100%、満足度100%、安心感100%
 他社が提供するLinux向け障害対応サービス
と比べたVA Questの最大の強みは、ソース
コードレベルでLinuxカーネルの解析を行える
こと。
 Linuxカーネルの開発者がサポートを提供。
サポート窓口＝開発者なので、迅速な問題
解決と正確な障害回避を実現。
「コンフィグレーションを変更したら、理由は分かりませんが障害が再現
しなくなりました。とりあえず、これでお使いください。」
サポート担当
ユーザ
あいまい、
力ずくで解決?
モヤモヤ、、
「障害の原因は、ソースコードのXXの部分で、AAすべきところをBBして
いたためでした。この部分のソースコードを修正しましたので、問題は解
決されました。」
 コアダンプを提供すれば、必ず解析可能。こ
れまで未解決の障害はナシ。
サポート担当
 高度な技術力により、エンドユーザへの説明
責任を着実に果たすことができる。
スッキリ!
安心!
valinux.co.jp
しっかり
解決!
 開発コミュニティに対しても、レポートやパッ
チ提出など、フィードバックを行っている。
ST-0801004-06
ユーザ
16
Copyright © VA Linux Systems Japan. All rights reserved.
VA Questだけができること ②
Linux障害解析サービス
カーネル開発に携わる国内屈指の技術力
「VA Quest」はカーネル開発に携わってきたOSのエキスパートが提供する、ソースコードレベルで問題を解決す
る国内最高峰のテクニカルソリューションです。彼らの開発成果の多くが各コミュニティにおいて採用されている
ように、OS・カーネルへの精通度が他のサービスとは異なります。
開発成果の一例
Mini Kernel Dump
Linuxシステムの障害発生時に自動的に
内部情報の全記録を外部の記録装置に
行うためのクラッシュダンプ機能
Linux Memory Hotplug
高可用性を求めるエンタープライズクラス
のシステムで必要とされる、システム運
用中に動的にメモリモジュールの追加や
削除を行なえるようにする機能
Zerocopy NFS
 これらの実績は世界的に評価され、全世界から50名程度
の技術者が招致される「Linux Kernel Developers Summit
」への参加も果たしている
 また、さまざまなオープンソース・プロジェクトに積極的に
参画。LinuxをはじめとしたOSSの発展に尽力している。
 VA Questのサポートチームは、こうしたバックボーンを持
つスタッフで構成される。
valinux.co.jp
Linux Kernel2.6にて採用されて、ページ
キャッシュに使われているページを直接
プロトコル層に渡し、可能であればその
ままネットワークドライバまで渡すという
一連の動作
技術力 ノウハウ
実績
ST-0801004-06
17
Copyright © VA Linux Systems Japan. All rights reserved.
Linux障害解析サービス
Chapter 5.
事例紹介
valinux.co.jp
ST-0801004-06
18
Copyright © VA Linux Systems Japan. All rights reserved.
事例紹介 ①
Linux障害解析サービス
OOpsメッセージを出力し、システムクラッシュ
障害内容
以下の OOpsメッセージを出力し、システムクラッシュ
メモリダンプ出力
Unable to handle kernel paging request at virtual address 000001040799e024
printing rip:ffffffffa0057721
PML4 8063 PGD 0
Oops: 0000
... 以下、レジスタ情報、スタック
システム
RedHatEL AS3.0 update5 (kernel 2.4.21-27EL)、アーキテクチャ x86_64
解析内容
valinux.co.jp
メモリダンプ、ディスアセンブルリスト、ソースコードを対照し、
• システムクラッシュした箇所の特定
• その時の変数値および関連管理データの値の確認を行い、異常の原因の特定を行った
解析結果
ext3ファイスシステムのxattr（ACL）処理において、ある変数の大きさに不具合があり、オーバフローを起
こしたことが障害の原因
ST-0801004-06
19
Copyright © VA Linux Systems Japan. All rights reserved.
事例紹介 ②
Linux障害解析サービス
RDBのRMANバックアップ時にハングアップ
システム
 RedHat AS4.3 kernel-2.6.9-34.EL、アーキテクチャ x86_64
解析内容
 Sysrqキー押下により、ダンプを採取し解析
 スタックトレースから、ext3のジャーナル処理でデッドロックに陥っていることを特定
 ダンプ上のデータとソースコードから根本原因を特定
解析結果
valinux.co.jp
デバイスドライバがメモリ獲得関数を呼び出す際のフラグが適切でないことが根本原因。
メモリ負荷の高い状況下で、ext3 のジャーナル処理の延長でデッドロックを引き起こす可能性があった。
ST-0801004-06
20
Copyright © VA Linux Systems Japan. All rights reserved.
事例紹介 ③
Linux障害解析サービス
RDBの性能劣化
障害内容
システムをアップデートしたところ、RDBの性能が極端に悪くなった。
システム
RedHat AS2.1 kernel 2.4.9-e40 → 2.4.9-e.57
解析内容
 性能データの調査
→
カーネルのCPU消費が性能劣化の原因判明
 プロファイルの取得、調査
→
メモリ獲得時のspinlockが原因と判明し、そのソース箇所も特定
 プローブを提供し、メモリ獲得時の状況を確認
 上記データを元にソースコードを調査し、性能劣化のロジックを解明
valinux.co.jp
解析結果
2.4.9-e.57で加えられた修正により、RDBのような大量の共有メモリを使用するケースで、ページキャッシ
ュのLRUリスト操作が極端にCPUを消費するようになってしまった。
ST-0801004-06
21
Copyright © VA Linux Systems Japan. All rights reserved.
事例紹介 ④
Linux障害解析サービス
特殊環境（超高負荷）におけるLinuxの動作検証
障害内容
動作プロセスの停止およびカーネルの停止の事象が発生し、高負荷環境対策と性能改善を要望
調査＆解決策
 高負荷環境対策について
• カーネルの解析
• 特定環境において生じる不具合を検出
• カーネルのバグの修正
• アプリケーションの仕様改善のアドバイス高負荷環境対策
 性能改善に関して
• オペレーティングシステム とアプリケーション間の挙動解析
• アプリケーション仕様改善アドバイス
• カーネルチューニングによる性能
成果
valinux.co.jp
1.
2.
3.
高負荷環境における安定稼働に成功
ピーク性能の向上(性能改善-1)
ピーク後の性能維持(性能改善-2)
処
理
量
性能改善-2
性能改善-1
通常の性能
要求量
ST-0801004-06
22
Copyright © VA Linux Systems Japan. All rights reserved.
事例紹介 ⑤
Linux障害解析サービス
アドバイザリーサービスの提供 -1
概要
ご契約稼働時間内にて、勉強会や情報交換会等のアドバイザリーサービスを提供いたします。
情報交換会の実施事例
 Linux関連技術を技術要素毎に、講義形
式で提供
 提供項目抜粋
• メモリ管理（実メモリ、仮想メモリ）
• ファイルシステム
• TCP/IPネットワーク
• Xenの紹介
• SELinux紹介
valinux.co.jp
• RedHat Enterprise Linux 5にお
ける新機能説明
• System Tap
• 解析事例紹介
ST-0801004-06
23
Copyright © VA Linux Systems Japan. All rights reserved.
事例紹介 ⑥
Linux障害解析サービス
アドバイザリーサービスの提供 -2
エディケーションコースの実施事例
システム運用支援（全４回）
Linuxカーネル概論（全９回）
カーネル実装技術の習得支援を目的とし、カーネルの動きを解説します。
1回目
概論、基本プリミティブ(1)
-スケジューラ、割り込み処理
2回目
基本プリミティブ(2)
-(遅延処理、時計、同期排他処理)
1回目
Linuxカーネル
入門
メモリ管理(1)
valinux.co.jp
5回目
メモリ管理(2)
6回目
ファイル管理(1)
7回目
ファイル管理(2)
8回目
起動処理
2回目
3回目
4回目
9回目
 障害解析の基礎（午前講義2時間）
 ダンプの取得（午後演習2時間）
プロセス管理
3回目
4回目
トラブルが発生した際の対応、性能が出ない時にどのようなポイントで調
査するか？等を実績に基づき解説します。
NFSv4紹介
ST-0801004-06
24
 Linux システムチューニング （午前講義2時間）
 性能監視（午後演習2時間）
 カーネルプロファイリング（午前講義2時間）
 プロファイルの取得・分析（午後演習2時間）
 crashによるダンプ解析（午前講義2時間）
 ダンプ解析（午後演習2時間）
Copyright © VA Linux Systems Japan. All rights reserved.
事例紹介 ⑥
Linux障害解析サービス
その他の事例
障害内容
対応内容
valinux.co.jp
長時間負荷をかけてファイルI/Oを行なっていると、空きメモリ
が減っていく
修正方法を提示し、コミニュティにもフィードバック。
明示的に fsync していないXFS上のファイルが、システムク
ラッシュ後のリカバリ時にトランケートされる。
パッチを作成し提供。
IRIX 6.5からtcpによるNFSマウントを行なうと、Linux NFSサー
バ上にCLOSE_WAIT 状態のソケットが残る。
Linuxカーネルのコードの修正が必要であることを通知し、
パッチを作成、提供。
システムのI/O負荷が高い時、デバイスファイルに対するioctl
が終了しない。
省略可能なフラッシュは、なるべく行わないように変更する
パッチを作成、提供。
32bitのuid、gidを用いているとき、sambaの共有ファイルの
ACL情報がWindowsクライアントから参照できない。
glibc を置き換える事は影響が大きい為、samba専用のglibcを
作成しsambaにリンクする事とし、対応パッケージを提供。
SysRq+c押鍵によるクラッシュダンプ(メモリイメージ採取)がう
まく動作しないことが多い。
専用のクラッシュダンプ処理を行うパッチを作成し、提供。
LinuxをNFSサーバとして利用しているシステムにおいて、特
定のファイルがlsの出力などから見えなくなる。
精度をナノ秒単位にするパッチを作成し提供。
ST-0801004-06
25
Copyright © VA Linux Systems Japan. All rights reserved.
Linux障害解析サービス
※本書掲載内容の複写･無断転載を禁じます。
Copyright © VA Linux Systems Japan. All rights reserved.
本書 は2008年1月24日現在の情報に基づいて作成しております。
本書は、弊社が提供する「VA Quest」の導入検討のためにのみご利用いただき、他の目的のためには使用しないようご注
意ください。
VALINUXは VA Linux Systems Japan株式会社の日本国内における商標です。
Linux は Linus Torvalds の米国およびその他の国における登録商標または商標です。
その他記載されている会社名、製品名は一般に各社の商標または登録商標です。
END
valinux.co.jp
VA Linux Systems Japan株式会社
〒104-0053 東京都中央区晴海1-8-8
晴海アイランドトリトンスクエア オフィスタワー W棟16F
TEL：03-6204-4071 FAX：03-6204-4072
[email protected]
http://www.valinux.co.jp/
ST-0801004-06
Copyright © VA Linux Systems Japan. All rights reserved.