Transcript 大規模サイトの為のLinuxカーネルチューニング

鯖屋のお仕事ってどーよ
大規模サイトの為のLinuxカーネルチューニング
関西オープンソース 2004
ステージ
2004年10月22日 13:45 - 14:00
もりかわひろかず
はじめに
• SunOS4, Solaris2, FreeBSD系で育ってきた鯖
屋が、1999年に Linuxでの大規模サーバ(大規
模なweb、メール、共有型仮想サーバ)の運用
を試行錯誤しながら行い、肌で感じた Linux
kernel の体験記(格闘記)をお話し、それを通じ
て運用の現場の姿を感じていただけたらと思
います
遠い昔…
A long time ago in the UNIX far, far away….
• 1994年頃からインターネットサーバのSIを手がけてい
た
• その頃、Solaris 2系が安定してきて、SunOS4を捨て
てSolaris 2系に移行していた
• PC-UNIXは*BSD系しか選択肢無し
• 当時、Linux系はnetwork系の信頼性が無いという話
で、実際のサービスには使わなかった
(冒険はしたくなかった)
• 安定性があり、運用ノウハウが多いOSを選択した
枯れたOS
• 実際の業務に使用するOSの選択に際しては、
枯れたOS(信頼性があり、安定して、ノウハウ
も蓄積された)を選択するでしょう
• 大規模なサーバ運用にも枯れたチューニング
の定石があった
なぜチューニングが必要なのか
• 一般的な使用状況を想定してる
– 無駄なリソース浪費を避けるため
• 安全性を確保するためにリソース制限をしている
– open files, memory, process…etc
– 各ユーザごとのリミット
• 何につかうのか?
その用途に合わせてチューニングする必要がある
– リソースを消費してもスピード優先という用途
– DBのような巨大アプリを動かすという用途
– たくさんのユーザを安全にさばくという用途
定石
• Solaris系では
– /etc/system の maxusers, rlim_fd_max, rlim_fd_cur
• maxusersを変更することによってkernel内のテーブルサイズを自動
的に調整する
– (BSD系であるSunOS4から引き継いだ)
– あとはnddでdriverのconfigurationをさわる
• 挙動を見てNetwork系のパラメータを変更
– 大規模なDBサーバやroot DNSにも実績がある
– 世の中に書籍やよくまとまったtuning 系の tips Web Siteが
あった
定石 (2)
• FreeBSDでは
– Kernel configuration の maxusers, NMBCLUSTERS をさわ
る
• 今は maxusers=0 にしておけばハードのスペックを見てよしなに設
定してくれる
kernel recompile すら不要で
/boot/loader.confにホゲっておわり
– FD_SETSIZE, SOMAXCONN系の調整
• sysctl と アプリ側の調整
• 学術分野での長年のノウハウ蓄積
• 過 負 荷 で 悲 鳴 を あ げ て も 予 測 の 範 囲
(調整の範囲)
Linux を使え!
• 1999年 Linuxバブル全盛期
• 営業サイドから Linux を使えとのご命令
– お客様はLinuxを望んでおられる
(お客様は神様です)
– お客様のニーズに早く対応すべき
• Linux 2.2.11-ac? ぐらいから安定してきたという噂が
あった
• ちょいとLinuxさわってみるのもいいかな
• まー UNIX(like)だしなんとかなるかー
おどろいた!
• おそろしく速い filesystem
– 恐れていた障害時の不整合は皆無
• 意外と丈夫じゃん
• I/Oが早いのは大規模なWebサーバにとっては
うれしい
• さっと動かしたら安定してるじゃん
• 結構 Linux ラヴ☆かもぉ
限界まで鯖をシバク
Size matters not.
• こんな鯖
– ps ax | wc -l
1115
– cat /proc/net/sockstat
Sockets: used 643
TCP: inuse 637 orphan 45 tw 71368 alloc 641
mem 796
• Apache combined format の access log が 1
日で6GB以上
定石(3)
• 2.4.x Linux では
– システム中のファイル・ディスクリプタ数の上限を緩和する
• echo "32768" > /proc/sys/fs/file-max
– ユーザ毎のファイル・ディスクリプタ数の上限を緩和する
• ulimit -n unlimited
– ユーザ毎の起動するプロセス数の上限を緩和する
• ulimit -u unlimited
– セマフォの設定の上限を緩和する
• echo "250 32000 128 1024" > /proc/sys/kernel/sem
– ネットワークキューの上限を緩和する
• echo ”2048" > /proc/sys/net/ipv4/tcp_max_syn_backlog
不可解な挙動
Linuxの心が解るまでの道のり
•
•
•
•
•
•
•
•
定石の調整はやっていたが…
ふつーにつかってるかぎりはすごく安定していた
むちゃな使い方したらMM系で不可解な挙動
メモリーは余裕があるのに突然のOOM-kill
ドライバからはバッファが足りないとの悲鳴
なぜ急にメモリーが足りなくなるのぉ
なぜ極端にパフォーマンスが悪くなるのぉ
2.2の途中までは過負荷時に突然死も
– ぐはっ吐血!
Linuxの心が解るまでの道のり(2)
• 当時は、Linuxを用いた大規模サーバの運用ノウハウの情
報が不足
• Linux関連書籍は多いが入門書(インスコ本)ばっか
• おしえてGoogle!
– しかし、当時はまとまった情報は無し
• できるヤツはそんなの当たり前でわざわざとりたてては書
かない!?
• kernelあげろ、メモリー増やせ攻撃
– 本質の議論無し
不可解な挙動の例
No! Try not. Do, or do not. There is no try.
• パフォーマンスがよかったので採用したIntel
EtherExpress Pro/100 で当時 2.2 のドライバ
eepro100 が過負荷時に
eth0: can’t fill rx buffer
のメッセージをはきまくる
• (その当時は Linux でそのNICを使うことを嫌う
人もたくさんいた)
不可解な挙動の例(2)
• Googleで検索したら、同じように困ってる人ちらほら
• ズバリの解決策は見付けられなかった
– ふつーに使ってる限り出ないもん
• お決まりの監視
–
–
–
–
vmstat 1
watch -n 1 ’cat /proc/meminfo’
watch -n 1 ’cat /proc/slabinfo’
watch -n 1 free
不可解な挙動の例(3)
• どうも、そのメッセージを吐く時は MemFree が極端に少なく
なっているっぽい
• しかし、Buffres, Cached はふんだんに確保されている
• そのあたりに秘密がありそう
• /proc/sys/vm あたりで tuneable な物を探すとbdflushと
freepages(2.2の場合) が怪しい
不可解な挙動の例(4)
• /usr/src/linux/Documentation を読む
– ここでもカルチャーショック受る
• メンテされてない(^^;;;
• man も嘘書いてる場合もあるし…
• /proc/sys/vm/freepages を増やしてやると現象はおさまるよ
うだ
• freepages をキーワードにざっと kernel の source を追っかけ
てみた
– なんか謎な閾値やら定数やら…
• Memory Management subsystem 怪しいなぁ
Linuxの心が解るまでの道のり(3)
Use the source, luke!
• 「KISS principle」”Keep it Simple, Stupid”, “Keep it
Simple and Small”には共感するが…
• コア開発者が議論している kernel mlやMM ml をあさ
る
• MMごっそりかえちゃえ的なノリ
• AndreaさんとRikさんが喧嘩してるしぃ
• 仕切りまくる Alan Cox 氏
• 慎重な Linus 氏
Linuxの心が解るまでの道のり(4)
No! No different! Only different in your mind.
• 猥雑だけどパワフル
• *BSD系にはない面白さ
(猥雑さが嫌いという意見もよく解るけどね)
• 自分が同時代的に参加しているのだという気になる
し、参加せざるを得ない面白い開発コミュニティー
• というわけで自分も何かしようと1999年から kernel
tuning 系 tips を Web siteで書き始めた
(今ではいろんな所にいっぱい情報が出てます)
枯れないOS
とーれとれぴーちぴちLinux
• “枯れ”とは無縁
• 日々改善、日々実験
– ハードウェアやnetwork環境はものすごく変化している
– それにつれて kernel も変化している
• 現実のサービスに使っていいかどうかは議論がある
が(安定性、信頼性の面で)
• 処理が速いのは得難いメリット
• “今”はかなりいいよね
– いつも”今”が旬
おまけ
• 最近のディストリビューションのkernelなら安定してま
す
• 特にサーバ用として提供されている物であれば変更
を加えることも不要 (のはず)
• 自身でkernelをcompile場合は、-ac, -aa, -mm 等の
patchを吟味した上で、必要に応じた物を当てたほう
がいいです
• 素のリリースのままでは不具合がでるパターンもある
• 2.4.x では -rmap は有効かも
• そろそろ 2.6.x にかえる時期かも
May the source be with you!
•
•
•
•
•
•
•
http://www.kernel.org/pub/linux/kernel/people/alan/
(-ac patch) 旅に出ますた!
http://www.kernel.org/pub/linux/kernel/people/andrea/
(-aa patch)
http://www.kernel.org/pub/linux/kernel/people/akpm/
(-mm patch)
http://linux-mm.org/ the home page of Linux-MM
http://surriel.com/patches/ Rik van Riel's Linux kernel patches
(-rmap VM patch)
http://www-didc.lbl.gov/TCP-tuning/ TCP Tuning Guide
http://www.nxhack.tarumi.kobe.jp/linux_kernel_tuning.html
私のWeb