Transcript 10年目のDeleGate

多目的応用プロトコル中継システム
「ＤｅｌｅＧａｔｅ」の開発
情報処理研究部門
佐藤豊
信条
役に立たない論文・特許より役に立つソフト
 二流の研究より一流のモノ作り
 小さく産んで大きく育てる
 持続的に成長可能なソフトウェア



産地直送ソフトウェア／顔の見えるモノ作り
桃李もの言わざれども下おのずから蹊をなす
ＤｅｌｅＧａｔｅとは

インターネット用基盤ソフトウェア
• 多目的応用プロトコル中継システム（プロキシサー
バ）

１０年前に電総研で生まれ、持続的成長
• 世界的な老舗プロキシサーバのひとつ

広く世界で使われている純国産プログラム
• １４９ヶ国、２万６千以上の利用者サイト
DeleGateの概要

1994年生まれ・現在も成長中


多用途プロキシサーバ


HTTP,FTP,SMTP,POP,NNTP,Telnet,DNS,SOCKS,SSL,…
マルチプラットフォーム対応


アクセス制御、キャッシュ、経路制御、トンネリング、プロトコル変換、
サーバ統合、コンテンツフィルタ、コンテンツ変換、…
マルチプロトコル対応


小規模Gopher専用プロキシ（SunOS版）からの持続的な成長
Unix,Windows,OS/2,MacOS-X
配布形態・配布状況

オープンソース・フリーソフト、149カ国・26,000サイト
ＤｅｌｅＧａｔｅの用途

インターネットの運用・サーバ構築・利用の支援





セキュリティの向上
性能向上・資源節約
安定性の向上
運用・管理の支援
付加価値実現の支援
ファイアウォール・アクセス制御
キャッシング
動的経路制御・負荷分散
プロトコル変換・サーバ統合
翻訳、暗号化、圧縮
セキュリティのためのＤｅｌｅＧａｔｅの利用例
攻撃者
サービス提供者
利用者
通信プロバイダ
利用例(産総研)

産総研ウェブサーバ

http://www.aist.go.jp/
• http://www.aist.go.jp/RIODB/
• http://www.aist.go.jp/GSJ/
• http://www.aist.go.jp/…

監視
ユニットごとに自由なサーバ運用


公開
更新・維持・運用が容易
内部サーバを統合して外部へ公開

一元的なアクセス制御・ログ監視
所内ウェブサーバ
総配布数: 26,270
ソース配布: 20,555
Windows版: 14,285
配布状況(2003年4月)
配布先サイト数
30000
新規サイト
１０サイト/日
01年9月
産総研Firewall
PASV不可に
non-jp
jp
total
25000
20000
新規サイト
１５サイト／日
15000
FreshMeat登録
（主にLinux向け)
10000
Windows版
6月
20
03
年
6月
20
02
年
6月
6月
20
00
年
6月
19
99
年
6月
19
98
年
6月
19
97
年
6月
19
96
年
19
95
年
6月
0
6月
99年11月
BugTraq
LinuxG
azzete
20
01
年
5000
19
94
年
自宅サーバに切り替え
PASV可・匿名可に
トップドメイン別配布先サイト数

Jp







10,341
6435
1986
732
259
168
131
630
co
or,ne
ac
gr
go
ad
*

非jp









(2003年４月末現在)
15,929
4124
2425
359
337
55
35
com
net
org
edu
mil
gov
5 biz
5 info
4 int















1051
1019
500
367
356
343
340
217
197
196
196
172
166
166
159
de
ru
fr
au
it
br
uk
ca
nl
se
pl
cz
es
ua
tw
独
露
仏
濠
伊
伯
英
加
蘭
瑞
波












西


台湾

158
140
135
134
128
111
98
98
92
92
90
85
76
71
68
ch
hu
at
cn
ro
fi
kr
be
us
ar
no
dk
za
nz
mx
瑞
洪
墺
中国
芬
韓国
白
米
亜
墨
国内への普及

大学



Ac.jp – 732大学、短大、高校、他
全大学（約７００？）中、４３５大学（６２％）
企業


Co.jp – ６４３５社
東証一部上場企業１５０７社中、５０２社（３３％）
• 情報通信 ６４社中、４７社（７３％）
• 電気機器 １４９社中、９２社（６２％）

個人
開発状況：プログラム規模の推移
140000
v1
v2
v3
v4
v5
v6
v7
v8
プログ ラ ムサイ ズ （行数）
120000
02年12月
SockMux
100000
97年1月
Windowｓ
対応
80000
01年2月
実験的コード
削除
60000
40000
20000
94年6月
配布開始
95年10月
Mimekit
９年間に５２０回の改訂版リリース
20
03
年
3月
20
02
年
3月
20
01
年
3月
20
00
年
3月
19
99
年
3月
19
98
年
3月
19
97
年
3月
19
96
年
3月
19
95
年
3月
19
94
年
3月
94年3月
0
開発開始
現状と今後

実用ソフトとして要求される拡張・改良・修整の継続
• 従来の実装ベースの継続的拡張
• 根本的な作り直し？（実験ソフトから実用ソフトへ）

商用利用へのライセンス供与の開始

１０年後以降の持続的成長のための新機軸の導入
• １０年後のセキュリティモデルを想定した基盤通信機能の検討
背景・動機・目標





必要に迫られて作り始めたソフトが他者にも有用
インターネットから受けた恩恵（フリーソフト）へのお
返し
基盤的ソフトウェアの輸入超過
ソフトウェア防衛（国産ソフトウェア技術の維持）
世界的に一線級のソフトの開発・輸出
DeleGateとは

一般的分類：多機能プロキシサーバ
• 「多目的アプリケーションプロトコル中継システム」

単純な原理：アプリケーションプロトコルを中継
• アプリケーション層のプログラム
• 中継する内容（プロトコル）を解釈しながら中継

多様な用途：中継時に様々な付加価値を実現
•
•
•
•
•
ファイアウォール(アクセス制御、フィルタリング)
高速化（キャッシュ）
プロトコル変換（暗号化、圧縮、…）
コンテンツ変換（翻訳、…）
仕様・実装の変化・不備の緩衝材・パディング
クライアント／サーバモデル

インターネット上の応用サービスの実現モデル


サーバは情報や機能を提供し、クライアントは通信を実行しながら
それを利用する
応用プロトコル



サーバ/クライアント間の要求・応答の手順とデータの形式
各々の応用サービスごとに規定される
ＨＴＴＰ，ＳＭＴＰ，ＦＴＰ，…
プロキシサーバ

クライアントとサーバの間の通信を中継するサーバ

サーキットレベルプロキシ


単なるバイト列として要求と応答を中継 (SOCKS)
アプリケーションレベルプロキシ

応用プロトコルに固有な、要求と応答の手順とデータの形式を解釈
しながら中継
現状と今後

安定期
• ゆるやかな持続的成長
• 既存の実装ベースに果てしなく続く改良・修整
• ゆるやかな継続的普及

区切りの時期？
• 実用ソフト化して保守的に、機能的発展の減速
• 商用化への対処 （技術面、ライセンス面）
• 実験ソフトから実用ソフトへ、根本的な作り直し？

次の１０年に向けて
• 新たな発展を求めて新機軸の模索
• １０年後以降のセキュリティモデルを考えて先行投資
１０年目のDeleGate
情報処理部門
佐藤豊
要旨
最初の10年を振り返って（反省等）
 近況（最近始めたこと）
 今後10年の計画？
 その先の10年？？

開発開始時の大目標

(未達成)
マルチプロトコルプロキシを題材にした研究

複数の応用プロトコルを統合サポート
• 共通要素の抽出、実装上の統合化・ライブラリ化
• プロトコル仕様の重複の整理






共通部分のサブプロトコル化提案
大統一プロトコルの設計
汎用プロトコルインタプリタ・生成系
文字列処理エンジン（分解・合成・適合）の実現
応用層上の多重化通信プロトコルの提案
…
各版での主な新規課題
V.0 1994
 V.1 1994
 V.2 1995
 V.3 1996
 V.4 1997
 V.5 1998
（成長期？）

Gopher（go-far)
HTTP, 文字コード変換, 殆どの基本機能実験着手
NNTP, FTP, 各種Unix移植
Mount実用化, originサーバ化着手, CFI着手
Windows移植開始
暗号化プロキシ機能(SSLway), SMTP
V.6 1999 バッファ溢れ検出・停止機能, マニュアル整備
 V.7 2001 プロキシ認証機能, XSS対応
 V.8 2002 セキュリティ関連仕様変更、SockMux着手
（成熟期？停滞期？）

実装コード量の機能別分類

58% プロトコル共通
•
•
•
•
•
•
•
•

6.1%
4.3%
4.1%
3.6%
3.5%
3.2%
3.2%
1.9%
移植関連（プラットフォーム依存）
MOUNT機能
アクセス／経路制御機能
ホスト名リゾルバ
INET (IPアドレス・ソケット依存)
外部フィルタ機能
MIMEフォーマット処理
文字コード変換
42% プロトコル固有
• 12.2% HTTP
• 7.6% NNTP
• 5.2% FTP
• 2.7% SMTP
• 1.3% SOCKS
• 1.2% Telnet
•
•
•
•
•
•
1.1%
0.8%
0.8%
0.6%
0.5%
0.1%
SockMux
ICP
POP
Gopher
LDAP
IMAP
DeleGateが選ばれる理由？

以下全てを満たす唯一のプロキシサーバ？

マルチプロトコル
• ほとんどの基盤的プロトコルをカバー

多機能
• ひととおりのことはできる

マルチプラットフォーム
• どこでも走る（Ｕｎｉｘ，Ｗｉｎ，Ｍａｃ）



オープンソース・フリーソフト
純国産・日本語によるサポートを期待？
特徴的機能

マウント、経路制御、外部フィルタ
DeleGateが選ばれない理由（反省点・課題）

とっつきにくさ
• 未整備なドキュメント・設定例、FAQ無し
• 設定・管理用GUI・対話的IF無し （⇒外付け可）

セキュリティ問題
• バッファオーバフロー可能性

（⇒委託可）
ライセンスが不明確
• 歴史的事情・内部事情もあって

いずれの機能も未完成・非最適
• 最適ソフトは別にある
最初の10年を振り返って

１０年前には現在を予想・予測困難
• ドッグイヤーだったし

予想以上・以下・予想外
• DeleGate
• 社会状況

背景の変遷・動向
• 次の１０年をどのような前提で考えるか？
予想以上・以下の状況（ＤｅｌｅＧａｔｅ）

予想程度の普及度
• インターネットの膨張にほぼ伍して

予想以下の技術的進展
• 初期に構想したものの域を出ていない

成長力の減衰
• 実用システムとしての安定性に縛られる
• とにかく作ってみる、ことが減少 （蛮勇力の低下）
予想外の状況（社会的背景）

応用層の意外な安定
• HTTPの発展収束・FTP等既存プロトコルとの共存
• プロキシ対応の仕様変更無し

物理層の劇的な発展
• 光ファイバか家庭に
• 携帯でインターネット

・・・共有キャッシュ必要性の減少
・・・圧縮変換プロキシの必要性
ＯＳ / コンピュータの変遷
• Windows, Linux の隆盛
• PCの普及、WSの衰退
基盤的応用プロトコルの栄枯盛衰（DeleGateの今後）

古典的・不死身?



新興・安定化


HTTP, SOCKS, SSL, LDAP
衰退傾向?


SMTP, FTP, Telnet （インターネット最古）
DNS, POP, IMAP
NNTP, ICP, X, CU-SeeMe?
絶滅

Gopher, WAIS, Ident
現状の応用プロトコルの問題（マッチポンプ？）

ＦＴＰデータコネクション
• データ転送用TCPコネクションの繰り返し接続
• 不必要に高機能な仕様が、セキュリティ上の問題の根源に

ＨＴＴＰコネクション再利用（Keep-Alive)
• リクエスト毎のくり返し接続
• 場当たり的な解決で、不完全（並列性無し）

それぞれに直接にＩＰ上に乗ってるが故の問題
• たてわりの弊害、一国一城。横断的技術調整組織なし。
• 本来、共通に解決可能

応用プロトコルに共通の解決手段
• 並列セッション、圧縮、暗号化
• 共通化の動きも：MIME形式、認証プロトコル等
SockMuxプロトコル

アプリケーション層の多重化通信メディア
•
•
•
•

アプリケーションプログラム間を繋ぐ
API:Socketインターフェイス互換
下位層（TCP)の永続的コネクション上を利用
PPPのようなもの？IRC?
当面の実際的応用
• トンネリングプロトコル
• FTPデータ、HTTPデータ、…効率的転送

SockMuxで構成される仮想ネットワークへ
VIABUS再興？
1991年頃開発
 アプリケーション層上の通信メディア

• アプリケーション間の可変長メッセージ通信
• コンテンツによるアドレス（パターンマッチ）
• マルチキャスト
App.
App.
ＶＩＡＢＵＳ
App.
次の１０年間の課題








バッファオーバフローの根絶（別の記述言語）
設定用インターフェイス（フォーム、言語）
商用化
SockMux（のようなプロトコル）
大統一プロトコル？
テストケースの自動生成
共有ライブラリ、ツールキット化
形式記述＋生成系へ
10年後以降のDeleGate?

セキュリティ技術の今後
• フィルタリング vs. 暗号化の衝突

古典的ファイアウォール技術の衰退
• 暗号化通信の普及により、通過コンテンツ不可視に
• 現状でもHTTPS/SSLプロキシがあれば何でも通せ
てしまう
• 物理的単位（ネットワーク、ホスト）での防御の限界
10年後以降のDeleGate？

仮想ファイアウォール
• 仮想プライベートマシン（VPM入れ子）
• 仮想プライベートネットワーク（階層的） ←SockMux

データの署名に基づくアクセス制御
• 全てのデータ（入れ子）が、作成者の署名付きに
• 仮想プライベートマシンを出る時に自動署名付与
• データの仮想マシンへの出入り許可を署名に基づい
て制御
おしまい

・・・
インターネットのセキュリティ技術

隔離・隔絶


フィルタリング （⇒ ファイアウォール）






（コンテンツレベルの隔離・隔絶）
送信・中継・受信モデル－内容の盗聴と偽造を防ぐ
ネットワークレベル ：IPsec
応用レベル：SSL,SSH,S-HTTP,PGP,S/MIME,…
監視・検出


外側と内側モデル－外から内を守る（通信の監査・検閲）
ネットワークレベル：ルータ／パケットフィルタリング
応用レベル：プロキシ／応用メッセージプロキシ／応用メッセージ
暗号化・認証


（ネットワークレベル）
プライベートアドレス、ＶＰＮ
パケット監視 (IDS)、ログ監視、ウィルス走査
セキュリティホール対策 （バグの悪用防止）


発生防止: 言語仕様、コンパイラ、実行時検査、…
悪用防止： アドレスランダム化、繰り返し試行防止、…
SockMux 動機

FTP, HTTP, SMTP, …
• 共通の並列セッション・データ転送手段

アプリケーション層の多重化通信
• トンネリングのための実現手段
• 接続の繰り返しコスト削減効果

仮想ネットワークの構成
• 応用層ＶＰＮ
• ＶＩＡＢＵＳ（１９９１）
SockMux実装法（普及法）
既存の応用プログラムへの適用支援
 Socket関数の置き換え

• Connect関数他 （SOCKSと同様）
• マクロ＋静的ライブラリ ／ 動的ライブラリ

入出力関数の置き換え
• Read/write関数、send/recv関数
インターネット上の応用サービス
の中継･変換・統合技術
プロキシサーバ「ＤｅｌｅＧａｔｅ」
産業技術総合研究所
情報処理研究部門
佐藤豊
http://www.delegate.org/
DeleGateの概要

1994年生まれ・現在も成長中


多用途プロキシサーバ


HTTP,FTP,SMTP,POP,NNTP,Telnet,DNS,SOCKS,SSL,…
マルチプラットフォーム対応


アクセス制御、キャッシュ、経路制御、トンネリング、プロトコル変換、
サーバ統合、コンテンツフィルタ、コンテンツ変換、…
マルチプロトコル対応


小規模Gopher専用プロキシ（SunOS版）からの持続的な成長
Unix,Windows,OS/2,MacOS-X
配布形態・配布状況

オープンソース・フリーソフト、148カ国・24,000サイト
DeleGateの多用途化の経緯








必要性
ファイアウォール越え
日本語非対応のブラウザ
低速な広域ネットワーク
不安定なネットワーク接続
ＩＰ的に不連続なネットワーク
内部サーバ群を外部へ提供
翻訳中継・画像圧縮中継
プライバシー保護
⇒
⇒
⇒
⇒
⇒
⇒
⇒
⇒
⇒
機能
アクセス制御付き中継
コード変換
キャッシュ
経路制御・迂回
トンネリング中継
サーバ統合
外部フィルタ呼び出し
暗号化通信
DeleGateの対応プロトコル












応用プロトコル
応用サービス
HTTP,ICP
ウェブ、キャッシュ
SMTP,POP,IMAP
電子メール
NNTP
電子ニュース
FTP
ファイル転送
SOCKS,VSAP
プロキシ中継
SSL
暗号化通信
DNS
ドメイン名検索
Telnet,X
遠隔端末
Tcprelay,Udprelay
単純中継
LDAP
ディレクトリサービス
Lpr
遠隔プリンタ
Gopher,Wais,CU-SeeMe,Ident
絶滅？
DeleGateのプログラム規模の推移
８年間に５００回の改訂版リリース
140000
100000
97年1月
Windowｓ
対応
80000
60000
40000
20000
02
年
3月
20
01
年
3月
20
00
年
3月
20
99
年
3月
19
98
年
3月
19
97
年
3月
19
96
年
3月
19
19
95
年
3月
0
94
年
3月
94年3月
開発開始
94年6月
配布開始
19
プログラムサイズ（行数）
120000
6月
20
02
年
6月
20
01
年
6月
20
00
年
6月
19
99
年
15000
6月
配布先サイト数
20000
19
98
年
6月
19
97
年
6月
19
96
年
6月
19
95
年
6月
19
94
年
DeleGateの配布状況（１）
＋７サイト/日
25000
海外
国内
全体
10000
5000
0
DeleGateの配布状況（２）
140000
（配布元サーバからのダウンロードホスト数）
120000
100000
80000
60000
40000
20000
02
年
6月
20
01
年
6月
20
00
年
6月
20
99
年
6月
19
98
年
6月
19
97
年
6月
19
96
年
6月
19
95
年
6月
19
19
94
年
6月
0
クライアント／サーバモデル

インターネット上の応用サービスの実現モデル


サーバは情報や機能を提供し、クライアントは通信を実行しながら
それを利用する
応用プロトコル



サーバ/クライアント間の要求・応答の手順とデータの形式
各々の応用サービスごとに規定される
ＨＴＴＰ，ＳＭＴＰ，ＦＴＰ，…
プロキシサーバ

クライアントとサーバの間の通信を中継するサーバ

サーキットレベルプロキシ


単なるバイト列として要求と応答を中継 (SOCKS)
アプリケーションレベルプロキシ

応用プロトコルに固有な、要求と応答の手順とデータの形式を解釈
しながら中継
プロキシサーバの種類別得失

サーキットレベルプロキシ（ＳＯＣＫＳ等）




単なるバイト列として要求と応答を中継
実装が容易、全ての応用プロトコルに共通に適用可
中継以外の用途への発展性は乏しい
アプリケーションレベルプロキシ

応用プロトコルに固有な要求と応答の手順とデータの形式を理解して中継
実装が複雑（クライアントとサーバのサブセット機能×各プロトコル）
理解している内容にしたがってきめ細かな制御が可能

ただ中継するだけでなく、手順やデータの変換、フィルタ、統合ができる


⇒ 多様な付加価値サービスの実現可能性

DeleGateは両者を実現。後者の可能性を追及
ファイアウォール用プロキシ

プロキシの一般的な用途




クライアントサイト側での利用
アクセス制御付き中継
コンテンツキャッシュ
有害コンテンツ除去
サーバ統合プロキシ


複数のサーバを一つのサーバのように見せて提供する
サーバサイト側でのサーバ運用維持支援


各部門では独自にローカルにサーバを運用
• 内容の更新やログの管理が容易
各サーバを組織の代表サーバに統合し提供
要求の書き換え・転送
（プロトコル変換）
（応答のキャッシュ）
応答の書き換え・転送
コンテンツ変換プロキシ


プロキシが中継するコンテンツの変換
翻訳、通訳、圧縮、等、様々な応用
 変換機能を外付けするインターフェイスが必要
Ｈｉ，
どーも
翻訳
通訳
CFI:Common Filter Interface

プロキシに機能を外付けするインターフェイス


プロキシサーバ用ＣＧＩ、のようなもの


コンテンツ変換、コンテンツフィルタ、プロトコル変換
外付けフィルタプログラム＋ＣＦＩスクリプト
開発の背景・動機




DeleGateに付加価値を付けて商用利用する申し込み
組み込みだとライセンス上の問題が生じる（国有財産
…）
独立なプログラム同士として連携するだけなら無問題
ＣＧＩ的な機能をプロキシに導入するとどうなるかに興味
CGI:Common Gateway Interface

動的コンテンツの提供


外部プログラムによる、
HTTPサーバの機能拡張
インターフェイス仕様

入力
• 環境変数
• プログラム引数
• 標準入力

出力
• 標準出力

プログラム記述言語


任意の言語
適用プロトコル

HTTP
CFI-CGIとの対比

付加価値サービスの提供


外部プログラムによる、プロ
キシサーバの機能拡張
インターフェイス仕様

入力
• 環境変数
• プログラム引数
• 標準入力

出力
• 標準出力、標準エラー出力

プログラム記述言語


任意の言語
適用プロトコル

任意のプロトコル
CFIの使用法

CFIスクリプト



適用フィルタの選択
ヘッダの加工
ボディの加工
#!cfi
Content-Type: text/
Filter: en2ja
-Content-Type:image/gif
Filter: gif2jpeg

フィルタの挿入位置

--
要求フィルタ・応答フィルタ・双方向フィルタ
CFIによる暗号化プロキシの実現


任意のＳＳＬ非対応プロトコル、ＳＳＬ非対応クライ
アント/サーバを、ＳＳＬ対応に
SSL用フィルタは、ＣＦＩにより接続(OpenSSL使用)
CFIの利点
単純・普遍的なインターフェイス仕様
 任意の記述言語でフィルタを実装できる
 既存ソフトをフィルタとして再利用が容易
 DeleGateを改変せず利用可・独立な頒布
 栄枯盛衰する基盤技術からの独立

応用プロトコル
 記述言語

コンテンツ変換の応用実例

日本語コード変換

ＪＩＳ，Ｓｈｉｆｔ＿ＪＩＳ，ＥＵＣ－ＪＰ，ＵＴＦ－８

ＳＳＬ暗号化中継

英日翻訳中継


画像圧縮変換中継



Ｏ社、Ｓ社、 農水省農業生物資源研究所＊
Ｈ社
大阪弁変換フィルタ＊
携帯端末用コンテンツ圧縮・分割フィルタ