Transcript pptx - Kmonos.net

Boost.Intrusive
×
Boost.MultiIn dex
k.inaba (稲葉一浩)
http://www.kmonos.net/
Boost.勉強会 Dec 12, 2009
2/62
k.inaba といいます
こんなことやってます↓
3/62
今日お話したい内容
「僕は
データ構造
が 好きです」
Boostの すごい データ構造
その１
Boost.MultiIndex
5/62
日本語で言うと
Multi：複数の
Index：索引
6/62
お題：今日の発表リスト
#include <list>
struct Presen {
string twitterID; // ﾂｲｯﾀｰID
string hatenaID; // はてなID
string title;
// 発表題目
};
std::list<Presen> timeTable;
7/62
お題：今日の発表リスト作ろう
#include <boost/assign.hpp>
timeTable += Presen(
“cpp_akira”,
“faith_and_brave”,
“Boostライブラリ一週の旅”
);
8/62
お題：今日の発表リスト作ろう
timeTable += Presen(
“kinaba”,
“cafelier”,
“Boost.MultiIntrusivedex”
);
9/62
お題：今日の発表リスト作ろう
timeTable += Presen(
“melponn”,
“melpon”,
“Boost.Coroutine”
);
・・・以下略・・・
10/62
作ったデータを使おう！
• ○○さんの発表タイトルって
なんだったっけ？
twid_to_title(
timeTable,
“DecimalBloat”
) ==“Boost.Preprocessor”
11/62
こうだ！
#include <boost/foreach.hpp>
string twid_to_title(tt, id)
{
BOOST_FOREACH(Presen& p, tt)
if( p.twitterID == id )
return p.title;
throw std::out_of_range(id);
}
Boost
勉強会
発表者
12/62
未来予測
13/62
発表者
300億人に
スケールするには？
14/62
データ構造を変えれば
•std::set なら、検索が速い！
struct ByTwID
{ bool operator()(略) { 略 } };
// std::list<Presen>
std::set<Presen,ByTwID>
timeTable;
15/62
1億倍速い！
string twid_to_title(tt, id)
{
auto it =
tt.find(Presen(twid,“”,“”));
if( it != tt.end() )
return it->title;
throw std::out_of_range(twid);
}
16/62
なんで不合格？ (1)
• Twitter ID じゃなくて
はてな ID でも検索したい！
hatenaid_to_title(
timeTable,
“xyuyux”
)
== “Boost.Asio”
17/62
なんで不合格？ (2)
• 発表の順番も知りたい！
BOOST_FOREACH(Presen& p, timTbl)
cout << p.title << endl;
//
//
//
//
setだとIDの順に並んでしまう
- Boost.SmartPtr:shared_ptr+weak_ptr
- Boost.Preposessor
- Boost.ライブラリ一週の旅 …
18/62
ここまでの要望をまとめる
Twitter ID で
高速検索できて
はてな ID で
高速検索できて
表に入れた順番も
覚えとけ！
19/62
そんな
Boost.MultiIndex
あなたに
20/62
こうだ！
入れる物は
Presen
typedef
multi_index_container<Presen,
.twitterID で
indexed_by<
検索したい
ordered_unique<
member<Presen,string,&Presen::twitterID>
>,
ordered_unique<
member<Presen,string,&Presen::hatenaID>
>,
.hatenaID で
sequenced<>
検索したい
>
入れた順も
> MyTimeTable;
覚えといて！
21/62
mi<Presen,index<Tw,Ht,seq>>
// get<0>
//
twitterIDで
//
高速検索
timeTable.get<0>()
.find(“wraith13”);
22/62
mi<Presen,index<Tw,Ht,seq>>
timeTable.get<1>()
.find(“Cryolite”);
// get<1>
//
はてなIDで
//
高速検索
23/62
mi<Presen,index<Tw,Ht,seq>>
// get<2>
入れた順
BOOST_FOREACH(
const Presen& p,
timeTable.get<2>()
)
cout << p.title << endl;
24/62
ＦＡＱ
よくある
質問
25/62
ＦＡＱ
3つデータ構造
作るのと
何が違うの？
26/62
つまり、これとの違いは？
struct MyTimeTable {
set<Presen, ByTwID>
tt1;
set<Presen, ByHatenaID> tt2;
list<Presen>
tt3;
void add(const Presen& p)
{ tt1.insert(p);
tt2.insert(p);
tt3.push_back(p); }
};
27/62
インデックスの更新
「@kinaba です。用事入ったの
で発表キャンセル！」
tt1.erase(Presen(“kinaba”,“”,“”));
tt2.erase(…略…);
tt3.erase(…略…);
遅い！
28/62
インデックスの更新
MultiIndex なら
tt.get<0>().erase(“kinaba”);
１行 ＆ 一瞬
29/62
用意されてるインデックス
挿入
ordered_unique
ordered_non_unique
hashed_unique
hashed_non_unique
削除
機能
O(log N)
O(1)
set, multiset:
指定キーで検索
O(1)
O(1)
unordered_set 等:
指定キーでハッシュ検索
sequenced
O(1)
O(1)
list:
入れた順を覚える
random_access
O(1)
O(後続
要素数)
vector:
ランダムアクセス
30/62
MultiIndexの便利な所まとめ
• 色んなインデックスを付けられる
tt.get<0>().erase(“uskz”);
BOOST_FOREACH(p, tt.get<2>()) { … }
• 整数 0, 1, 2, … でなく、タグも付けられます
struct oreore {}; // てきとうな型
multi_index_container<T,
indexed_by<…, sequenced<tag<oreore>> > tt;
tt.get<oreore>();
31/62
MultiIndexの便利な所まとめ
• 実はむしろ普通のコンテナより便利
– find(key), modify(…)
set_tt.find(Presen(“uskz”,“”,“”));
vs
mi_tt.find(“uskz”);
Boostの すごい データ構造
その２
Boost.Intrusive
こちらｽﾈｰｸ Boostへの
侵入に成功した
＿＿＿＿
／ ／ ／|
＿|￣￣￣￣| |＿＿
／ |＿＿＿＿|／ ／
￣￣ |し | ￣￣
し⌒Ｊ
33/62
日本語で言うと
intrusive
= 侵入的
34/62
普通のデータ構造
• 構造の管理用メンバは、外
struct Presen {
string twitterID;
string hatenaID;
string title;
};
struct _List_node {
_List_node* prev;
_List_node* next;
Presen
data;
};
std::list<Presen> lst;
35/62
侵入的データ構造
• 管理用メンバが、侵入
struct Presen {
list_member_hook<> hook;
＿＿＿＿
string twitterID;
／ ／ ／|
＿|￣￣￣￣| |＿＿
／ |＿＿＿＿|／ ／
string hatenaID;
￣￣ |し | ￣￣
し⌒Ｊ
string title;
};
intrusive::list<Presen,…> lst;
36/62
メリット＆デメリット
今日は
細かい話は
スキップ
• デメリット
[Bad]
– データ定義がコンテナに依存しちゃう
– hook を自分で置く手間がかかる
• メリット
[Good]
– コピー不可オブジェクトも入れられる
– 複数のコンテナに同時に入れられる
• 実は MultiIndex 的なことができる
37/62
データ構造マニア的
Boost.Intrusive
の、特徴
異様に set の種類が多い
STL
MultiIndex
vector
deque
slist
list
set
random_access
unordered_set
sequenced
ordered
hashed
Intrusive
slist
list
set
unordered_set
avl_set
splay_set
sg_set
treap_set
38/62
39/62
マニア心をくすぐるset
•set
挿入:速い 検索:遅い
•avl_set 挿入:遅い 検索:速い
•sg_set 実行時↑ﾊﾞﾗﾝｽ切替
•splay_set よく使う要素:速い
•treap_set 優先度つけられる
Boostの すごい データ構造
その３
まぜてみよう！
こちらｽﾈｰｸMultiIndexへの
侵入に成功した
＿＿＿＿
／ ／ ／|
＿|￣￣￣￣| |＿＿
／ |＿＿＿＿|／ ／
￣￣ |し | ￣￣
し⌒Ｊ
41/62
すごいところ
•MultiIndex は
–入れるデータに手を加えずに
複数のインデックス張れて凄い
•Intrusive は
–sg_set とか splay_set とか
色々あってすごい
42/62
あわせると…？
もっとすごい！
43/62
というわけで目標
•Intrusive を使って
MultiIndex 用インデックス
avl<>
sg<>
を実装します
splay<>
treap<>
44/62
インデックスの作り方調べ中…
もしかして： 今はまだできない
整理はされてる！
将来やりたいなーと思ってる事
（ドキュメントないけど！）
• User-defined indices
ユーザもインデックスを定義できるようにする
– The mechanisms by which Boost.MultiIndex orchestrates the
operations of the indices held by a multi_index_container are
simple enough to make them worth documenting so that the
(bold) user can write implementations for her own indices.
45/62
というわけで
• この後の発表内容は
– 私がソースから勝手に解釈した方法
– 色々間違ってるかも
– 将来的に色々変わるかも
46/62
１
そもそも
複数のインデックス
の実体は？
47/62
class
index_node_base
{ T value; }
mi<T,index<Tw,Ht,Seq>>のﾉｰﾄﾞ
• こんなノードクラス
class
node_type
{
node_type*twL,*twR;
redblack twC;
node_type*htL,*htR;
redblack htC;
正確には
node_type *prev;
継承で
node_type *next;
T
value;
}
class {
seqnode* next;
seqnode* prev; }
class {
htnode *L, *R;
redblack C; }
class node_type {
node_type *L,*R;
redblack C; }
48/62
２
俺々ノード
の
実装
49/62
intrusive::sg_set の場合
• 親ｸﾗｽを外から指定可にする
template<typename Super>
struct my_node : public Super
{
sg_set_member_hook<> hook_;
};
あとは好きなように実装
コンストラクタ
呼ばれない
ので注意
50/62
３
次に
インデックス本体
の実体
class (順番保存用) : …
{ push_back,begin,end, … }
protected
class (はてなID検索用) : …
{ find,erase,begin,end, … }
protected
51/62
これも継承
protected
class index_base{…}
class (TWitterID検索用):…
{ find,erase,begin,end, … }
public
class
multi_index_container
: … {
public: twIndex& get<0>() { return *this; }
htIndex& get<1>() { return *this; }
seqIndex& get<2>() { return *this; }
}
52/62
４
俺々インデックス
の
実装
53/62
intrusive::sg_set の場合
• 親ｸﾗｽを外から指定可にする
template<class Meta, class Tag>
struct my_index
: protected Meta::type
{ // ここで必須typedefを大量定義
// ここで必須メソッドを実装する
sg_set<my_node<…>> impl_;
};
あとは好きなように実装
54/62
５
次に
コンテナ的メソッド
の実装
55/62
例
pop_back
(最後の要素を消す)
56/62
class my_index : … {
いろいろなインデックス
void pop_back() {
{ my_node* p = 気合い;
final_erase_(p); }
class index_base {
void erase_(my_node* p)
final_erase_(p){
{ impl_.erase(気合(p));
((mi*)this)
super::erase_(p); }}
->erase_(p);
}}
いろいろなインデックス
class multi_index_container : …
{ void erase_(node* p){super::erase_(p);} }
57/62
実装に使えるメソッド
•
•
•
•
•
•
•
•
•
•
•
•
•
bool
final_empty_()
size_t final_size_()
size_t final_max_size_()
pair<fnode*,bool> final_insert_(value)
pair<fnode*,bool> final_insert_(value, fnode*)
void final_erase_(fnode*)
void final_delete_node_(fnode*)
void final_delete_all_nodes_()
void final_clear_()
void final_swap_(final&)
bool final_replace_(value, fnode*)
bool final_modify_(MODIFIER mod, fnode*)
bool final_modify_(MODIFIER mod, ROLLBACK back, fnode*)
58/62
実装しないといけないメソッド
•
•
•
•
•
•
•
•
•
•
•
void
node*
node*
void
void
void
void
void
bool
bool
bool
copy_(const self&,const copy_map_type&)
insert_(value, node*)
insert_(value, node* position, node*)
erase_(node*)
delete_node_(node*)
delete_all_nodes_()
clear_()
swap_()
replace_(value, node*)
modify_(node*)
modify_rollback_(node*)
59/62
６
最後に
IndexSpecifier
60/62
IndexSpecifierって何？
multi_index_container<Presen,
indexed_by<use_my_index<>>
indexed_by<ここに並べるもの>
> template<typename Tag=tag<>>
struct use_my_index {
template<typename Super>
struct node_class
{ typedef my_node<Super> type; };
template<typename Meta>
struct index_class
{ typedef my_index<Meta,Tag> type; }
};
61/62
７
完成！
62/62
Thank You for Listening!
＿＿＿＿
／ ／ ／|
＿|￣￣￣￣| |＿＿
／ |＿＿＿＿|／ ／
￣￣ |し | ￣￣
し⌒Ｊ
http://github.com/kinaba/mint