Transcript Evaluation
LOGO
东北大学计算机软件研究所
11
Li
负载均衡处理方法分类
静态的负载均衡处理
通过Hash划分,范围划分,Min-cut等等方法,尽可能在运
行前将数据均匀分配
由于数据集本身性质以及她图算法的行为都会影响计算节点
的工作量,所以静态负载均衡处理并不能完全的解决负载不
均的问题
动态的负载均衡处理
在运行的过程中,对各个计算节点相关信息的统计,并通过
这些统计信息,动态的进行负载均衡处理
有一定的通信开销,信息维护开销
西南大学物理科学与技术学院 2004级物理学3班 hzx
11
Li
动态负载均衡处理分类
集中式负载均衡处理
各个计算节点的统计信息汇总到单个节点(如Master节点),
有该节点控制和管理负载均衡处理
有可能造成管理节点负载过大
分散式负载均衡处理
每个计算节点都维护一份统计信息,并根据信息自发的尽心
负载均衡处理
通信量较大
西南大学物理科学与技术学院 2004级物理学3班 hzx
11
Li
论文主要内容
11
Li
图算法分类
稳定的图算法
每次迭代发送和接收的信息量不变
PageRank算法, SimRank算法
不稳定的图算法
每次迭代发送和接收的信息量不变
各种各样的在社交网络上的模拟(广告传播)
Top-K Ranks in PageRank
11
Li
11
Li
监测信息
西南大学物理科学与技术学院 2004级物理学3班 hzx
11
Li
监测信息
11
Li
负载均衡处理的时机
11
Li
11
Li
负载均衡处理的步骤
1. 通过统计数据来鉴别负载不均的节点
不均衡的计算节点的 𝒛 − 𝐬𝐜𝐨𝐫𝐞 > 𝒛𝒅𝒆𝒇 (𝟏. 𝟗𝟔)
𝒛 − 𝐬𝐜𝐨𝐫𝐞
11
Li
负载均衡处理的步骤
2. 选择负载均很处理的目标
在接收信息量、发送信息量,响应时间三个监测量中,选择
一个当前情况下对效率影响最大的量作为负载均衡处理的目
标
11
Li
负载均衡处理的步骤
3. 选择迁移目标计算节点
将负载较重的节点与负载较轻的计算节点配对
11
Li
负载均衡处理的步骤
4. 选择迁移的图顶点
11
Li
负载均衡处理的步骤
4.迁移图顶点
延时迁移策略
Evaluation
• Experiments:
– Implemented Mizan using C++ and MPI
– 12 machines with i5 processor 16GB RAM
Evaluation
• Benchmarks:
– Static: disables any dynamic migration
– Work Stealing (WS): Pregel version
– Mizan.
Evaluation
• Static Mizan vs. Giraph:
Evaluation
• PageRank on three system:
Evaluation
• Migration costs:
Evaluation
• Un-stationary algorithm:
Evaluation
• Migration overhead:
Really?
• Some arguable parts of Mizan:
– Cost: migration planning, multi global
information synchronization(S1,S2,S3)
• Especially in S3, global order maintaining
–
–
–
–
Large data transferred in migration
Migration will lead more cross-communication
Centralized management bad than decentralized?
Not friendly to graph mutation
……
Step 1
Step 2
• Select the migration objective
– Outgoing msg, incoming msg, response time
– Compute correlation between:
• Outgoing msg and response time
• Incoming msg and response time
• Default response time
Step 3
Step 4
Step 5
• Migrate vertices
– when all workers arriving at migration barrier
– Migrated data:
•
•
•
•
vertex ID
State
edge information (friends list)
the received messages it will process
LOGO
谢谢!
2014.04.05
东北大学计算机软件研究所