Transcript Evaluation

LOGO
东北大学计算机软件研究所
11
Li
负载均衡处理方法分类
静态的负载均衡处理


通过Hash划分，范围划分，Min-cut等等方法，尽可能在运
行前将数据均匀分配
由于数据集本身性质以及她图算法的行为都会影响计算节点
的工作量，所以静态负载均衡处理并不能完全的解决负载不
均的问题
动态的负载均衡处理


在运行的过程中，对各个计算节点相关信息的统计，并通过
这些统计信息，动态的进行负载均衡处理
有一定的通信开销，信息维护开销
西南大学物理科学与技术学院 2004级物理学3班 hzx
11
Li
动态负载均衡处理分类
集中式负载均衡处理


各个计算节点的统计信息汇总到单个节点（如Master节点），
有该节点控制和管理负载均衡处理
有可能造成管理节点负载过大
分散式负载均衡处理


每个计算节点都维护一份统计信息，并根据信息自发的尽心
负载均衡处理
通信量较大
西南大学物理科学与技术学院 2004级物理学3班 hzx
11
Li
论文主要内容
11
Li
图算法分类
稳定的图算法


每次迭代发送和接收的信息量不变
PageRank算法， SimRank算法
不稳定的图算法



每次迭代发送和接收的信息量不变
各种各样的在社交网络上的模拟（广告传播）
Top-K Ranks in PageRank
11
Li
11
Li
监测信息
西南大学物理科学与技术学院 2004级物理学3班 hzx
11
Li
监测信息
11
Li
负载均衡处理的时机
11
Li
11
Li
负载均衡处理的步骤
1. 通过统计数据来鉴别负载不均的节点


不均衡的计算节点的 𝒛 − 𝐬𝐜𝐨𝐫𝐞 > 𝒛𝒅𝒆𝒇 (𝟏. 𝟗𝟔)
𝒛 − 𝐬𝐜𝐨𝐫𝐞
11
Li
负载均衡处理的步骤
2. 选择负载均很处理的目标

在接收信息量、发送信息量，响应时间三个监测量中，选择
一个当前情况下对效率影响最大的量作为负载均衡处理的目
标
11
Li
负载均衡处理的步骤
3. 选择迁移目标计算节点

将负载较重的节点与负载较轻的计算节点配对
11
Li
负载均衡处理的步骤
4. 选择迁移的图顶点
11
Li
负载均衡处理的步骤
4.迁移图顶点

延时迁移策略
Evaluation
• Experiments:
– Implemented Mizan using C++ and MPI
– 12 machines with i5 processor 16GB RAM
Evaluation
• Benchmarks:
– Static: disables any dynamic migration
– Work Stealing (WS): Pregel version
– Mizan.
Evaluation
• Static Mizan vs. Giraph:
Evaluation
• PageRank on three system:
Evaluation
• Migration costs:
Evaluation
• Un-stationary algorithm:
Evaluation
• Migration overhead:
Really?
• Some arguable parts of Mizan:
– Cost: migration planning, multi global
information synchronization(S1,S2,S3)
• Especially in S3, global order maintaining
–
–
–
–
Large data transferred in migration
Migration will lead more cross-communication
Centralized management bad than decentralized?
Not friendly to graph mutation
……
Step 1
Step 2
• Select the migration objective
– Outgoing msg, incoming msg, response time
– Compute correlation between:
• Outgoing msg and response time
• Incoming msg and response time
• Default response time
Step 3
Step 4
Step 5
• Migrate vertices
– when all workers arriving at migration barrier
– Migrated data:
•
•
•
•
vertex ID
State
edge information (friends list)
the received messages it will process
LOGO
谢谢！
2014.04.05
东北大学计算机软件研究所