1392 دنفسا نابرهم ی هدنشخب دنوادخ مان هب رتویپماک و قرب یسدنهم هدکشناد رتویپماک یسدنهم هورگ دشرا یسانشراک هرود همان نایاپ

پوداه رد یریذپ سایقم راکوزاس دوبهب

مج یئاضر هموصعم : رگشهوژپ یلناخ دمحم یلیل رت کد مناخ راکرس : امنهار داتسا یربکا مظاک دمحم رت کد یاق ا بانج : رواشم داتسا

1392 دنفسا / 38

1392 دنفسا

بلاطم تسرهف

همدقم هلئسم حرش طبترم یاهراک یداهنشیپ شور هدنی ا تاداهنشیپ و یریگ هجیتن پوداه رد یریذپ سایقم دوبهب 2 / 38

همدقم هلئسم حرش طبترم یاهراک ی داهنشیپ شور و یریگ هجیتن داهنشیپ 1392 دنفسا

پوداه فیرعت

) ) MapReduce HDFS ( هدش ( شهاک ) YARN ( عبنم تیریدم هیلا عیزوت لیاف متسیس ای یزاس هریخذ هیلا : هیلا     پوداه رد یریذپ سایقم دوبهب پوداه یوکس یاه یگژیو هلمج زا یسرتسد تیلباق – نانیمطا تیلباق و یدنمتردق – لااب رایسب یریذپ سایقم – یگداس – • 3 / 38

پوداه زا هدننک هدافتسا یاه تکرش

1392 دنفسا پوداه رد یریذپ سایقم دوبهب 4 / 38

1392 دنفسا

بلاطم تسرهف

همدقم هلئسم حرش طبترم یاهراک یداهنشیپ شور هدنی ا تاداهنشیپ و یریگ هجیتن پوداه رد یریذپ سایقم دوبهب 5 / 38

همدقم هلئسم حرش طبترم یاهراک ی داهنشیپ شور و یریگ هجیتن داهنشیپ

یریذپ سایقم داعبا

یریذپ سایقم داعبا هداد عبانم شزادرپ

پوداه رد یریذپ سایقم دوبهب 1392 دنفسا 6 / 38

همدقم هلئسم حرش طبترم یاهراک ی داهنشیپ شور و یریگ هجیتن داهنشیپ تیفرظ

تباث تیفرظ رثا رد هتفر رده تیفرظ

هتفر رده تیفرظ تباث تیفرظ یعقاو زاین 1392 دنفسا پوداه رد یریذپ سایقم دوبهب نامز 7 / 38

1392 دنفسا

عوضوم تیمها یریذپ سایقم موزل شنایار نیرت ن قفوم پوداه

پوداه رد یریذپ سایقم دوبهب 8 / 38

) همادا ( عوضوم تیمها

پوداه لکشم

1392 دنفسا ولااب ریخات هب زاین تلاخد ناسنا هدافتسا لاب ی یایوپ ندنام ربا فاطعنا و پوداه رد یریذپ سایقم دوبهب و هفاضا وریپ ندرک مک تروص هب یتسد ،ارجا رد هعومجم تباث و اتسیا هرگ 9 / 38

همدقم هلئسم حرش طبترم یاهراک ی داهنشیپ شور و یریگ هجیتن داهنشیپ

لح هار

یریذپ سایقم راکدوخ فادها فیرعت ندرک لقادح ناسنا تلاخد عبانم یزاس هتفر راکب هنیهب ه اب قیبطت یارب رظتنم ریغ یاضاقت راکدوخ صیصخت طیارش ساسارب عبنم ناسنا هلخادم نودب پوداه رد یریذپ سایقم دوبهب 1392 دنفسا 10 / 38

فده

لوط رد عبن م مک یرو هرهب ای و یفاضا راب اب قیبطت یارب پوداه ی یاناوت اقترا ».

راکدوخ « تروصب و راک یارجا 1392 دنفسا پوداه رد یریذپ سایقم دوبهب 11 / 38

1392 دنفسا

بلاطم تسرهف

همدقم هلئسم حرش طبترم یاهراک یداهنشیپ شور هدنی ا تاداهنشیپ و یریگ هجیتن پوداه رد یریذپ سایقم دوبهب 12 / 38

طبترم یاهراک یدنب عمج

هلاقم زا جرختسم رایعم ضقن نامز تدم هرگ مادهنا هتشذگ یرو هرهب و هتشذگ راب یضایر نیگنایم هناتس ا ینیب شیپ رادقم ناونعب هتشذگ هزاب نیگنایم یرو هرهب رب هولاع راب زا هدافتسا موزل نوکس ینامز هزاب هرگ کی زا شیب ندوزفا هدنزادرپ یرو هرهب نیگنایم هناتس ا یدعب صیصخت یارب فرصم نیگنایم زا هدافتسا و ایوپ تروصب عبنم هاگولگ ی یاسانش لاعفریغ یاه هرگ اب یژرنا دوبهب اهراک فص لاعفریغ یاه هرگ اب یژرنا دوبهب 1392 دنفسا پوداه رد یریذپ سایقم دوبهب هئارا لاس 2010 2010 2012 2011 2012 2012 2010 2012 هلاقم عوضوم عاجترا لباق پوداه قلعم هرجنپ و یرارکت یوگلا هرگ دادعت لقادح فارگ و لومرف اه هداد ناکم رییغت یلحم و یمومع عبنم ریدم اشوپ هعومجمریز یدورو یاهراک یدنب میسقت 13 / 38

1392 دنفسا

بلاطم تسرهف

همدقم هلئسم حرش طبترم یاهراک یداهنشیپ شور هدنی ا تاداهنشیپ و یریگ هجیتن پوداه رد یریذپ سایقم دوبهب 14 / 38

همدقم هلئسم حرش طبترم یاهراک ی داهنشیپ شور و یریگ هجیتن داهنشیپ

یداهنشیپ شور

1392 دنفسا پوداه رد یریذپ سایقم دوبهب 15 / 38

همدقم هلئسم حرش طبترم یاهراک ی داهنشیپ شور و یریگ هجیتن داهنشیپ

یداهنشیپ راکوزاس یرامعم

یداهنشیپ راکوزاس ) هدش عیزوت لیاف متسیس + شهاک تشاگن ( پوداه n هرگ پوداه هشوخ عبنم ریدم … تخاسریز 2 هرگ پوداه رد یریذپ سایقم دوبهب 1 هرگ 1392 دنفسا 16 / 38

همدقم هلئسم حرش طبترم یاهراک ی داهنشیپ شور و یریگ هجیتن داهنشیپ

یداهنشیپ شور یارجا دنور

درکلمع ای تیعضو یریگ هزادنا رظندروم عبانم عبانم رب اه یدنمزاین تشاگن اب هدش یریگ هزادنا ریداقم هسیاقم تیفرظ یاه هناتس ا

1392 دنفسا

اه یدن مزاین هب یراکراب یاه ینیب شیپ لیدبت هدنی ا یراکراب ینیب شیپ

پوداه رد یریذپ سایقم دوبهب 17 / 38

1392 دنفسا 18 / 38

1392 دنفسا پوداه رد یریذپ سایقم دوبهب 19 / 38

1392 دنفسا پوداه رد یریذپ سایقم دوبهب 20 / 38

1392 دنفسا پوداه رد یریذپ سایقم دوبهب 21 / 38

1392 دنفسا پوداه رد یریذپ سایقم دوبهب 22 / 38

همدقم هلئسم حرش طبترم یاهراک ی داهنشیپ شور و یریگ هجیتن داهنشیپ

ن ا جیاتن و یبایزرا

1392 دنفسا پوداه رد یریذپ سایقم دوبهب 23 / 38

همدقم هلئسم حرش طبترم یاهراک ی داهنشیپ شور و یریگ هجیتن داهنشیپ 1392 دنفسا

یبایزرا یاهرایعم یبایزرا یارب رظندم یاهرتماراپ

راک مامتا نامز • هدنزادرپ یرو هرهب • فص رد رظتنم یاهراک دادعت هشوخ رد لاعف یاه هرگ دادعت • • پوداه رد یریذپ سایقم دوبهب 24 / 38

همدقم هلئسم حرش طبترم یاهراک ی داهنشیپ شور و یریگ هجیتن داهنشیپ

وریپ ره طیارش

هدنزادرپ هتسه ا یلصا هظفاح تیاب اگیگ 2 کسید تیاب اگیگ 8 2 هخسن پوداه بصن اه وریپ یمامت یور رب RRDtool 1.4.x هداد هاگیاپ بصن • • • • • پوداه رد یریذپ سایقم دوبهب 1392 دنفسا 25 / 38

همدقم هلئسم حرش

یبایزرا طیارش و تلااح

طبترم یاهراک رمتسم تعاس 1 رد پوداه هشوخ تیعضو یریگ هزادنا ی داهنشیپ شور و یریگ هجیتن هقیقد داهنشیپ 15 ندش یرپس زا سپ یزاوم تروصب ، pi ددع هبساحم شهاک تشاگن راک طیارش نامه اب رگید راک 15 15 عاجرا عاجرا ،اهراک نیا مامتا زا سپ یبایزرا تلااح تباث هرگ 2 : وریپ هرگ 2 اب – تباث هرگ 4 : وریپ هرگ 4 اب – راکدوخ هرگ 2 : هرگ 4 ات شیازفا و هرگ 2 ات شهاک و هرگ 2 اب عورش – راکدوخ هرگ 4 : هرگ 4 ات شیازفا و هرگ 2 ات شهاک و هرگ 4 اب عورش – • • • • پوداه رد یریذپ سایقم دوبهب 1392 دنفسا 26 / 38

همدقم هلئسم حرش طبترم یاهراک ی داهنشیپ شور و یریگ هجیتن داهنشیپ 4,5 4 3,5 3 2,5 2 1,5 1 0,5 0

هشوخ رد لاعف یاه هرگ دادعت

) هیناث ( یبایزرا عورش زا نامز

پوداه رد یریذپ سایقم دوبهب 1392 دنفسا راکدوخ یا هرگ 2 تباث یا هرگ 2 راکدوخ یا هرگ 4 تباث یا هرگ 4 27 / 38

همدقم هلئسم حرش طبترم یاهراک ی داهنشیپ شور و یریگ هجیتن داهنشیپ 250000 200000 150000 100000 50000 0 1392 دنفسا

راک مامتا نامز نیگنایم

یبایزرا فلتخم تلااح

پوداه رد یریذپ سایقم دوبهب تباث هرگ 2 راکدوخ هرگ 2 راکدوخ هرگ 4 تباث هرگ 4 28 / 38

همدقم هلئسم حرش طبترم یاهراک ی داهنشیپ شور و یریگ هجیتن داهنشیپ 1392 دنفسا 1 0 3 2 5 4 8 7 6

فص رد رظتنم یاهراک دادعت نیگنایم

6,88 4,12 3,2 2,48

یبایزرا تلااح

پوداه رد یریذپ سایقم دوبهب تباث یا هرگ ود راکدوخ یا هرگ ود راکدوخ یا هرگ 4 تباث یا هرگ 4 29 / 38

همدقم هلئسم حرش طبترم یاهراک ی داهنشیپ شور و یریگ هجیتن داهنشیپ 50 45 40 35 30

رو

25 20 15 10 5 0

هشوخ لک هدنزادرپ یرو هرهب نیگنایم

یبایزرا فلتخم تلااح

پوداه رد یریذپ سایقم دوبهب 1392 دنفسا تباث یا هرگ 2 راکدوخ یا هرگ 2 راکدوخ یا هرگ 4 تباث یا هرگ 4 30 / 38

1392 دنفسا

بلاطم تسرهف

همدقم هلئسم حرش طبترم یاهراک یداهنشیپ شور هدنی ا تاداهنشیپ و یریگ هجیتن پوداه رد یریذپ سایقم دوبهب 31 / 38

همدقم هلئسم حرش طبترم یاهراک ی داهنشیپ شور و یریگ هجیتن داهنشیپ 1392 دنفسا

دصرد بسحرب یبایزرا تلااح هسیاقم

دادعت یاه هرگ لاعف + 11.63

6.17

+ 73.42

77.72

یاهراک دادعت رظتنم + 40.11

+ 53.48

39.8

22.5

لیمکت نامز راک + 28.84

+ 33.08

17.97

12.78

یرو هرهب هدنزادرپ 7.70

7.61

+ 78.83

+ 78.85

هسیاقم هرگ 2 و تباث هرگ 2 راکدوخ هرگ 4 و تباث هرگ 2 راکدوخ هرگ 2 و تباث هرگ 4 راکدوخ هرگ 4 و تباث هرگ 4 راکدوخ پوداه رد یریذپ سایقم دوبهب 32 / 38

یدنب عمج هجیتن

1392 دنفسا ی یرو هرهب دوبهب : 17 : راک هشوخ 79

لح هار

ا ب راکدوخ یریذپ سایقم ی نیب شیپ یارب رظتنم پوداه رد یریذپ سایقم دوبهب

لکشم

ع اب قیبطت مدع 33 / 38

همدقم هلئسم حرش طبترم یاهراک ی داهنشیپ شور و یریگ هجیتن داهنشیپ

هدنی ا تاداهنشیپ

هدنزادرپ و هظفاح هب زاین و شزادرپ و هداد هب یریذپ سایقم یدنب هتسد اهراک مه رس تشپ جورخ و دورو تروصرد هشوخ زا هرگ کی زا شیب ندرک مک و هفاضا ، هکبش د ناب یانهپ زا هدافتسا ،هتفه یاهزور و تاعاس هلمج زا رگید ی یاه رایعم ندرک هفاضا یریذپ سایقم یاه رایعم هب تراظن زا کسید فرصم نازیم و هظفاح زا هدافتسا نازیم هنیزه یتعاس تخادرپ نتفرگ رظن رد اب اه هرگ فذح یزاجم یاه نیشام تخاس یاج هب OpenStack یدربراک یسیون همانرب یاه طساو زا هدافتسا راکدوخ تروص هب هرگ ندرک مک و هفاضا و هشوخ یزادنا هار یارب VMWare رد • • • • • پوداه رد یریذپ سایقم دوبهب 1392 دنفسا 34 / 38

همان نایاپ زا جرختسم هلاقم

•

Jam, M.R. ; Khanli, L.M. ; Akbari, M.K. ; Hormozi, E. ; Javan, M.S, Survey on Improved AutoScaling in Hadoop into Cloud

Environments, Information and Knowledge Technology (IKT), 2013 5th Conference on, Page(s):19 – 23, Shiraz, 28-30 May 2013 (Serial No: 978-1-4673-6489-8).

1392 دنفسا پوداه رد یریذپ سایقم دوبهب 35 / 38

عجارم

• • • • • • • Riteau, P., K. Keahey, and C. Morin. Bringing Elastic MapReduce to Scientific Clouds. in 3rd Annual Workshop on Cloud Computing and Its Applications: Poster Session. 2011.

Sharma, B., et al., Mrorchestrator: A fine-grained resource orchestration framework for hadoop mapreduce. 2012, Technical Report CSE-12-001, Pennsylvania State University.

Asadullah, A.M., et al. A data-centric heuristic for Hadoop provisioning in the cloud. in Proceedings of the 6th ACM India Computing Convention. 2013. ACM.

Vavilapalli, V.K., et al. Apache hadoop yarn: Yet another resource negotiator. in Proceedings of the 4th annual Symposium on Cloud Computing. 2013. ACM.

Sarma, J.S. Industry’s First Auto-Scaling Hadoop Clusters. June 2012; Available from: http://www.qubole.com/blog/index.php/first-auto-scaling-hadoop-hive-clusters .

Elastic Hadoop on OpenStack. Dec 5, 2013; Project Savanna: Operational agility & deployment flexibility across public and private clouds for Hadoop]. Available from: http://hortonworks.com/labs/openstack/ .

Elmeleegy, K., Piranha: Optimizing short jobs in hadoop. Proceedings of the VLDB Endowment, 2013. 6(11): p. 985-996.

پوداه رد یریذپ سایقم دوبهب 1392 دنفسا 36 / 38

) همادا ( عجارم

• • • • • • T. Römer, "Autoscaling Hadoop Clusters," MSc thesis, University of Tartu, 2010.

J. Leverich, C. Kozyrakis, “On the energy (in)efficiency of hadoop clusters,” In HotPower, 2010. D. Warneke, O. Kao, “Exploiting dynamic resource allocation for efficient parallel data processing in the Cloud,” Parallel and Distributed Systems, IEEE Transactions on 22 (6) (2011) 985 –997, 2011.

N. Maheshwari, R. Nanduri, V. Varma, “Dynamic energy efficient data placement and cluster reconfiguration algorithm for MapReduce framework,” Future Generation Computer Systems, vol. 28, no. 1, pp. 119–127, 2012.

Y. Chen, S. Alspaugh, D. Borthakur, R. Katz, “Energy Efficiency for Large-Scale MapReduce Workloads with Significant Interactive Analysis,” Proceedings of the 7th ACM european conference on Computer System, pp. 43-56, 2012.

R. Kaushik, M. Bhandarkar, K. Nahrsted, “Evaluation and Analysis of GreenHDFS: A Self- Adaptive, Energy-Conserving Variant of the Hadoop Distributed File System,” IEEE, 2012.

پوداه رد یریذپ سایقم دوبهب 1392 دنفسا 37 / 38

امش هجوت زا رکشت اب

1392 دنفسا پوداه رد یریذپ سایقم دوبهب 38 / 38