Transcript buradan - Ahmet Sayar

Her Yönüyle Grid ve
Cloud Computing
Karşılaştırması
Serdar Bakır
Kocaeli Üniversitesi
Bilgisayar Mühendisliği
Danışman: Yrd. Doc. Dr. Ahmet Sayar
Sunumun Temel aldığı makale
• Sunum Ian Foster’in “Cloud Computing and Grid
Computing 360-Degree Compared” başlıklı
makalesini temel almıştır.
• Ian T. Foster, Yong Zhao, Ioan Raicu, Shiyong Lu:
Cloud Computing and Grid Computing 360-Degree
Compared CoRR abs/0901.0131: (2009)
Grid Computing Ve Cloud Computing Nedir?
• Bulut bilişimin günümüzde onlarca tanımı
mevcut.Ancak bulut bilişimin ne olduğu hakkında
kesin bir tanım yok.
• Bununla beraber bulut bilişim yeni bir konsept değil.
Ancak yaklaşık otuz yıllık tarihi olan dağıtık sistemler,
grid computing, utility computing’e göre yeni bir fikir.
Grid Computing Ve Cloud Computing Nedir?
• Bulut bilişim bize ileride bilgisayarlarımızın hangi
mimaride olacağı hakkında ipuçları veriyor. Bulut
bilişim temel olarak yerel bir sistem değil.Bunun
yerine işlemlerimizi uzak sunucularda
gerçekleştirmemizi ve dosyalarımızı yine uzak
sistemlerde saklamamızı sağlıyor.
Grid Computing Ve Cloud Computing Nedir?
• Grid computing 1990’ların ortasında tüketicilerin
eldeki işlem gücünü talep edildiğinde kullandırması
olarak tanımlanmıştır.
• Ian Foster ve diğerleri bilgisayarlara istek
protokollerin standartlaştırılmasını sağlamıştır.
• Ardından geliştiriciler büyük boyutta dağıtık sistemler
oluşturdular. (TeraGrid,Open Science Grid, caBIG,
EGEE, Earth System Grid)
Grid Computing Ve Cloud Computing Nedir?
• Peki bulut bilişim grid computingden daha yeni bir
fikir mi?
• Evet-Çünkü işlem ücretleri düşecek, güvenilirlik
artacak, uyumluluk artacak.
• Hayır-Çünkü herşey 10 yıl öncesine göre çok
farklı.Artık daha büyük dosyalarla işlem yapıyoruz.Bu
da işlem gücüne olan ihtiyacımızı çok fazla
artırıyor.Bununla beraber artık sanallaştırma
teknolojisi işlem gücünü ucuz birim maliyetiyle bize
sunuyor.
Cloud Computing (Bulut Bilişim) Nedir?
• Bulut bilişim kullanıcıların internet üzerinden
kullanabileceği büyük ölçekli sanallaştırılmış bilgisayar
havuzudur. Kullanıcılar bu havuzdan istedikleri ölçüde
faydalanabilir ve bu ölçüde de ücret öder.
• Burada önemli üç nokta var:
1)Güçlü bir ölçeklendirme yapısı
2)Kullanıcılar için ayrıştırılabilir farklılaştırabilir sistem
yapısı
3)Ekonomi tabanlı olarak kullanıcıların aldığı hizmet
dinamik bir şeklide arttırılabilir yada azaltılabilir.
Cloud Computing (Bulut Bilişim) Nedir?
• Ancak bunlarla beraber bulut bilişimin önünde birkaç
engel söz konusu
1) Hızla düşen donanım fiyatları ve bununla birlikte
ucuzlayan işlem gücü.
2) Karesel olarak artan veri boyutları.
3) Yaygın olarak kullanılan web 2.0 ve servis
mimarisine uyum sağlama.
Bulut Bilişim Grid Computing Dağıtık Sistemler
• Aslında bulut bilişim; grid computing utility computing ve
service computing ile fazlasıyla benzeşen bir sistem.
• Bulut bilişim yalnızca grid computing ile gelişebilecek bir
sistem değil.Bununla beraber iş modeli olarak utility
computing ile gelişmek zorunda.
• Utility computing ise işlem gücünün ekonomik bedelini
alışık olduğumuz bir kere al sınırsız kullan olarak değil ne
kadar kullanırsan o kadar öde olarak belirler.
Bulut Bilişim Grid Computing Dağıtık Sistemler
Grid ve Cloud Computing’in Karşılaştırılması
Bu kısmın amacı bulut bilişim ve grid computing’i geniş
bir açıdan mimari, güvenlik modeli, iş modeli, program
modeli, sanallaştırma, veri modeli, işlem modeli,
konumlandırma ve uygulamalar bazında
karşılaştırmaktır.
Grid ve Cloud Computing’in Karşılaştırılması
-İş Modeli Açısından
Bulut Bilişim İş Modeli
• Geleneksel yazılım iş modeli bir kez al sınır kullan
şeklindedir.
• Ancak bulut bilişimde kullanıcılar kullandıkları kadar
öder.Yani kullanıcı işlem gücünü ne kadar
kullanmışsa, ne kadar dosya depoluyorsa yada ne
kadar trafik kullanmışsa bunlara göre ücret öder.
Grid ve Cloud Computing’in Karşılaştırılması
-İş Modeli Açısından
• Bununla beraber yüzbinlerce işlemciye sahip bir
sistemi kullanmak için gerekli olan tek şey kredi
kartıdır.
Grid ve Cloud Computing’in Karşılaştırılması
-İş Modeli Açısından
Grid Computing İş Modeli
• Grid sistemlerin iş modeli ise proje bazlıdır ve
kullanıcılar bu sistemlere cpu saati ile ödeme yapar.
• Örnek vermek gerekirse teraGrid bir düzineden fazla
dünyanın farklı yerlerinde bulunan grid sitesine
sahiptir.
Grid ve Cloud Computing’in Karşılaştırılması
-Mimari Açısından
• Grid sistemler 1990’ların ortasında büyük ölçekli
sistemlerin adreslenmesi olarak kuruldu.
• Amaç süper bilgisayarlara alternatif olarak yüksek
performansı ekonomik bir şeklide almaktı.
• Grid sistemler mevcut işlem gücünü işletim
sistemleri, kaynak yönetimi güvenlik altyapısıyla
birleştirmeyi amaçlamaktadır.
Grid ve Cloud Computing’in Karşılaştırılması
-Mimari Açısından
Grid mimarisi 5 farklı katman olarak geliştirildi.
Grid ve Cloud Computing’in Karşılaştırılması
-Mimari Açısından
• 1-)Fabric Layer:
• Sistemin farklı kaynaklara ulaşmasını sağlar.Ağ, bellek
işlemci, kodlar gibi.Fabric katmanı genelde hali hazırda
bulunan sistemleri kullanır.
• 2-)Connectivity Layer:Çekirdek iletişimini ve yetki
protokollerini; güvenli ve hızlı ağ erişimi için belirler. The
GSI (Grid Security Infrastructure) tüm grid sistemlerin
altyapısını oluşturmaktadır.
• 3-)Resource Layer: Bireysel kaynakların bulunması,
yayınlanması, hesap işlemleri, ve paylaşımları
belirlemektedir.
Grid ve Cloud Computing’in Karşılaştırılması
-Mimari Açısından
• 4-)Collective Layer:Kaynak koleksiyonları arasındaki
etkileşimleri yakalamaktadır.İzinler, işlemlerin
çizelgelendirilmesi bu katmanda yapılır.
• 5-)Application Layer:Kullanıcı katmanlarını
kapsamaktadır.Uygulamalar diğer katmanları
kullanarak yazılır.
Grid ve Cloud Computing’in Karşılaştırılması
-Mimari Açısından
• Bulut bilişim internet tabanlı bir mimaridir ve bu
yüzden bazı sorunlar farklıdır.
• Bulut bilişim kaynaklara ulaşmak için standart web
protokollerini kullanmaktadır.(web 2.0 wsdl soap ajax
gibi)
Grid ve Cloud Computing’in Karşılaştırılması
-Mimari Açısından
• Bulut Bilisim 4 katmandan oluşur.
Grid ve Cloud Computing’in Karşılaştırılması
-Mimari Açısından
• 1-)Fabric Layer: Bu katman ham halde donanımları
bulundurur.Bunlar işlemci, bellek veya ağ kaynakları
olabilir.
• 2-)Unified Layer:Bu katmanda sanallaştırılmış
kapsullenmiş kaynaklar bulunur.
Grid ve Cloud Computing’in Karşılaştırılması
-Mimari Açısından
• 3-)Platform Layer:Kapsullenmiş sanallaştırılımış
kaynaklara burada gerekli yazılımlar eklendikten
sonra yayınlamaya/kullanıma hazır hale gelir.
• 4-)Application Layer:Bulut içinde kullanılacak
uygulamaları içinde barındırır.
Grid ve Cloud Computing’in Karşılaştırılması
-Mimari Açısından
• Bulut bilişim genelde 3 farklı hizmet düzeyiyle
sunulur bunlar IaaS, PaaS, ve Saas’dir.
• Infrastructure as a Service (IaaS) Bulut bilişim
hizmetinin altyapı olarak sunulmasıdır.Bu hizmet
modelinde kullanıcılar platformlarını kendileri
oluşturur
Grid ve Cloud Computing’in Karşılaştırılması
-Mimari Açısından
• Platform as a Service (PaaS) Bulut bilişim
hizmetlerinin platform olarak
sunulmasıdır.Kullanıcılar yazılımlarını kendileri
geliştirir.
• Software as a Service (SaaS) Bulut bilişimin kullanıma
hazır olarak sunulmasıdır.
Grid ve Cloud Computing’in Karşılaştırılması
-İşlem Modeli Açısından
• Çoğu grid sistem yığın zamalı (batch scheduled) işlem
mimarisinde çalışır.
• LRM (local resource manager) işlemleri yönetir.Bu
işlem PBS, Condor, SGE gibi programlarla
gerçekleştirilir.
Grid ve Cloud Computing’in Karşılaştırılması
-İşlem Modeli Açısından
• Lrm mimarisinin çalışma şekline örnek vermek
gerekirse bir işlem 100 adet işlemciyi 1 saat boyunca
kullanım hakkı talep etsin.Bunun için 100 adet
işlemcinin 1 saat boyunca bu işlemciye tahsis
edilmesi gerekmektedir.
• Bu nedenle grid sistemler interaktif uygulamaları
desteklemez.
Grid ve Cloud Computing’in Karşılaştırılması
-İşlem Modeli Açısından
• Ancak bulut bilişimin mimarisi oldukça farklıdır.
• Bulut bilişimde kaynaklar tüm kullanıcılar tarafından
eş zamanlı olarak paylaşılır.
• Bu nedenle bulut bilişimde gecikmelere izin verilir.
Grid ve Cloud Computing’in Karşılaştırılması
-Veri Modeli Açısından
• Pek çok kişi günümüz internet bilişiminin zamanla
bulut bilişimin merkezi olacağı görüşünde.
• İnternet bilişiminin zamanla verileri tablodaki gibi
üzerine alacağı düşünülüyor.
Grid ve Cloud Computing’in Karşılaştırılması
-Veri Modeli Açısından
Ancak bunun gelişmesinin önünde birkaç önemli sorun
mevcut.
1) Güvenlik sorunları:Kullanıcılar önemli işlemlerini ve
verilerini bulut üzerinde işlemek istemeyecektir.
2) Ağ hızı:Kullanıcılarinternet hızı düşük olduğunda
yada internet erişimi olmadığında verilerine ve
işlemlerine ulaşamayacak.
Grid ve Cloud Computing’in Karşılaştırılması
-Veri Modeli Açısından
• Grid computing ise yoğun verileri işlemek üzere
taşarlanmıştır.
• Bu yoğun veriler sanallaştırılmış ve dağınık haldedir.
• Sanal haldeki veriler dataları,programları ve işlemleri
barındırır.
Grid ve Cloud Computing’in Karşılaştırılması
-Veri Modeli Açısından
3) Gelişen teknoloji:Bulut bilişimin en önemli
avantajlarından olan yüksek başarımlı bilgisayarlar
günümüzde ev kullanıcıları için de mümkün.Çünkü
yeni nesil donanımlar çok daha hızlı.
Grid ve Cloud Computing’in Karşılaştırılması
-Veri Konumları Açısından
• Birim işlem fiyatları her yıl düşmekte ve bununla
beraber işlenen veriler ise her yıl iki katına
çıkmaktadır.
• Ancak veri boyutlarındaki bu hızlı yükseliş işlemcileri
darboğaz haline getirmektedir.
• Giriş çıkış işlemlerinin hızlarında lokal disk ve ağ
üzerinde çok ciddi bir hız farkı bulunmaktadır.
Grid ve Cloud Computing’in Karşılaştırılması
-Veri Konumları Açısından
• İnternet üzerinden iyi bir bulut,grid işlemi
sağlayabilmek için veriler işlem icin en iyi ve en
ekonomik yere yönlendirilebilmeli.
• Google’s MapReduce adlı program google file system
üzerinde çalışmaktadır.
• Bu program yüklenen programları parçalara
ayırmakta ve tum parcaları kopyalamaktadır.
Grid ve Cloud Computing’in Karşılaştırılması
-Veri Konumları Açısından
• Bu programa yuklenen verinin işlenmesi gerektiğinde
ise haritaya bakılarak veri yeniden birleştirilmekte ve
talep edilen işleme sunulmaktadır.
• Grid sistemler ise paylaşımlı dosya sistemlerini
kullanmaktadır.( NFS, GPFS, PVFS, Luster gibi)
Grid ve Cloud Computing’in Karşılaştırılması
-İşlemleri ve Veri Yönetimini Birleştirmek Açısından
• Dağıtık sisemlerde en kritik noktalardan birisi işlem
gücünü ve verileri optimum bir şekilde
birleştirmektir.
• Uygulamalarda işlem performansının optimize
edilebilmesi için verileri minimum miktarda heraket
etmesi gerekmektedir.
Grid ve Cloud Computing’in Karşılaştırılması
- Sanallaştırma Açısından
• Sanallaştırma teknolojisi bulut bilişimin kaçınılmaz
bileşenlerindendir.
• Bulut bilişim aynı anda milyonlarca uygulamanın
çalışmasını gerektirmektedir.
• Bu uygulamalar simultane halde bulut bilişim
kaynaklarını kullanmalıdır.
Grid ve Cloud Computing’in Karşılaştırılması
- Sanallaştırma Açısından
• Sanallaştırma ise burada devreye girmekte.Ham
halde bulunan kaynaklar (harddisk, işlemci gibi)
sanallaştırılarak farklı yerlerde bulunan bulunan
veriler yine farklı yerlerde olan işlemciler tarafından
işlenmelidir.
• Sanallaştırma kaynakları birleştirmenin yanında
guvenligi, yonetimi ve izolasyonu sağlamalı.
Grid ve Cloud Computing’in Karşılaştırılması
- Sanallaştırma Açısından
• Grid sistemler ise bulut bilişim kadar sanallaştırma
teknolojisini kullanmaz.
• Ancak bunula beraber grid sistemlerde de
sanallaştırma teknolojisi kullanılmaya
çabalanmaktadır.
• Nimbus adlı program grid computing’in soyutlaştırma
ve yayınlama kapasitesini arttırmıştır.
Grid ve Cloud Computing’in Karşılaştırılması
- Sanallaştırma Açısından
• Bu programla grid üzerine dinamik ve güvenli bir
şekilde işlem yapılabilmektedir.
• Geçmişte sanallaştırma teknolojisi bir miltar veri
kaybına sebep olmaktaydı.Ve bu kayıp
sanallaştırmanın en büyük dezavantajı
durumundaydı.
• Günümüzdeye işlemci firmaları sanallaştırma
teknolojisini desteklemektedir.
Grid ve Cloud Computing’in Karşılaştırılması
- İzleme (Monitoring) Açısından
• Bulut bişimin önemli noktalarında bir ise iyi bir
kontrol mekanizmasıdır.
• Grid computing de izleme bulut bilşime nazaran daha
kolaydır çünkü grid sistemler bulut bilişim kadar
sanallaştırılmamıştır ve bulut bilişime göre daha
güzenilir kaynaklar kullanılmaktadır.
Grid ve Cloud Computing’in Karşılaştırılması
- İzleme (Monitoring) Açısından
• Bulut bilişimde ise farklı hizmet modelleri bu konuda
sorun oluşturmaktadır.Örneğin IaaS hizmeti veren bir
kurum kullanıcısına API’ları sağlamalıdır.Ancak bu
API’lar ile yazılan programları denetleyemez.
Grid ve Cloud Computing’in Karşılaştırılması
- Programlama Modeli Açısından
• Grid programlama geleneksel paralel
programlamadan oldukça karışıktır.
• Çünkü grid sistemlerde alışılagelmiş dağıtık
sistemlere ek olarak farklı türde sistem kaynakları,
yetki sorunları, stabilite ve performans sorunları
bulunmaktadır.
Grid ve Cloud Computing’in Karşılaştırılması
- Programlama Modeli Açısından
• MPI (message passing interface) paralel
programlama için en yaygın programlama yöntemidir.
• MPICH-G2 ise MPI mimarisini grid için uygun hale
getirmiştir.
Grid ve Cloud Computing’in Karşılaştırılması
- Programlama Modeli Açısından
• Cloud sistemler ise genelde web mimarisi üzerine
geliştilişmiştir.(Amazon Web Wervices , Microsoft
Azure gibi)
• Bu sistemler Web servisler, HTTP ve SOAP gibi
halihazırda bulunan protokolleri kullanır.
Grid ve Cloud Computing’in Karşılaştırılması
- Programlama Modeli Açısından
• Cloud sistemler ise genelde web mimarisi üzerine
geliştilişmiştir.(Amazon Web Wervices , Microsoft
Azure gibi)
• Bu sistemler Web servisler, HTTP ve SOAP gibi
halihazırda bulunan protokolleri kullanır.
Grid ve Cloud Computing’in Karşılaştırılması
- Uygulama Modeli Açısından
• Grid sistemler HPC mimariden HTC mimariye kadar
geniş bir aralığa hizmet verir.
• HPC (High Performance Computing) birbirine
optimum şekilde baglanmış gecikme süreleri düşük
sistemlerde verimlidir.
• Bu sistemler işlemlere ulaşabilmek için mpi
arayüzünü kullanır.
Grid ve Cloud Computing’in Karşılaştırılması
- Uygulama Modeli Açısından
• HTC(High Throughput Computing) sistemler ise
içerdiği uygulamalar açısından pek çok görev (task)
barındırır.
• Bu işlemler birbirinden bağımlı yada bağımsız olabilir.
Grid ve Cloud Computing’in Karşılaştırılması
- Uygulama Modeli Açısından
• Diğer taraftan ise bulut bilişimden beklenen ise HPC
sistemler gibi yüksek performanstır.Ancak hpc
sistemler gibi kaynakların birbiriyle düşük gecikmede
çalışması oldukça zordur ve bunula beraber oldukça
fazla sayıdaki kaynağı (işlemci, bellek gibi) dengeli
kullanmak da oldukça zordur.
• Bu yüzden bulut bilişim hala bebeklik dönemindedir.
Grid ve Cloud Computing’in Karşılaştırılması
- Güvenlik Modeli Açısından
• Bulut bilişim pek çok farklı data centerdan oluşur.Ve
bu sistemler yapı olarak birbirinden farklı olabilir.
• Buna karşın grid sistemler daha homojen yapıdadır.
• Bulut bilişimde bu fark kullanımda ciddi sorunlar
oluşturabilir.
Grid ve Cloud Computing’in Karşılaştırılması
- Güvenlik Modeli Açısından
• Örnek vermek gerekirse işlemlerinizin bir kısmını
farklı bir bulutta diğer kısmını da farklı bir bulutta
işlediğinizi düşünün.Böyle bir durumda her iki sistem
birbiryle haberleşebilmeli ancak bulutların
kendilerine ait yetkilendirme sistemleri burada
potensiyel bir sorun oluşturmaktadır.
Grid ve Cloud Computing’in Karşılaştırılması
- Güvenlik Modeli Açısından
• Grid sistemlerde ise bu şekilde bir yapı olmadığından
sorun daha azdır.
• Grid sistemler GSI (Grid Security Infrastructure) ile
gerekli protokollere sahip olur.
• Günümüzde bulut sistemler grid sistemlere göre
daha basit güvenlik yapılarına sahiptir.
Grid ve Cloud Computing’in Karşılaştırılması
- Güvenlik Modeli Açısından
• Daha önce de bahsettiğimiz gibi bulut bilişim tipik
web protokollerini temel alır.
• Bu nedenle güvenlik bulut bilişimin en önemli
sorunlarından biridir.Güvenlik sorununun altbaşlıkları
şu şeklide belirtilebilir:
• 1-)Kullanıcı Girişleri/Yetkilendirme:
Kurumsal işlemlerde kritik verilere yalnızca yetkili
kişiler ulaşabilmeli.
Grid ve Cloud Computing’in Karşılaştırılması
- Güvenlik Modeli Açısından
• 2-)Mevzuata Uygunluk:
Müşteriler hizmet aldıkları kurumdan güvenlik
konusunda sertifika bekleyecklerdir.
• 3-)Veri Konumları:
Dosyaları bilinmeyen bir yerde tutulan kullanıcıya yerel
mahremiyet sağlanmalı.
Grid ve Cloud Computing’in Karşılaştırılması
- Güvenlik Modeli Açısından
• 4-)Veri Ayrıştırılması
Veriler diğer kullanıcılardan tamamen ayrıştırılmalı.
• 5-)Yedekleme
Kullanıcıların dosyaları verimli bir şekilde yedeklenmeli.
• 6-)Süreklilik
Bulut sağlayıcısı başka bir şirket tarafından alınsa dahi
kullanıcı verilerine erişebilmeli.