slides1_terj.

Transcript slides1_terj.

Chapter 1

Komputer Paralel

1.1

Tuntutan Terhadap Kecepatan Komputasi

• Tuntutan yang terus mendesak agar sistem komputer menunjukkan kecepatan komputasi yang lebih besar dari saat ini.

• Bidang yang membutuhkan kecepatan komputasi yang tinggi mencakup pemodelan numerik dan simulasi masalah ilmiah dan teknik.

• Komputasi harus diselesaikan dalam waktu yang “masuk akal”.

1.2

Masalah yang Merupakan Tantangan Besar

… adalah masalah yang tidak dapat diselesaikan dalam waktu yang masuk akal dengan kecepatan komputer yang sekarang … → berkisar sekitar 10 tahun waktu eksekusi.

Contoh

• Pemodelan struktur DNA yang besar • Peramalan cuaca global • Pemodelan gerakan benda luar angkasa.

1.3

Peramalan Cuaca

• Atmosfir dimodelkan dengan membaginya menjadi sel-sel 3-dimensi.

• Perhitungan setiap sel diulang-ulang to memodelkan perjalanan waktu.

1.4

Contoh Peramalan Cuaca Global

• Misalkan keseluruhan atmosfir global dibagi menjadi sel sebesar 1 mile  1 mile  1 mile dengan ketinggian 10 miles (tinggi 10 sel) - sekitar 5  10 8 sel.

• Misalkan setiap perhitungan membutuhkan 200 operasi floating point. Dalam satu tahap, diperlukan 10 11 operasi floating point.

• Untuk meramalkan cuaca 7 hari dengan interval 1 menit, komputer dengan kecepatan 1Gflops (10 9 operasi floating point / detik) membutuhkan waktu 10 6 detik atau lebih dari 10 hari.

• Untuk melakukan perhitungan tersebut dalam waktu 5 menit dibutuhkan komputer yang beroperasi dengan kecepatan 3.4 Tflops (3.4  10 12 operasi floating point / detik).

1.5

Pemodelan Gerakan Benda Luar Angkasa

• Setiap benda saling menarik dengan gaya gravitasi. Gerakan setiap benda diprediksi dengan menghitung gaya total pada setiap benda.

• Jika ada

benda, diperlukan perhitungan

untuk setiap benda, atau sekitar N 2 - 1 gaya perhitungan. (N log 2 N untuk algoritma aproksimasi yang efisien.) • Setelah menentukan posisi baru untuk setiap benda, perhitungan diulang kembali.

1.6

• Satu galaksi bisa memiliki sekitar 10 11 bintang.

• Bahkan jika satu perhitungan dilakukan dalam waktu 1 ms (angka yang sangat optimistik), diperlukan 10 9 tahun untuk satu iterasi dengan menggunakan algoritma N 2 algorithm dan hampir satu tahun untuk satu iterasi dengan menggunakan algoritma aproksimasi N log 2 N yang efisien.

1.7

Simulasi Astrofisika

-benda oleh Scott Linssen (mahasiswa undergraduate UNC-Charlotte).

1.8

Komputasi Paralel

• Menggunakan lebih dari 1 komputer, atau komputer dengan lebih dari 1 prosesor, untuk menyelesaikan masalah.

Motif

• Biasanya komputasi yang lebih cepat – ide yang sangat sederhana – bahwa

komputer yang beroperasi secara simultan dapat memberikan hasil

kali lebih cepat – walaupun tidak akan mencapai

kali lebih cepat dengan berbagai alasan.

• Motif lain mencakup: toleransi kesalahan, kapasitas memori yang tersedia lebih besar, ...

1.9

Latar Belakang

• Komputer paralel – komputer dengan lebih dari satu prosesor – dan pemrogramannya – pemrograman paralel – telah ada selama lebih dari 40 tahun.

1.10

Gill menulis pada tahun 1958: “... Dengan demikian tidak ada hal baru dalam gagasan pemrograman paralel, selain penerapannya pada komputer. Penulis tidak menganggap akan ada kesulitan besar dalam perluasannya pada komputer. Tidak diharapkan bahwa teknik pemrograman yang diperlukan akan ditemukan dalam semalam. Banyak eksperimen yang masih harus dilakukan. Bagaimanapun, teknik yang biasanya digunakan dalam pemrograman saat ini didapat dengan usaha keras beberapa tahun yang lalu. Pada kenyataannya, munculnya pemrograman paralel bisa berperan dalam menghidupkan kembali semangat perintis dalam pemrograman yang tampaknya menjadi membosankan dan hanya rutin saja ...” Gill, S. (1958), “Parallel Programming,”

The Computer Journal

, vol. 1, April, pp. 2-10.

1.11

Faktor

Speedup

(

) = Waktu eksekusi dengan 1 prosesor (algoritma sekuensial terbaik) Waktu eksekusi multiprosesor dengan

prosesor

t s t p

dengan

t s

dan

t p

adalah waktu eksekusi pada prosesor tunggal adalah waktu eksekusi pada multiprosesor.

(

) menunjukkan bertambahnya kecepatan dengan menggunakan multiprosesor.

Gunakan algoritma sekuensial terbaik dengan sistem prosesor tunggal. Algoritma yang mendasari untuk implementasi paralel bisa (dan biasanya) berbeda.

1.12

Faktor

speedup

juga bisa dinyatakan dalam langkah komputasi:

(

) = Jumlah langkah komputasi dengan satu prosesor Jumlah langkah komputasi paralel dengan

prosesor

Kompleksitas waktu juga dapat diperluas dengan komputasi paralel.

1.13

Speedup

Maksimum

Speedup

maksimum biasanya

prosesor (

linear speedup

dengan

Dapat dicapai

superlinear speedup

(lebih besar dari

) tetapi biasanya dengan kondisi tertentu seperti: • Memori ekstra pada sistem multiprosesor • Algoritma nondeterministik Slides for Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2nd Edition, by B. W ilkinson & M. Allen, © 2004 Pearson Education Inc. All rights reserved.

1.14

Speedup

Maksimum

Hukum Amdahl

ft s

Bagian serial

t s

(1 -

)

t s

Bagian yang dapat diparalelisasi (a) Satu prosesor (b) Multiple prosesor

prosesor

t p

(1 -

)

t s

1.15

Faktor

speedup

dinyatakan dengan:

(

) 

t s ft s

 (1 

)

t s



1  (

 1)

Persamaan ini dikenal sebagai hukum Amdahl

1.16

Speedup

terhadap jumlah prosesor

20 16 12 8 4

= 0% 4 8 12 16 Jumlah prosesor 20 ,

p f

= 5%

= 10%

= 20% Slides for Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2nd Edition, by B. W ilkinson & M. Allen, © 2004 Pearson Education Inc. All rights reserved.

1.17

Bahkan dengan jumlah prosesor tak terbatas,

speedup

maksimum tetap terbatas sampai 1/

Contoh

Dengan hanya 5% komputasi yang serial,

speedup

maksimum adalah 20, berapapun jumlah prosesor.

1.18

Contoh

Superlinear Speedup

-

Searching

(a) Searching setiap

sub-space

secara sekuensial Sub-space search Start Waktu t s /p t s  t

t s /p Solusi ditemukan

indeterminate Slides for Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2nd Edition, by B. W ilkinson & M. Allen, © 2004 Pearson Education Inc. All rights reserved.

1.19

(b)

Searching

setiap

sub-space

secara paralel  t Solusi ditemukan Slides for Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2nd Edition, by B. W ilkinson & M. Allen, © 2004 Pearson Education Inc. All rights reserved.

1.20

Dengan demikian, Speedup dinyatakan dengan

(

) =



t s p



+



1.21

Worst case untuk search sekuensial dengan solusi ditemukan di sub-space terakhir. Pada kasus ini, versi paralel memberikan keuntungan terbesar, yaitu

(

) =

– 1



t s

+



  

as



t tends to zero

1.22

Keuntungan terkecil versi paralel ialah jika solusi ditemukan pada sub-space pertama dari search sekuensial, yaitu

(

) =



= 1

Speed-up yang sebenarnya bergantung pada subspace yang mana yang menyimpan solusi, tetapi mungkin banyak sekali.

1.23

Tipe Komputer Paralel

Dua tipe utama: • Shared memory multiprocessor • Distributed memory multicomputer

1.24

Shared Memory Multiprocessor

1.25

Komputer Konvensional

Terdiri dari satu prosesor yang mengeksekusi program yang tersimpan pada memori (utama): Memori Utama Instruksi(ke prosesor) Data (ke atau dari prosesor) Prosesor Setiap lokasi memori utama ditentukan oleh alamatnya. Alamat dimulai dari 0 sampai 2 b - 1 jika ada

bit (digit biner) alamat.

1.26

Shared Memory Multiprocessor System

Cara natural untuk mengembangkan model prosesor tunggal multiple processor dihubungkan ke multiple memory modules, sedemikian sehingga setiap prosesor dapat mengakses memory module yang manapun: Memory module One address space Interconnection network Processors Slides for Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2nd Edition, by B. W ilkinson & M. Allen, © 2004 Pearson Education Inc. All rights reserved.

1.27

Ilustrasi shared memory multiprocessor kecil yang disederhanakan

Processors Shared memory Bus Contoh: • Dual Pentium • Quad Pentium Slides for Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2nd Edition, by B. W ilkinson & M. Allen, © 2004 Pearson Education Inc. All rights reserved.

1.28

Quad Pentium Shared Memory Multiprocessor

Processor L1 cache L2 Cache Bus interface Processor/ memory bus I/O interface Processor L1 cache L2 Cache Bus interface Processor L1 cache L2 Cache Bus interface Processor L1 cache L2 Cache Bus interface Memory controller I/O bus Memory Shared memory Slides for Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2nd Edition, by B. W ilkinson & M. Allen, © 2004 Pearson Education Inc. All rights reserved.

1.29

Pemrograman Shared Memory Multiprocessors

• Threads - programmer membagi program menjadi urutan paralel individu (threads), masing-masing dapat mengakses variabel yang dideklarasikan di luar thread.

Contoh: Pthreads • Bahasa pemrograman sekuensial dengan preprocessor compiler directives untuk mendeklarasikan variabel yang dipakai bersama (shared variables) dan menspesifikasi paralelisme.

Contoh: OpenMP – standard industri – membutuhkan compiler OpenMP Slides for Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2nd Edition, by B. W ilkinson & M. Allen, © 2004 Pearson Education Inc. All rights reserved.

1.30

• Bahasa pemrograman sekuensial dengan syntax tambahan untuk mendeklarasikan variabel yang dipakai bersama dan menspesifikasi paralelisme. Contoh: UPC (Unified Parallel C) – membutuhkan compiler compiler.

• Bahasa pemrograman paralel dengan syntax untuk menyatakan paralelisme - compiler membuat executable code untuk setiap prosesor (sekarang tidak umum) • Bahasa pemrograman sekuensial dan meminta parallelizing compiler untuk mengubahnya menjadi parallel executable code. - sekarang tidak umum Slides for Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2nd Edition, by B. W ilkinson & M. Allen, © 2004 Pearson Education Inc. All rights reserved.

1.31

Message-Passing Multicomputer

Komputer lengkap dihubungkan melalui interconnection network: Interconnection network Messages Processor Local memory Computers Slides for Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2nd Edition, by B. W ilkinson & M. Allen, © 2004 Pearson Education Inc. All rights reserved.

1.32

Interconnection Networks

• Interkoneksi yang terbatas dan lengkap • Mesh 2- dan 3-dimensi • Hypercube (sekarang tidak umum) • Menggunakan switch: – Crossbar – Tree – Multistage interconnection network Slides for Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2nd Edition, by B. W ilkinson & M. Allen, © 2004 Pearson Education Inc. All rights reserved.

1.33

Array dua-dimensi (mesh)

Links Computer/ processor Juga tiga-dimensi – digunakan pada beberapa sistem dengan kinerja tinggi.

1.34

Hypercube Tiga Dimensi

110 111 100 101 010 011 000 001 Slides for Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2nd Edition, by B. W ilkinson & M. Allen, © 2004 Pearson Education Inc. All rights reserved.

1.35

Hypercube Empat Dimensi

0100 0000 0110 0010 0111 1100 1110 0101 0001 0011 1000 1010 1101 1001 1111 1011 Hypercube yang populer pada tahun 1980-an – sekarang tidak ilkinson & M. Allen, © 2004 Pearson Education Inc. All rights reserved.

1.36

Crossbar switch

Memories Processors Switches Slides for Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2nd Edition, by B. W ilkinson & M. Allen, © 2004 Pearson Education Inc. All rights reserved.

1.37

Tree

Links Root Switch element Processors Slides for Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2nd Edition, by B. W ilkinson & M. Allen, © 2004 Pearson Education Inc. All rights reserved.

1.38

Multistage Interconnection Network Example: Omega network

2 ´ 2 switch elements (straight-through or crossover connections) 000 001 010 011 Inputs 100 101 000 001 010 011 Outputs 100 101 110 111 110 111 Slides for Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2nd Edition, by B. W ilkinson & M. Allen, © 2004 Pearson Education Inc. All rights reserved.

1.39

Distributed Shared Memory

Membuat main memory dari kelompok interconnected computers seakan-akan seperti satu memory dengan satu address space. Selanjutnya dapat digunakan teknik pemrograman shared memory.

Interconnection network Messages Processor Shared memory Computers Slides for Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2nd Edition, by B. W ilkinson & M. Allen, © 2004 Pearson Education Inc. All rights reserved.

1.40

Klasifikasi Flynn

Flynn (1966) membuat klasifikasi komputer berdasarkan aliran instruksi dan aliran data: –

Single instruction stream-single data stream (SISD) computer

Komputer prosesor tunggal – dibuat satu aliran instruksi dari program. Instruksi beroperasi pada satu aliran data. Slides for Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2nd Edition, by B. W ilkinson & M. Allen, © 2004 Pearson Education Inc. All rights reserved.

1.41

Multiple Instruction Stream-Multiple Data Stream (MIMD) Computer

Sistem multiprosesor general-purpose – setiap prosesor memiliki program sendiri dan dibuat satu aliran instruksi dari setiap program untuk setiap prosesor. Setiap instruksi beroperasi pada data yang berbeda.

Multiprosesor shared memory dan message passing yang telah dibahas sebelum ini termasuk dalam klasifikasi MIMD.

1.42

Single Instruction Stream-Multiple Data Stream (SIMD) Computer

• Komputer yang dirancang khusus – datu aliran instruksi dari satu program, tetapi terdapat banyak aliran data. Instruksi dari program di-broadcast ke lebih dari satu prosesor. Setiap prosesor mengeksekusi instruksi yang sama secara sinkron, tetapi menggunakan data yang berbeda.

• Dikembangkan karena banyak aplikasi penting yang beroperasi pada banyak data.

1.43

Struktur Multiple Program Multiple Data (MPMD)

Termasuk klasifikasi MIMD, setiap prosesor memiliki program sendiri untuk dieksekusi: Program Instructions Processor Program Instructions Processor Data Data Slides for Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2nd Edition, by B. W ilkinson & M. Allen, © 2004 Pearson Education Inc. All rights reserved.

1.44

Struktur Single Program Multiple Data (SPMD)

Terdapat satu source program yang copy-nya dieksekusi oleh setiap prosesor secara independen dan tidak sinkron. Source program dapat dibuat sedemikian rupa sehingga bagian-bagiannya dieksekusi oleh komputer-komputer tertentu bergantung pada identitas komputer tersebut. Slides for Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2nd Edition, by B. W ilkinson & M. Allen, © 2004 Pearson Education Inc. All rights reserved.

1.45

Networked Computers sebagai Computing Platform

• Jaringan komputer menjadi alternatif yang sangat menarik bagi superkomputer dan sistem komputer paralel yang mahal untuk melakukan for high performance computing di awal tahun 1990-an. • Beberapa proyek awal: – Berkeley NOW (network of workstations) project. – NASA Beowulf project.

1.46

Keuntungan utama:

• Workstation dan PC berkinerja tinggi tersedia dengan harga murah.

• Prosesor terbaru dapat digabungkan dengan sistem jika telah tersedia.

• Software yang sudah ada dapat dipakai atau dimodifikasi.

1.47

Software Tools for Clusters

• Berdasarkan pada Message Passing Parallel Programming: • Parallel Virtual Machine (PVM) – dikembangkan pada akhir 1980-an. Menjadi sangat populer. • Message-Passing Interface (MPI) – standardnya didefinisikan pada tahun 1990-an. • Keduanya menyediakan satu set user-level library untuk message passing. Digunakan dengan bahasa pemrograman umum (C, C++, ...).

1.48

Beowulf Clusters*

• Sekelompok interconnected “commodity” computers yang dapat mencapai kinerja tinggi dengan harga murah.

• Biasanya menggunakan commodity interconnects - high speed Ethernet, dan Linux OS.

* Beowulf merupakan nama yang diberikan oleh NASA Goddard Space Flight Center cluster project.

1.49

Cluster Interconnects

• Awalnya merupakan fast Ethernet on low cost clusters • Gigabit Ethernet - easy upgrade path

More Specialized/Higher Performance

• Myrinet - 2.4 Gbits/sec - disadvantage: single vendor • cLan • SCI (Scalable Coherent Interface) • QNet • Infiniband - may be important as infininband interfaces may be integrated on next generation PCs Slides for Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2nd Edition, by B. W ilkinson & M. Allen, © 2004 Pearson Education Inc. All rights reserved.

1.50

Dedicated cluster with a master node

Dedicated Cluster Compute nodes Switch Master node Up link 2nd Ethernet interface User External network Slides for Parallel Programming Techniques & Applications Using Networked Workstations & Parallel Computers 2nd Edition, by B. W ilkinson & M. Allen, © 2004 Pearson Education Inc. All rights reserved.

1.51