Programarea aplicațiilor paralele și distribuite

analiza unor probleme specifice calculului paralel si distribuit ,studiul modelelor arhitecturale paralele si distribuite

studiul unor algoritmi fundamentali din calculul paralel si distribuit si analiza performantelor lor

studiul unor sisteme paralele si distribuite reprezentative

Sisteme de calcul cu mai multe elemente de procesare

Procesare paralela – executia rapida a unor probleme de calcul complexe pe masini cu mai multe procesoare coordonate

Sisteme cuplate strans (multiprocesoare)

Procesare distribuita - rezolvarea unor probleme de calcul prin partajarea resurselor in sistem, oferind fiabilitate, toleranta la erori, procesoarele sunt fizic distribuite

Sisteme cuplate larg (multicalculatoare)

Sistem de calcul paralel Sistem distribuit

Procesoarele sunt, de obicei, de acelasi tip Procesoarele sunt eterogene

Procesoarele sunt distribuite pe o arie geografica mica Procesoarele sunt distribuite pe o arie geografica mare

Scop: executarea unor calcule mai rapid decat cu un singur procesor Scop: utilizarea in comun a resurselor disponibile, transmiterea informatiilor. Probleme specifice:

fiabilitate, securitate

Introducere in calculul paralel. Scopul cursului

Modele de arhitecturi paralele;Clasificari

Metrici de performanta

Proiectarea algoritmilor paraleli

Programarea sistemelor paralele cu transmitere de mesaje

Programarea sistemelor paralele cu spatiu de memorie comun

Capitolul 1Introducere in calculul paralel. Scopul cursului. Concepte si notiuni.Nu conteaza cat de rapid este calculatorul cel mai performant de la un moment dat, cineva va dori sa utilizeze unul mai rapid

Exista intotdeauna probleme importante care cer mai mult decat puterea de calcul disponibila la un moment dat

Cu cat puterea de calcul creste mai mult cu atat mai multe probleme nerezolvate apar la orizont

Cresterea performantelor procesoarelor secventiale:

Dezavantaje: cost mare al fabricarii unui procesor de inalta performanta, Limitari tehnologice la un moment dat

Paralelism in arhitecturi clasice:

Procesoare pipeline

Mai multe UAL

Coprocesoare specializate (matematice, grafice, I/O)

Calcul paralel: Utilizarea in paralel a mai multor CPU

Avantaje: cost - utilizarea mai multor procesoare ieftine fiecare in parte.

Dezavantaje: necesitatea de a dezvolta noi medii de lucru, noi algoritmi

“mai repede”

Exemplu problema: sortarea a 10 milioane de intregi

PC Pentium: 50 sec

CM5 cu 1024 procesoare: 0.2 sec

“mai mult”

Exemplu problema: inmultirea a 2 matrici de dimensiuni mari

PC cu memorie 512MB: dimensiune maxima a matricilor 8192*8192 (pentru elem de tip double – 8 octeti)

Paragon cu 1024 procesoare cu 64MB fiecare: dimensiune maxima a matricilor: 92000*92000