Arhitecturi de Calcul Paralel

Sisteme abstracte de calcul parallel

• Un sistem abstract de calcul paralel (SACP) este un ansamblu de module de calcul (unitati de procesare a datelor) care comunica între ele.

• Modulul este un constituent atomic al sistemului, cu o structura interna invizibila.

• Se remarca în aceasta definitie doua componenente de baza ale unui SACP:

– componenenta computationala

– componenta comunicationala

Arhitecturi paralele

• O arhitectura paralela este o implementare a unui SACP. Aceasta înseamna maparea subsistemului computational pe o multime de masini cu o functionalitate bine definita si asignarea relatiilor de comunicare la un model de comunicare.

• Modelul de comunicare se refera la modalitatea în care modulele de calcul comunica între ele.

Modele de comunicare

• Determinant în definirea unui model de comunicare este mediul de comunicare.

• Modelele de comunicare universal acceptate sunt cele bazate pe memoria partajata si canalele de comunicatie.

Algoritmi paraleli

• O arhitectura paralela (AP) executa algoritmi paraleli.

• Definitia unui algoritm paralel poate fi derivata din definitia unui algoritm secvential prin înlocuirea notiunii de pas secvential cu cea de

pas paralel.

• Pasul paralel poate fi un pas de sincronizare (pas paralel impropriu) sau un ansamblu de pasi secventiali executati în paralel în modulele de calcul (pas paralel propriu).

Topologii de comunicare

• O arhitectura paralela accepta un algoritm paralel daca dispune de posibilitatea conectarii, atunci când executia algoritmului o cere, a modulelor implicate într-un proces de comunicare.

• Daca modelul de comunicare este memoria partajata atunci topologia comunicarilor este dinamic reconfigurata, functie de algoritmul executat.

• Daca modelul de comunicare are la baza canale de comunicatii partea activa în cursul executiei unui algoritm paralel defineste topologia comunicatiilor specifice algoritmului.

Calculator paralel universal

• Un calculator paralel universal este acela care accepta orice algoritm paralel. Aceasta înseamna ca sistemul sau de comunicare are potentialul unui graf complet.

• Algoritmii pentru problemele semnificative nu necesita pasi paraleli arbitrari, ci doar o submultime speciala din multimea acestora.

• Costul arhitecturii paralele este de asteptat sa creasca direct proportional cu complexitatea interconexiunilor.Aceste costuri pot fi cuantificate într-un cadru tehnologic concret.

Relatia Algoritm-Topologie

• Unul din obiectivele proiectarii algoritmilor paraleli este descoperirea unor topologii de comunicare optimale pentru clase largi de probleme (calcul paralel dedicat).

• Perechea (topologie de comunicare, algoritm) evidentiaza un nedorit circuit : natura algoritmului sugereaza topologia dar specificarea topologiei precede algoritmul. Aceasta este principala dificultate a calculului paralel dedicat.

Topologii fundamentale

• Subtila relatie dintre algoritmi si topologiile de comunicare nu mai este astazi de nepatruns.

• Exista un larg consens referitor la faptul ca un grup relativ mic de topologii de comunicare simple si bine structurate, pot oferi suportul de comunicare pentru solutiile algoritmice ale unei clase largi de probleme.

• Topologiile de acest tip le vom numi topologii fundamentale, iar arhitecturile bazate pe ele,arhitecturi fundamentale.

Arhitecturi fundamentale

• Arhitecturile fundamentale pot functiona de sine statator sau pot fi încorporate în alte sisteme de calcul.

• Un concept de sistem ce încorporeaza o arhitectura fundamentala deriva direct din modelul von Neumann:

– Un calculator gazda executa un program secvential prin controlarea fluxului de date dintre memorie si unitatile procesoare