Rețele Neuronale Recurente

PREZENTARE LUCRARE

Prezenta lucrare reprezintă o încercare de pătrundere în lumea fascinantă a Inteligenţei artificiale, domeniu ştiinţific relativ nou, dar cu posibilităţi de dezvoltare viitoare nebănuite.

De-a lungul vremii, omul s-a străduit să înţeleagă şi să simuleze cât mai fidel funcţionarea creierului uman. În ultimele decenii, acest lucru a început să devină din ce mai realizabil, prin dezvoltarea modelării reţelelor neuronale.

Lucrarea tratează teoria reţelelor neuronale recurente.

Structural, lucrarea este alcătuită din două capitole:

- Capitolul I, INTRODUCERE ÎN CALCULUL INTELIGENT, împărţit într-un număr de 9 subcapitole, în care se realizează o scurtă şi rapidă introducere în teoria reţelelor neuronale, plecând de la o motivaţie biologică, continuând cu specificul calculului neuronal, prezentând structura unei reţele neuronale artificiale, răspunzând la întrebarea „Ce pot şi ce nu pot face reţelele neuronale?”, ajungând la clasele de probleme ce pot fi rezolvate cu reţele neuronale şi calculul neuronal în comparaţie cu calculul clasic, încheiat cu un scurt istoric;

- Capitolul II, REŢELE NEURONALE RECURENTE, care tratează efectiv tema lucrării, împărţit în trei subcapitole, în care sunt prezentate concepte fundamentale şi sunt tratate reţelele hopfield, memoriile asociative şi memorii asociative bidirecţionale.

În Anexă la lucrare este prezentată o aplicaţie realizată pe „scheletul” unui

algoritm hopfield, dezvoltată în Matlab, care produce distorsionarea şi apoi reconstrucţia unei imagini(cifră).

Mulţumesc în mod deosebit doamnei Profesor Doctor Luminiţa State, coordonatorul ştiinţific, pentru aportul vital adus în realizarea acestei lucrări, prin materialul bibligrafic pus la dispoziţie, prin îndrumarea şi canalizarea energiei şi nu în ultimul rând pentru soluţiile propuse în depăşirea şi rezolvarea diverselor momente critice apărute de-a lungul „conceperii” prezentului material şi mai ales a aplicatiei prezentată în Anexă.

CAPITOLUL I: INTRODUCERE ÎN CALCULUL INTELIGENT

1.1. Specificul calculului neuronal

Din punct de vedere funcţional o reţea neuronală este un sistem ce primeşte date de intrare (corespunzătoare datelor iniţiale ale unei probleme) şi produce date de ieşire (ce pot fi interpretate ca răspunsuri ale problemei analizate). O caracteristică esenţială a reţelelor neuronale este capacitatea de a se adapta la mediul informaţional corespunzător unei probleme concrete printr-un proces de învăţare. În felul acesta reţeaua extrage modelul problemei pornind de la exemple.

Din punct de vedere structural o reţea neuronală este un ansamblu de unităţi interconectate fiecare fiind caracterizată de o funcţionare simplă. Funcţionarea unităţilor este influenţată de o serie de parametri adaptabili. Astfel o reţea neuronală este un sistem extrem de flexibil.

Structura unităţilor funcţionale, prezenţa conexiunilor şi a parametrilor adaptivi precum şi modul de funcţionare sunt inspirate de creierul uman. Fiecare unitate funcţională primeşte câteva semnale de intrare pe care le prelucrează şi produce un semnal de ieşire. Interacţiunea multor unităţi cu funcţionare simplă conduce la un sistem care poate să rezolve probleme complexe. Funcţionarea sistemului este controlată de un set numeros de parametri ajustabili care permit acestuia să se adapteze cât mai fidel mediului informaţional în care este amplasat (specific problemei de rezolvat).

Una dintre cele mai importante caracteristici ale unui sistem neuronal este caracterul său adaptiv, faptul că poate să-şi stabilească parametrii de funcţionare printr-un proces de învăţare bazat pe informaţiile primite. Astfel de sisteme sunt adecvate, astfel, pentru problemele ce sunt dificil sau chiar imposibil de formalizat pentru ele existând doar exemple de rezolvare.

1.2. Motivaţia biologică

În încercarea de a proiecta sisteme inteligente cel mai la îndemână model este chiar creierul uman.

Acesta este capabil să prelucreze cantităţi mari de date la un moment dat şi surclasează în mod cert calculatoarele (în special cele seriale) în probleme complexe de tipul înţelegerii scenelor (cum ar fi recunoaşterea unei imagini familiare într-un mediu necunoscut).

Din punct de vedere biologic creierul este constituit dintr-un număr mare de celule (neuronii, circa 1010- 10 12 ) care efectuează sarcini simple şi la o viteză nu prea mare (timp de răspuns 10-3 s) dar care sunt puternic interconectate (există circa 1014 - 10 15 interconexiuni) şi lucrează în paralel.

Având în vedere faptul că, componentele electronice care stau la baza calculatoarelor actuale au timpi de răspuns mult mai mici (10 -9 s) şi totuşi sunt surclasate de către creier în rezolvarea unor probleme complexe (vedere, decizii pe baza unor date incomplete etc.), rezultă că puterea computaţională a creierului rezidă în faptul că bilioane de neuroni operează simultan. Evident, ar fi de dorit realizarea de sisteme care să lucreze cu viteza componentelor electronice şi să fie caracterizate de conectivitatea creierului.

Dintre caracteristicile creierului care sunt de dorit şi în sistemele artificiale pot fi enumerate: robusteţe şi toleranţă la erori (mor zilnic neuroni, fără ca aceasta să afecteze semnificativ performanţele creierului), flexibilitate (fiinţele sunt capabile să se adapteze la un nou mediu prin învăţare), capacitatea de a prelucra informaţie incompletă, nedeterministă sau chiar inconsistentă.

În ceea ce priveşte robusteţea şi toleranţa la erori ea este asigurată de faptul că informaţia este reprezentată în mod distribuit şi nu localizat. Astfel, din punct de vedere cibernetic creierul este un sistem natural de prelucrare paralel-distribuită a informaţiei.

Reţelele neuronale pot fi văzute atât ca modele ale creierului câţ şi ca sisteme de prelucrare a informaţiei şi rezolvare a problemelor. Acestea sunt două direcţii distincte în domeniul reţelelor neuronale fiind diferite atât din punct de vedere al tehnicilor utilizate câţ şi din punct de vedere al aplicaţiilor.

1.3. Structura unei reţele neuronale artificiale

O reţea neuronală artificială este un ansamblu de unităţi funcţionale amplasate în nodurile unui graf orientat şi între care circulă semnale de-a lungul arcelor grafului. Elementele definitorii ale unei reţele neuronale sunt:

- Arhitectura: specifică modul în care sunt amplasate şi interconectate unităţile funcţionale. Arhitectura determină şi fluxul informaţional în cadrul reţelei.

- Funcţionarea: specifică modul în care fiecare unitate în parte şi reţeaua în ansamblul ei transformă semnalele de intrare în semnale de ieşire. Funcţionarea este influenţată de arhitectură, în special de modul de interconectare a unităţilor.

- Adaptarea (învăţarea): specifică modul de stabilire a parametrilor ajustabili astfel încât reţeaua să poate rezolva anumite probleme. În funcţie de natura informaţiei de care se dispune, învăţarea poate fi supervizată sau nesupervizată. Învăţarea constă în modificarea funcţionalităţii reţelei prin modificarea parametrilor şi/sau a structurii acesteia. Procesul de învăţarea bazat pe adaptarea parametrilor constă în existenţa unor reguli de modificare a parametrilor şi un algoritm (de regulă iterativ) de aplicare a acestor reguli.