Tehnici pentru minimizarea perceptronilor multi strat

Aceastã lucrare relateazã despre dezvoltarea a trei tehnici pentru minimizarea perceptronilor multi – strat, la care se referã ca analiza ponderii, activãrii şi corelaţiei. Începând cu o reţea care a fost instruitã sã rezolve o problemã de clasificare, tehnicile pot fi folosite pentru a identifica elementele de procesare ( neuronii ) care sunt suplimentare. Reţeau poate apoi fi minimizatã prin scoaterea elementelor suplimentare. Scopul minimizãrii reţelei este sã se obţinã o reţea optimizatã fãrã pierdere de performanţã. Lucrarea examineazã aplicabilitatea metodelor cercetând douã probleme de clasificare artificialã. În sfârşit, medotele sunt utilizate pentru minimizarea unei reţele instruite sã modeleze o variabilã cheie într – un proces de fermentaţie.

Cuvinte cheie : reţele neuronale, optimizarea reţelei, neuroni contribuitori, neuroni suplimentari.

1. INTRODUCERE

De – a lungul multor ani în care reţelele neuronale au fost studiate, a existat o recentã reînviere a interesului în acest domeniu al inteligenţei artificiale care se dezvoltã foarte repede. Acest lucru se poate datora flexibilitãţii domeniului sãu de aplicare, în care o utilizare de succes a fost gãsitã în domenii diverse precum diagnosticele medicale şi schimbul valutar.

Un alt motiv pentru aceastã creştere se datoreazã paralelismului esenţial pe care o structurã tipicã RN îl manifestã. Arhitecturile paralele pot crea un sistem de înaltã performanţã care e capabil sã rezolve probleme complexe repede şi eficient. În prezent, aplicaţiile RN sunt de obicei caracterizate de o structurã deosebit de densã de elemente de procesare ( EP ) şi interconexiuni. Aceastã structurã şi conţinutul sãu nu sunt bine definite, dar reprezintã o suprafaţã importantã, deoarece dicteazã cât de bine va funcţiona reţeaua. Din pãcate, cercetãrile pentru a înţelege cum elementele interne ( unitãţile ascunse ) învaţã corespondenţa intrãrilor şi ieşirilor, au fost limitate.

Lucrarea descrie trei tehnici de analizã şi anume medode de greutate, activare şi corelaţie, care sunt folosite pentru definirea contribuţiei elementelor de procesare în structurile perceptron multi – strat ( PMS ). Se va ilustra cum rezultatele acestor tehnici de analizã pot fi folosite pentru minimizarea unei reţele date, dupã instruire, prin scoaterea oricãror elemente sau legãturi suplimentare.

Teoria RN – urilor şi mai ales a PMS – urilor a fost cercetatã în profunzime în alte materiale dar este necesar sã se sublinieze conceptele de bazã pentru a uşura înţelegerea celorlalte tehnici. Acest lucru este realizat în Secţiunea 2. Secţiunea 3 aduce în discuţie problema minimizãrii şi cum poate aceasta afecta performanţa reţelei. Mai departe sunt descrise cele trei metode de analizã. În Secţiunea 5 sunt dezvoltate moduri de testare pentru a rezolva douã probleme fundamentale de clasificare.

Dupã aplicarea tehnicilor de analizã la modelele de test, rezultatele sunt interpretate în Secţiunea 6. Secţiunea 7 prezintã minimizarea modelelor de test apoi sunt discutate avantajele şi limitele metodelor propuse. În final, în Secţiunea 8, este datã o aplicaţie practicã a metodelor propuse pentru minimizarea unei reţele neuronale care a fost instruitã sã modeleze producţia unui antibiotic printr – un proces de fermentaţie.

2. REŢELE NEURONALE : CONCEPTE DE BAZÃ

Blocul de bazã într – o reţea neuronalã este un element de procesare care imitã operaţia unui neuron biologic în creier. De aceea, aceste elemente mai sunt numite şi neuroni sau perceptroni. În aceastã lucrare, ei sunt numiţi EP.

Fig. 1. a. Element de Procesare

Fig. 1. b. Perceptronul Multi Strat

Fig. 1. a prezintã un EP şi Fig. 1. b. o schemã comunã pentru interconectãrile EP – urilor pentru a forma o reţea neuronalã. Aceste tipuri de arhitecturi sunt denumite perceptroni multi – strat.

Pentru a înţelege cum funcţioneazã o reţea neuronalã complexã, este folositor sã se examineze capacitatea de învãţare a unui singur EP. Ieşirea unui EP în Fig. 1. a poate fi exprimatã în funcţie de intrãri şi greutãţi dupã cum urmeazã :

y = f ( ∑ xiwi + Ø ) ( i = 1, 2, ... , 2n ) ( 1 )

unde f(.) reprezintã o funcţie neliniarã, ne – descrescãtoare şi Ø este un termen numit „bias”. Capacitatea de învãţare a unui singur EP poate fi vizualizatã fãcând n egal cu 2, de exemplu, un spaţiu de intrare bi – dimensional. În acest caz, ieşirea unui EP poate fi scrisã ca :