Restricted Boltzmann Machine

Restricted Boltzmann Machine

INTRODUCERE

Acest tip de maşina (Hinton, Sejnovsky, Ackley 1984) reprezintă un model de reţea neuronala stohastica. Avem niste unitati sau neuroni a caror activare binara depinde de vecinii cu care sunt conectati; stohastic inseamna ca aceste activari au un element probabilistic. Retelele consta in: un strat de unitati vizibile, un strat de unitati ascunse, unitati de deviatie. Ba mai mult fiecare unitate vizibila e conectata cu toate unitatile ascunse (conexiunea e unidirectionala, asta inseamna ca si fiecare unitate ascunsa e conectata cu toate unitatile vizibile) si o unitate de deviatie e conectata la toate unitatile vizibile si la toate unitatile ascunse. Ca sa fie mai usor de inteles: restrangem reteaua astfel incat nici o unitate vizibila nu e conectata la nici o alta unitate vizibila si nici o unitate ascunsa nu e conectata la vreo alta unitate ascunsa.

STATE ACTIVATION

Restrcited Boltzmann Machines si retelele neuronale in general lucreaza prin actualizarea starilor a unor neuroni, date fiind starile altora, asta ca sa spun cate ceva despre cum starile anumitor unitati individuale se schimba. Presupunand ca stim greutatea conexiunilor in RBM-ul nostru(despre greutate voi explica mai tarziu), sa vedem cum se actualizeazaa starea unitatii „i” de exemplu.

- calculam activarea energiei a_i pentru unitatea i: a_i=∑(j*w_ij*x_j) suma merge pe toate unitatile j care sunt conectate cu unitatea i, iar w_ij este greutatea conexiunii dintre i si j, x_j este 0 sau 1 si reprezinta starea unitatii j.In alte cuvinte totii vecinii unitatii „i” trimit fiecare cate un mesaj si noi calculam o suma a tuturor mesajelor.

- p_i=σ(a_i), unde σ(x)=1/(1+exp(-x)) este o functie exponentiala; iar p_i e aproape 1 pentru activari pozitive de energie si p_i e aproape 0 pentru activari negative de energie;

- activam unitate „i” cu probabilitatea p_i si o dezactivam, daca putem spune asa cu probabilitatea 1-p_i;

- mai bine zis uitatile care sunt conectate pozitiv una cu cealalta incearca sa transmita aceeasi stare(amandoua on sau off, active sau nu), in timp ce unitatile care sunt conectate negativ una cu cealalta prefera sa fie in stari diferite.