Lanțuri Markov

Rezumat:

Proiectul de față are în vedere explicarea conceptului de „lanțuri Markov”, a celor mai importante aspecte cu privire la acestea, precum și exemplificarea prin aplicații a acestor procese.

Procesele stochastice permit modelarea matematică a numeroaselor componente ale sistemelor tehnice, informatice, economice, sociale. Procesele stochastice sunt familii de variabile aleatoare, definite pe același spațiu de probabilitate cu valori reale în același spațiu de valori, indexate după un anumit parametru.

Un lanț Markov este un proces Markov cu un spațiu discret de stări. La baza conceptului de proces Markov se află imaginea pe care o avem despre un sistem dinamic fără postacțiune, adică un sistem al cărui evoluție viitoare nu depinde decât de starea prezentă a procesului dar și de ceea ce s-a petrecut în trecutul său.

Studiul comportării lanțurilor Markov în funcție de timp poate fi efectuat în două mari direcții, după cum urmează: studierea în regim tranzitoriu, adică determinarea probabilităților de aflare în stare starea sau o submulțime de stări studierea în regim de echilibru, adică se va căuta o distribuție a probabilităților staționare de stare.

Vom observa faptul că lanțurile Markov sunt de două tipuri, iar în cazul ambelor tipuri distribuția limită a probabilităților de stare este independentă de distribuția inițială fiind unica soluție a sistemului de ecuații Kolmogorov. Ecuațiile Kolmogorov fac posibilă găsirea tuturor probabilităților de stare ca funcții de timp. Un interes deosebit sunt probabilitățile sistemului în limita modul staționar , adică la, care se numesc probabilități limitative (sau finale) stări.

Lanțuri Markov. Aplicații

Noțiuni generale:

Procesele stochastice permit modelarea matematică a numeroaselor componente ale sistemelor tehnice, informatice, economice, sociale etc.

În cele ce urmează, voi reda în mod succint principalele definiții și proprietăți ale proceselor stochastice și ale lanțurilor Markov.

1.1 Definiții:

Definiția 1: Un proces stochastic X este o familie de variabile aleatoare (X) definite pe același spațiu de probabilitate cu valori reale în același spațiu de valori  și indexate după un parametru R .

Un proces stochastic se reprezintă prin: {X  }

De obicei precizarea mulțimii  coincide cu intervalul de timp al evoluției diverselor clase de procese stochastice. Astfel, dacă τ={τ_1,τ_2, ..,τ_n } este o mulțime finită, atunci procesul stochastic este echivalent cu un vector aleator, care determină vectorul de stare al sistemului studiat.

În termeni probabilistici, a descrie evoluția unui proces stochastic înseamnă cunoașterea probabilităților tuturor evenimentelor de forma: „la momentul  procesul stochastic se găsește în starea (X=x)”, precum și a probabilităților de realizare simultană a unui număr de astfel de evenimente pentru diverse momente τ_i∈τ și diverse mulțimi e_i⊆R,1≤i≤n. Cu alte cuvinte, este necesar să fie cunoscute probabilitățile de forma:

Pr⁡(X_(τ_1 )∈e_1, ..,X_(τ_n )∈e_n), pentru orice nN, orice τ_i∈τ și orice e_i⊆R,1≤i≤n. Acest fapt se manifestă prin cunoașterea funcțiilor de repartiție n - dimensionale:

X_(τ_1 .τ_n ) (x_1,x_2, ,x_n )=Pr⁡〖(X_τ 〗≤x_1, ,X_(τ_n )≤x_n)

În acest context se mai spune că legea probabilistică a unui proces stochastic este dată de legea de repartiție a tuturor vectorilor aleatori cu probabilitățile.

În ipoteza că parametrul  este timpul, se poate face și presupunerea particulară că momentele τ_0,τ_1, ..,τ_n sunt ordonate și anume că τ_0<τ_1<τ_2<⋯<τ_n<τ, fapt care apare natural. Într-o astfel de situație, dacă observăm procesul stochastic la momentul τ_n, pe care îl considerăm ca "prezent", putem presupune "trecutul" procesului pentru- τ_i<τ, 0≤i≤n și în mod firesc ne interesează "viitorul" acestui proces pentru . Un astfel de interes ne conduce în mod natural și direct la evaluarea probabilităților condiționate de forma:

Pr⁡(X_τ≤x∣X_(τ_n )=x_n, ,X_(τ_0 )≤x_0) care înseamnă probabilitatea, ca procesul stochastic să se afle la momentul viitor  în X_τ=x condiționat de faptul că la momentele trecute τ_0<τ_1<⋯<τ_n<τ s-a aflat succesiv în stările X_(τ_0 )=x_0, ,X_(τ_n )=x_n starea x_0 fiind starea inițială a acestui proces.