Lanțul Markov

În lumea reală, există o multitudine de fenomene din diferite domenii cum ar fi management, economie, structuri sociale care nu pot fi caracterizate in mod determinist, fiind necesară parcurgerea aleatorie.De aceea, în studierea acestor fenomene se utilizează procesele stochastice.

Definiţia 1. Se numeşte proces stochastic un experiment aleator care constă dintr-o suită de subexperimente aleatoare. O clasă specială de astfel de procese este reprezentată de lanţurile Markov.

Multe experimente aleatoare se desfăşoară în etape. De aceea, un astfel de experiment

poate fi considerat ca fiind o secvenţă de subexperimente şi fiecare rezultat al experimentului este determinat de rezultatele subexperimentelor (în ordine).

Aşadar, un proces stochastic este o mulţime indexată de variabile aleatoare, {Xt}, unde t parcurge o mulţime T numită mulţimea indicilor pozitivi T = N, iar Xt reprezintă o

caracteristică cantitativă sau calitativă a sistemului cercetat.

Avem o succesiune de experimente cu aceleaşi rezultate posibile. Prin urmare, se va considera că t este un moment de timp care ia valorile 1, 2, 3, …, n. Această succesiune redă secvenţa de experimente. Pentru fiecare moment, rezultatele posibile vor fi notate 1, 2, …, m (m - număr finit). Cele m rezultate posibile vor fi numite stările în care se poate afla sistemul la un moment dat. Unitatea de măsură pentru momentele de timp succesive t depinde de sistemul studiat.

Dintre tipurile de astfel de secvenţe îl putem menţiona pe acela în care probabilităţile rezultatelor la un moment dat sunt independente de rezultatele experimentelor precedente (de exemplu: aruncarea repetată a unui zar, extragerile unei bile din urnă cu revenire).

Un alt tip de secvenţă este acela în care probabilităţile rezultatelor la un moment dat depind de rezultatele din experienţele anterioare (de exemplu: extragerile succesive din urnă

fără revenire). În cazul acestui din urmă tip de experiment se pot distinge două subcazuri extreme:

• extremă e reprezentată de faptul că probabilităţile rezultatelor la un moment dat

depind de rezultatele tuturor experimentelor precedente din secvenţă;

• cealaltă extremă a nivelului de dependenţă este atunci când probabilităţile rezultatelor la un moment dat depind doar de rezultatele experimentului precedent. În această situaţie secvenţa de experimente se numeşte proces (lanţ) Markov.

Definiţia 2. Un proces Markov sau lanţ Markov este o succesiune de experimente în care fiecare experiment are m rezultate posibile E1, E2,…,Em, iar probabilitatea fiecărui rezultat depinde doar de rezultatul experimentului precedent.

Definiţia 3. Se spune că un proces stochastic are proprietatea lui Markov dacă este îndeplinită egalitatea:

P(Xt+1= j/X1 = k1, …, Xt-1 = kt-1, Xt = i) = P(Xt+1 =j/Xt = i),

pentru t =1, 2, …,n şi pentru orice succesiune k1, k2, …kt-1, i, j de stări din mulţimea celor m

stări posibile ale sistemului.

Fie 2 evenimente, A şi B.Notăm P(A/B) – probabilitatea evenimentului A condiţionată de evenimentul B.

Proprietatea lui Markov arată faptul că probabilitatea condiţionată a oricărui eveniment viitor (Xt+1 = j), date fiind evenimentele trecute X1 = k1, …, Xt-1 = kt-1 şi starea prezentă Xt = i, este independentă de stările trecute şi depinde doar de starea prezentă a procesului.

Există o largă varietate de fenomene care sugerează o comportare în maniera unui proces Markov. Ca şi exemple, am redat următoarele situaţii:

• probabilitatea ca o persoană să cumpere un produs de o anumită marcă (detergent, bere, cosmetice, încălţăminte etc.) poate depinde de marca aleasă la cumpărătura precedentă;

• probabilitatea ca o persoană să aibă cazier poate depinde de faptul că părinţii au avut sau nu cazier;

• probabilitatea ca starea de sănătate a unui pacient să se îmbunătăţească, să se înrăutăţească sau să rămână stabilă într-o zi poate depinde de ceea ce s-a întâmplat în ziua precedentă.

Evoluţia unui proces Markov poate fi descrisă prin intermediul unei matrice.

Matricea de tranziţie este un instrument foarte eficient pentru reprezentarea compartamentului unui proces Markov.

Definiţia 4. Fie un proces Markov care are m rezultate posibile mutual exclusive E1, E2, …, Em. Forma generală a unei matrici de tranziţie pentru acest gen de experimente are forma:

Starea Viitoare

Starea Curentă =P

O dată cu modelarea sistemului, acesta poate fi în una din cele m stări curente posibile. O stare corespunde unui rezultat al experimentului.La finalul experimentului, sistemul se poate afla în una din cele m stări.

Matricea de tranziţie este formata din elemente pij care reprezinta probabilitatea conditionata ca sistemul sa se modifice de la starea initiala i la starea viitoare j.

Observaţii

1. Pij cu i = j reprezintă probabilitatea ca sistemul să rămână în aceeaşi stare după efectuarea experimentului, iar Pij cu i ≠ j reprezintă probabilitatea ca sistemul să treacă dintr-o stare în alta.

2. Matricea de tranziţie este o matrice pătratică de ordin m.

Proprietăţi

Elementele matricei de tranziţie trebuie să satisfacă următoarele:

1. 0 ≤ pij ≤ 1, i,j = 1,…,m (pentru că este vorba de probabilităţi),

2. , i=1,2,…m. Suma pe linie trebuie să dea 1 pentru că E1, E2,…Em este un sistem complet de evenimente.

Proprietatea 2 asigură că, dată fiind o stare curentă i a sistemului, sistemul va trece cu siguranţă într-o stare j din cele m posibile după efectuarea experimentului.