Masura Informatiei in Sisteme Discrete

Imagine preview
(8/10 din 3 voturi)

Acest curs prezinta Masura Informatiei in Sisteme Discrete.
Mai jos poate fi vizualizat cuprinsul si un extras din document (aprox. 2 pagini).

Arhiva contine 1 fisier pdf de 94 de pagini .

Profesor: stoichescu

Iti recomandam sa te uiti bine pe extras, cuprins si pe imaginile oferite iar daca este ceea ce-ti trebuie pentru documentarea ta, il poti descarca.

Fratele cel mare te iubeste, acest download este gratuit. Yupyy!

Domeniu: Electronica

Cuprins

Masura informatiei in sisteme discrete (Shannon,1950).1
1. Formularea problemei .1
2. Cantitatea de informatie in cazul discret.2
· Informatia proprie; unitati de masura.2
o Unitati de masura a informatiei:.2
· Informatia mutuala.3
3. Entropia informationala .4
Surse discrete de informatie.5
4. Definitii si terminologie .5
5. Tipuri de surse discrete .6
· Sursa discreta fara memorie (SDFM): .6
· Sursa discreta cu memorie: .6
· Sursa Markov: sursa discreta cu memorie de ordinul 1 .7
· Sursa stationara .8
· Sursa ergodica .8
· Sursa cu debit controlabil.9
· Sursa cu debit necontrolabil .9
6. Parametrii surselor discrete.10
· Entropia surselor discrete.10
o Entropia sursei discrete, fara memorie, ergodica.10
o Entropia sursei extinse .10
o Entropia sursei discrete, cu memorie, ergodica, de tip Markov.11
- Sursa Markov ergodica .11
- Entropia unei surse cu memorie.11
- Entropia unei surse stationare .11
- Entropia unei stari Sj .11
- Entropia pentru sursa Markov ergodica, unifilara .11
· Debitul de informatie .12
· Cantitatea de decizie a sursei .12
· Redundanta sursei .12
· Eficienta sursei .12
7. Exemple de surse discrete si entropiile lor.12
Canale discrete de transmiterea a informatiei .14
8. Entropia la intrarea si iesirea din canal .14
· Entropia campului reunit intrare  iesire.15
9. Entropii conditionate.15
· Relatiile entropiilor conditionate cu entropiile proprii .17
10. Transinformatia.18
· Capacitatea canalului .18
11. Parametrii canalului discret.18
12. Modele de canale discrete .19
· Canal binar simetric .20
· Canal binar cu anulari .21
· Canal binar cu erori si anulari .21
13. Capacitatea canalelor discrete. .22
· Canal discret general, fara memorie; .22
· Canal binar general (n = m = 2) .23
o Canal binar simetric .24
14. Exemple de canale discrete .24
· Canale discrete cu constrangeri.25
o Caracterizarea canalelor cu constrangeri .26
Masura informatiei in sisteme continue .28
15. Transinformatia in canale continue.28
16. Capacitatea canalului continuu .29
17. Variatia entropiei cu schimbarea coordonatelor .30
Receptoare de simboluri discrete .32
18. Matricea strategiei de decizie a receptorului.32
19. Matricea de tranzitie a canalului echivalent.33
- Strategii deterministe .33
20. Criteriul riscului minim.33
· Criteriul lui Bayes in cazul binar .34
o Criteriul probabilitatii a posteriori maxime,.35
o Criteriul plauzabilitatii maxime .35
21. Criteriul minimax.36
- Strategii aleatoare.37
22. Alta interpretare a criteriului minimax.37

Extras din document

1. Formularea problemei

· Daca se urmareste un experiment care poate conduce la mai multe

rezultate, asupra realizarii fiecaruia din rezultate planeaza o

anumita incertitudine; incertitudinea este eliminata in momentul

aflarii rezultatului; exemple de experimente: aruncarea zarului,

masurarea unei tensiuni.

· Primirea unei informatii este echivalenta cu eliminarea unei

incertitudini;

· Obtinerea informatiei este legata de caracterul intamplator

(aleator, stochastic) al fenomenului sau experimentului observat

si de aceea unui eveniment (rezultat) i se asociaza o masura

probabilistica;

· Daca rezultatele sunt discrete, ca in

figura, fiecarui eveniment xi i se poate

asocia probabilitatea p(xi);

· Daca rezultatele sunt continue se poate

asocia o densitate de probabilitate p(x)

unui punct din spatiul E al

esantioanelor astfel incat

· Daca informatia asupra realizarii unui eveniment xi rezulta chiar

din observarea acelui eveniment, se obtine informatia proprie

i(xi);

Exemplu: in experimentul cu aruncarea zarului se afla (vede) nemijlocit

fata care a aparut;

· Daca informatia asupra realizarii unui eveniment xi rezulta din

observarea altui eveniment yi, legat de xi ,se obtine infomatia

mutuala i(xi,yj);

Exemplu: se afla ce fata a aparut din comentariile cuiva care a vazut-o

nemijlocit.

· In teoria lui Shannon se iau in consideratie numai aspectele

cantitative ale informatiei, nu si cele calitative, legate de sensul

(semantica) mesajului.

2. Cantitatea de informatie in cazul discret

· Informatia proprie; unitati de masura

o Unitati de masura a informatiei:

Fisiere in arhiva (1):

  • Masura Informatiei in Sisteme Discrete.pdf