Cuprins
- Masura informatiei in sisteme discrete (Shannon,1950).1
- 1. Formularea problemei .1
- 2. Cantitatea de informatie in cazul discret.2
- · Informatia proprie; unitati de masura.2
- o Unitati de masura a informatiei:.2
- · Informatia mutuala.3
- 3. Entropia informationala .4
- Surse discrete de informatie.5
- 4. Definitii si terminologie .5
- 5. Tipuri de surse discrete .6
- · Sursa discreta fara memorie (SDFM): .6
- · Sursa discreta cu memorie: .6
- · Sursa Markov: sursa discreta cu memorie de ordinul 1 .7
- · Sursa stationara .8
- · Sursa ergodica .8
- · Sursa cu debit controlabil.9
- · Sursa cu debit necontrolabil .9
- 6. Parametrii surselor discrete.10
- · Entropia surselor discrete.10
- o Entropia sursei discrete, fara memorie, ergodica.10
- o Entropia sursei extinse .10
- o Entropia sursei discrete, cu memorie, ergodica, de tip Markov.11
- - Sursa Markov ergodica .11
- - Entropia unei surse cu memorie.11
- - Entropia unei surse stationare .11
- - Entropia unei stari Sj .11
- - Entropia pentru sursa Markov ergodica, unifilara .11
- · Debitul de informatie .12
- · Cantitatea de decizie a sursei .12
- · Redundanta sursei .12
- · Eficienta sursei .12
- 7. Exemple de surse discrete si entropiile lor.12
- Canale discrete de transmiterea a informatiei .14
- 8. Entropia la intrarea si iesirea din canal .14
- · Entropia campului reunit intrare iesire.15
- 9. Entropii conditionate.15
- · Relatiile entropiilor conditionate cu entropiile proprii .17
- 10. Transinformatia.18
- · Capacitatea canalului .18
- 11. Parametrii canalului discret.18
- 12. Modele de canale discrete .19
- · Canal binar simetric .20
- · Canal binar cu anulari .21
- · Canal binar cu erori si anulari .21
- 13. Capacitatea canalelor discrete. .22
- · Canal discret general, fara memorie; .22
- · Canal binar general (n = m = 2) .23
- o Canal binar simetric .24
- 14. Exemple de canale discrete .24
- · Canale discrete cu constrangeri.25
- o Caracterizarea canalelor cu constrangeri .26
- Masura informatiei in sisteme continue .28
- 15. Transinformatia in canale continue.28
- 16. Capacitatea canalului continuu .29
- 17. Variatia entropiei cu schimbarea coordonatelor .30
- Receptoare de simboluri discrete .32
- 18. Matricea strategiei de decizie a receptorului.32
- 19. Matricea de tranzitie a canalului echivalent.33
- - Strategii deterministe .33
- 20. Criteriul riscului minim.33
- · Criteriul lui Bayes in cazul binar .34
- o Criteriul probabilitatii a posteriori maxime,.35
- o Criteriul plauzabilitatii maxime .35
- 21. Criteriul minimax.36
- - Strategii aleatoare.37
- 22. Alta interpretare a criteriului minimax.37
Extras din curs
1. Formularea problemei
· Daca se urmareste un experiment care poate conduce la mai multe
rezultate, asupra realizarii fiecaruia din rezultate planeaza o
anumita incertitudine; incertitudinea este eliminata in momentul
aflarii rezultatului; exemple de experimente: aruncarea zarului,
masurarea unei tensiuni.
· Primirea unei informatii este echivalenta cu eliminarea unei
incertitudini;
· Obtinerea informatiei este legata de caracterul intamplator
(aleator, stochastic) al fenomenului sau experimentului observat
si de aceea unui eveniment (rezultat) i se asociaza o masura
probabilistica;
· Daca rezultatele sunt discrete, ca in
figura, fiecarui eveniment xi i se poate
asocia probabilitatea p(xi);
· Daca rezultatele sunt continue se poate
asocia o densitate de probabilitate p(x)
unui punct din spatiul E al
esantioanelor astfel incat
· Daca informatia asupra realizarii unui eveniment xi rezulta chiar
din observarea acelui eveniment, se obtine informatia proprie
i(xi);
Exemplu: in experimentul cu aruncarea zarului se afla (vede) nemijlocit
fata care a aparut;
· Daca informatia asupra realizarii unui eveniment xi rezulta din
observarea altui eveniment yi, legat de xi ,se obtine infomatia
mutuala i(xi,yj);
Exemplu: se afla ce fata a aparut din comentariile cuiva care a vazut-o
nemijlocit.
· In teoria lui Shannon se iau in consideratie numai aspectele
cantitative ale informatiei, nu si cele calitative, legate de sensul
(semantica) mesajului.
2. Cantitatea de informatie in cazul discret
· Informatia proprie; unitati de masura
o Unitati de masura a informatiei:
Preview document
Conținut arhivă zip
- Masura Informatiei in Sisteme Discrete.pdf
Alții au mai descărcat și
Jonctiunea p-n la echilibru termic. În practica se utilizeaza numeroase dispozitive electronice obtinute prin alaturarea de regiuni...
Vibratiile sunt fenomene dinamice care iau nastere în medii elastice sau cvasielastice, datorita unei excitatii locale, care se manifesta prin...
Notiuni fundamentale : Viteza, prin definitie, este o marime vectoriala. Daca directia (suportul) de deplasare a corpului în miscare este data,...
Elemente sensibile pneumatice pentru controlul dimensional Controlul dimensional este un domeniu în care utilizarea dispozitivelor pneumatice...
9.2.2 Tipuri de marci tensometrice si caracteristicile acestora Principalele caracteristici ale MT sunt determinate de natura materialului din...
c) Transformatoare de curent. În practica aceste transformatoare se mai nu-mesc “reductoare de curent”si sunt folosite pentru prelucrarea...
Notiuni fundamentale: Deplasarea este o marime ce caracterizeaza schimbarile de pozitie ale unui corp sau ale unui punct caracteristic fata de un...
1.3 CLASIFICARI SI VARIANTE CONSTRUCTIVE Exista la ora actuala un numar extrem de mare de tipuri constructive de microcontrolere. Un criteriu de...
Te-ar putea interesa și
Introducere Un sistem hibrid este compus dintr-un proces continuu, modelat printr-un set de ecuaţii liniare şi tratat ca un SDED (Sistem Dinamic...
INTRODUCERE Filtrarea semnalelor reprezinta o operatie de baza in prelucrarea informaţiei.Poate facută fie analogic(cu ajutorul unor retele R L C...
Cap.I. STRUCTURA GENERALA A UNUI SISTEM DE CALCUL Sistemele electronice de calcul sunt reprezentate printr-un ansamblu de echipamente fizice...
In literatura de specialitate s-au purtat discuţii cu privire la modul în care pot fi denumite sarcinile aferente funcţiei publice, autorii...
Sub1.Prelucrarea semnalelor are un rol important în comunicaţii, automatică,înregistarea electronică a imaginilor şi sunetului, prelucrarea...
Partea I-a CONDUCEREA PROCESELOR DUPA MARIMEA DE IESIRE 1. Structuri de baza si metode de proiectare 1.1. Structuri de reglare si metode de...
Sistemele de calcul –calculatoarele in forma cea mai generala- se impart in 3 categorii: • Calculatoare numerice, care sunt sisteme de calcul care...
Exemplu de schemă bloc a unui aparat digital (aparat bazat pe procesarea numerică a semnalelor achiziționate) Dispozitiv de eșantionare +...