Masura Informatiei in Sisteme Discrete

Curs
8.3/10 (3 voturi)
Domeniu: Electronică
Conține 1 fișier: pdf
Pagini : 94 în total
Cuvinte : 16832
Mărime: 1.17MB (arhivat)
Cost: Gratis
Profesor îndrumător / Prezentat Profesorului: stoichescu

Cuprins

Masura informatiei in sisteme discrete (Shannon,1950).1

1. Formularea problemei .1

2. Cantitatea de informatie in cazul discret.2

· Informatia proprie; unitati de masura.2

o Unitati de masura a informatiei:.2

· Informatia mutuala.3

3. Entropia informationala .4

Surse discrete de informatie.5

4. Definitii si terminologie .5

5. Tipuri de surse discrete .6

· Sursa discreta fara memorie (SDFM): .6

· Sursa discreta cu memorie: .6

· Sursa Markov: sursa discreta cu memorie de ordinul 1 .7

· Sursa stationara .8

· Sursa ergodica .8

· Sursa cu debit controlabil.9

· Sursa cu debit necontrolabil .9

6. Parametrii surselor discrete.10

· Entropia surselor discrete.10

o Entropia sursei discrete, fara memorie, ergodica.10

o Entropia sursei extinse .10

o Entropia sursei discrete, cu memorie, ergodica, de tip Markov.11

- Sursa Markov ergodica .11

- Entropia unei surse cu memorie.11

- Entropia unei surse stationare .11

- Entropia unei stari Sj .11

- Entropia pentru sursa Markov ergodica, unifilara .11

· Debitul de informatie .12

· Cantitatea de decizie a sursei .12

· Redundanta sursei .12

· Eficienta sursei .12

7. Exemple de surse discrete si entropiile lor.12

Canale discrete de transmiterea a informatiei .14

8. Entropia la intrarea si iesirea din canal .14

· Entropia campului reunit intrare  iesire.15

9. Entropii conditionate.15

· Relatiile entropiilor conditionate cu entropiile proprii .17

10. Transinformatia.18

· Capacitatea canalului .18

11. Parametrii canalului discret.18

12. Modele de canale discrete .19

· Canal binar simetric .20

· Canal binar cu anulari .21

· Canal binar cu erori si anulari .21

13. Capacitatea canalelor discrete. .22

· Canal discret general, fara memorie; .22

· Canal binar general (n = m = 2) .23

o Canal binar simetric .24

14. Exemple de canale discrete .24

· Canale discrete cu constrangeri.25

o Caracterizarea canalelor cu constrangeri .26

Masura informatiei in sisteme continue .28

15. Transinformatia in canale continue.28

16. Capacitatea canalului continuu .29

17. Variatia entropiei cu schimbarea coordonatelor .30

Receptoare de simboluri discrete .32

18. Matricea strategiei de decizie a receptorului.32

19. Matricea de tranzitie a canalului echivalent.33

- Strategii deterministe .33

20. Criteriul riscului minim.33

· Criteriul lui Bayes in cazul binar .34

o Criteriul probabilitatii a posteriori maxime,.35

o Criteriul plauzabilitatii maxime .35

21. Criteriul minimax.36

- Strategii aleatoare.37

22. Alta interpretare a criteriului minimax.37

Extras din document

1. Formularea problemei

· Daca se urmareste un experiment care poate conduce la mai multe

rezultate, asupra realizarii fiecaruia din rezultate planeaza o

anumita incertitudine; incertitudinea este eliminata in momentul

aflarii rezultatului; exemple de experimente: aruncarea zarului,

masurarea unei tensiuni.

· Primirea unei informatii este echivalenta cu eliminarea unei

incertitudini;

· Obtinerea informatiei este legata de caracterul intamplator

(aleator, stochastic) al fenomenului sau experimentului observat

si de aceea unui eveniment (rezultat) i se asociaza o masura

probabilistica;

· Daca rezultatele sunt discrete, ca in

figura, fiecarui eveniment xi i se poate

asocia probabilitatea p(xi);

· Daca rezultatele sunt continue se poate

asocia o densitate de probabilitate p(x)

unui punct din spatiul E al

esantioanelor astfel incat

· Daca informatia asupra realizarii unui eveniment xi rezulta chiar

din observarea acelui eveniment, se obtine informatia proprie

i(xi);

Exemplu: in experimentul cu aruncarea zarului se afla (vede) nemijlocit

fata care a aparut;

· Daca informatia asupra realizarii unui eveniment xi rezulta din

observarea altui eveniment yi, legat de xi ,se obtine infomatia

mutuala i(xi,yj);

Exemplu: se afla ce fata a aparut din comentariile cuiva care a vazut-o

nemijlocit.

· In teoria lui Shannon se iau in consideratie numai aspectele

cantitative ale informatiei, nu si cele calitative, legate de sensul

(semantica) mesajului.

2. Cantitatea de informatie in cazul discret

· Informatia proprie; unitati de masura

o Unitati de masura a informatiei:

Preview document

Masura Informatiei in Sisteme Discrete - Pagina 1
Masura Informatiei in Sisteme Discrete - Pagina 2
Masura Informatiei in Sisteme Discrete - Pagina 3
Masura Informatiei in Sisteme Discrete - Pagina 4
Masura Informatiei in Sisteme Discrete - Pagina 5
Masura Informatiei in Sisteme Discrete - Pagina 6
Masura Informatiei in Sisteme Discrete - Pagina 7
Masura Informatiei in Sisteme Discrete - Pagina 8
Masura Informatiei in Sisteme Discrete - Pagina 9
Masura Informatiei in Sisteme Discrete - Pagina 10
Masura Informatiei in Sisteme Discrete - Pagina 11
Masura Informatiei in Sisteme Discrete - Pagina 12
Masura Informatiei in Sisteme Discrete - Pagina 13
Masura Informatiei in Sisteme Discrete - Pagina 14
Masura Informatiei in Sisteme Discrete - Pagina 15
Masura Informatiei in Sisteme Discrete - Pagina 16
Masura Informatiei in Sisteme Discrete - Pagina 17
Masura Informatiei in Sisteme Discrete - Pagina 18
Masura Informatiei in Sisteme Discrete - Pagina 19
Masura Informatiei in Sisteme Discrete - Pagina 20
Masura Informatiei in Sisteme Discrete - Pagina 21
Masura Informatiei in Sisteme Discrete - Pagina 22
Masura Informatiei in Sisteme Discrete - Pagina 23
Masura Informatiei in Sisteme Discrete - Pagina 24
Masura Informatiei in Sisteme Discrete - Pagina 25
Masura Informatiei in Sisteme Discrete - Pagina 26
Masura Informatiei in Sisteme Discrete - Pagina 27
Masura Informatiei in Sisteme Discrete - Pagina 28
Masura Informatiei in Sisteme Discrete - Pagina 29
Masura Informatiei in Sisteme Discrete - Pagina 30
Masura Informatiei in Sisteme Discrete - Pagina 31
Masura Informatiei in Sisteme Discrete - Pagina 32
Masura Informatiei in Sisteme Discrete - Pagina 33
Masura Informatiei in Sisteme Discrete - Pagina 34
Masura Informatiei in Sisteme Discrete - Pagina 35
Masura Informatiei in Sisteme Discrete - Pagina 36
Masura Informatiei in Sisteme Discrete - Pagina 37
Masura Informatiei in Sisteme Discrete - Pagina 38
Masura Informatiei in Sisteme Discrete - Pagina 39
Masura Informatiei in Sisteme Discrete - Pagina 40
Masura Informatiei in Sisteme Discrete - Pagina 41
Masura Informatiei in Sisteme Discrete - Pagina 42
Masura Informatiei in Sisteme Discrete - Pagina 43
Masura Informatiei in Sisteme Discrete - Pagina 44
Masura Informatiei in Sisteme Discrete - Pagina 45
Masura Informatiei in Sisteme Discrete - Pagina 46
Masura Informatiei in Sisteme Discrete - Pagina 47
Masura Informatiei in Sisteme Discrete - Pagina 48
Masura Informatiei in Sisteme Discrete - Pagina 49
Masura Informatiei in Sisteme Discrete - Pagina 50
Masura Informatiei in Sisteme Discrete - Pagina 51
Masura Informatiei in Sisteme Discrete - Pagina 52
Masura Informatiei in Sisteme Discrete - Pagina 53
Masura Informatiei in Sisteme Discrete - Pagina 54
Masura Informatiei in Sisteme Discrete - Pagina 55
Masura Informatiei in Sisteme Discrete - Pagina 56
Masura Informatiei in Sisteme Discrete - Pagina 57
Masura Informatiei in Sisteme Discrete - Pagina 58
Masura Informatiei in Sisteme Discrete - Pagina 59
Masura Informatiei in Sisteme Discrete - Pagina 60
Masura Informatiei in Sisteme Discrete - Pagina 61
Masura Informatiei in Sisteme Discrete - Pagina 62
Masura Informatiei in Sisteme Discrete - Pagina 63
Masura Informatiei in Sisteme Discrete - Pagina 64
Masura Informatiei in Sisteme Discrete - Pagina 65
Masura Informatiei in Sisteme Discrete - Pagina 66
Masura Informatiei in Sisteme Discrete - Pagina 67
Masura Informatiei in Sisteme Discrete - Pagina 68
Masura Informatiei in Sisteme Discrete - Pagina 69
Masura Informatiei in Sisteme Discrete - Pagina 70
Masura Informatiei in Sisteme Discrete - Pagina 71
Masura Informatiei in Sisteme Discrete - Pagina 72
Masura Informatiei in Sisteme Discrete - Pagina 73
Masura Informatiei in Sisteme Discrete - Pagina 74
Masura Informatiei in Sisteme Discrete - Pagina 75
Masura Informatiei in Sisteme Discrete - Pagina 76
Masura Informatiei in Sisteme Discrete - Pagina 77
Masura Informatiei in Sisteme Discrete - Pagina 78
Masura Informatiei in Sisteme Discrete - Pagina 79
Masura Informatiei in Sisteme Discrete - Pagina 80
Masura Informatiei in Sisteme Discrete - Pagina 81
Masura Informatiei in Sisteme Discrete - Pagina 82
Masura Informatiei in Sisteme Discrete - Pagina 83
Masura Informatiei in Sisteme Discrete - Pagina 84
Masura Informatiei in Sisteme Discrete - Pagina 85
Masura Informatiei in Sisteme Discrete - Pagina 86
Masura Informatiei in Sisteme Discrete - Pagina 87
Masura Informatiei in Sisteme Discrete - Pagina 88
Masura Informatiei in Sisteme Discrete - Pagina 89
Masura Informatiei in Sisteme Discrete - Pagina 90
Masura Informatiei in Sisteme Discrete - Pagina 91
Masura Informatiei in Sisteme Discrete - Pagina 92
Masura Informatiei in Sisteme Discrete - Pagina 93
Masura Informatiei in Sisteme Discrete - Pagina 94

Conținut arhivă zip

  • Masura Informatiei in Sisteme Discrete.pdf

Alții au mai descărcat și

Dispozitive și Circuite Electronice - Partea 1

Jonctiunea p-n la echilibru termic. În practica se utilizeaza numeroase dispozitive electronice obtinute prin alaturarea de regiuni...

Traductoare de Vibrații și Accelerații

Vibratiile sunt fenomene dinamice care iau nastere în medii elastice sau cvasielastice, datorita unei excitatii locale, care se manifesta prin...

Traductoare de Viteză și Turație

Notiuni fundamentale : Viteza, prin definitie, este o marime vectoriala. Daca directia (suportul) de deplasare a corpului în miscare este data,...

Traductoare pentru Controlul Dimensional

Elemente sensibile pneumatice pentru controlul dimensional Controlul dimensional este un domeniu în care utilizarea dispozitivelor pneumatice...

Traductoare pentru Forțe și Cuplu

9.2.2 Tipuri de marci tensometrice si caracteristicile acestora Principalele caracteristici ale MT sunt determinate de natura materialului din...

Traductoare pentru Marimi Electrice.

c) Transformatoare de curent. În practica aceste transformatoare se mai nu-mesc “reductoare de curent”si sunt folosite pentru prelucrarea...

Traductoare pentru Mărimi Geometrice

Notiuni fundamentale: Deplasarea este o marime ce caracterizeaza schimbarile de pozitie ale unui corp sau ale unui punct caracteristic fata de un...

Microcontrolere

1.3 CLASIFICARI SI VARIANTE CONSTRUCTIVE Exista la ora actuala un numar extrem de mare de tipuri constructive de microcontrolere. Un criteriu de...

Te-ar putea interesa și

Sisteme Hibride de Reglare a Nivelului. Conducere în Timp Real cu PLC Allen Bradley SLC 5-05

Introducere Un sistem hibrid este compus dintr-un proces continuu, modelat printr-un set de ecuaţii liniare şi tratat ca un SDED (Sistem Dinamic...

Filtre Numerice

INTRODUCERE Filtrarea semnalelor reprezinta o operatie de baza in prelucrarea informaţiei.Poate facută fie analogic(cu ajutorul unor retele R L C...

Lucrare de Specialitate - Sistemul de Calcul Software

Cap.I. STRUCTURA GENERALA A UNUI SISTEM DE CALCUL Sistemele electronice de calcul sunt reprezentate printr-un ansamblu de echipamente fizice...

Îndatoririle funcționarilor publici europeni

In literatura de specialitate s-au purtat discuţii cu privire la modul în care pot fi denumite sarcinile aferente funcţiei publice, autorii...

Sisteme de Comunicatie - PNS

Sub1.Prelucrarea semnalelor are un rol important în comunicaţii, automatică,înregistarea electronică a imaginilor şi sunetului, prelucrarea...

Arhitectura unui Sistem de Calcul

Sistemele de calcul –calculatoarele in forma cea mai generala- se impart in 3 categorii: • Calculatoare numerice, care sunt sisteme de calcul care...

Structuri si Algoritmi pentru Conducerea Automata a Proceselor

Partea I-a CONDUCEREA PROCESELOR DUPA MARIMEA DE IESIRE 1. Structuri de baza si metode de proiectare 1.1. Structuri de reglare si metode de...

Semnale numerice - Mijloace de măsurare

Exemplu de schemă bloc a unui aparat digital (aparat bazat pe procesarea numerică a semnalelor achiziționate) Dispozitiv de eșantionare +...

Ai nevoie de altceva?