Cursuri teoria transmisiunii informației

1. INTRODUCERE

Teoria Informatiei raspunde la doua intrebari fundamentale in telecomunicatii :

- Cat de mult se poate transmite printr-un canal de comunicatie ? (In anii 40, comunitatea stiintifica credea ca marind cantitatea de informatie transmisa printr-un canal, creste si probabilitatea eronarii ei ; Shannon a surpris lumea stiintifica, aratand ca transmisia poate fi facuta corect, cu conditia ca rata de transmisie sa nu depaseasca capacitatea canalului ; capacitatea canalului se poate calcula din caracteristicile zgomotului existent in canal)

- Cat de mult pot fi compresate datele ? (Shannon a aratat ca datele reprezentand procese aleatoare ca muzica sau vorbirea, nu pot fi compresate sub o anumita limita pe care a numit-o entropie, un termen folosit deja in termodinamica ; apoi a aratat ca daca entropia este mai mica decat capacitatea canalului, atunci transmisia datelor se poate face fara erori)

Teoria Informatiei are contributii si in alte domenii (Fig. din Elements of Information Theory, Thomas M. Cover, Joy A. Thomas)

Theoria Informatiei a fost elaborata de Claude Shannon (1916-2001).

Biografie

1935 Licenta la Michigan University

1936 Asistent de cercetare la MIT (Mesechusetts Institute of Technolgy)

Master

1940 Doctorat in matematica cu teza « Mathematics in genetics »

15 ani la Bell Laboratories in compania unor personalitati din lumea stiintei : John Pierce (comunicatiile prin satelit), Harry Nyquist (Teoria semnalelor), Hendrik Bode (diagramele), inventatorii tranzistorului (Shokley, Bardee,Brattain).

1948 Shannon a elaborat Teoria informatiei, una dintre teoriile cu cel mai mare impact in secolul XX.

2. INTRODUCERE IN TEORIA PROBABILITATILOR

2.1. Experiment aleator, evenimente

Definitie : Un experiment aleator este un experiment cu mai multe rezultate posibile.

Definitie : Rezultatele unui experiment aleator se numesc evenimente.

Exemplu : aruncarea unui zar

Este un experiment cu 6 evenimente posibile.

Multimea evenimentelor posibile

Multimea evenimentelor se poate largi adaugand: - evenimentul sigur (orice fata)

- evenimentul imposibil (fata 7)

- evenimente compuse (fata para)

Rezultatul unui experiment aleator nu este cunoscut dinainte ; realizarea unui anumit eveniment este caracterizata de o probabilitate.

2.2. Probabilitatea unui eveniment

Definitia 1 (clasica, de cum cateva secole) : unde este numarul de cazuri favorabile evenimentului si numarul de cazuri posibile.

Definitia 2 (Von Mises, inceput de sec XX): unde este numarul de aparitii ale evenimentului si este numarul total de exeperimente.

Definitia 3 (Kolmogoroff, 1933) : Axiomele probabilitatilor

a) probabilitatea este un nr nenegativ

b) probabilitatea evenimentului sigur este 1

c) probabilitatea a doua evenimenete mutual exclusive, si , este egala cu suma probabilitatilor evenimentelor.

2.3. Variabila aleatore

Variabila aleatoare este o notiune folosita pentru a descrie evenimentele rezultate in urma unui experiment aleator.

Definitie: Variabila aleatoare (v.a.) este o functie care asociaza fiecarui eveniment o valoare numerica.

Notam cu v.a.

: ( asociaza fiecarui eveniment o valoare numerica)

Exemplu:

Zarul :

Observatie:

a) Oricarei submultimi a multimii valorilor lui ii corespunde un eveniment

b) se numesc realizari particulare a le v.a. .

2.4. Probabilitatile unei v.a.

Notam probabilitatea ca un eveniment sa se realizeze cu:

Exemplu:

Zarul : multimea valorilor lui este discreta

Temperatura ia valori intr-un interval.

Definitia 1 (tipul v.a.) : V.a. discreta ia valori intr-o multime discreta

V.a. continua ia valori intr-un interval

V.a. mixta

Definitie: Functia de repartitie a unei v.a. (sau distributia v.a.)

Definitie: Densitatea de probabilitate a v.a. (derivata functiei de repartitie

Exemplu:

Zarul: Functia de repartitie este o functie in scara scara

Densitatea de probabilitate este o serie de functii Dyrac

Densitate de probabilitate gaussiana (sau normala): unde este media v.a., iar este varianta v.a. ( se numeste dispersie).