Teoria transmisiunii informației

Masura informatiei in sisteme discrete (Shannon,1950) 1
1. Formularea problemei 1
2. Cantitatea de informatie in cazul discret 2
-Informatia proprie; unitati de masura 2
o Unitati de masura a informatiei: 2
-Informatia mutuala 3
3. Entropia informationala 4
Surse discrete de informatie 5
4. Definitii si terminologie 5
5. Tipuri de surse discrete 6
-Sursa discreta fara memorie (SDFM): 6
-Sursa discreta cu memorie: 6
-Sursa Markov: sursa discreta cu memorie de ordinul 1 7
-Sursa stationara 8
-Sursa ergodica 8
-Sursa cu debit controlabil 9
-Sursa cu debit necontrolabil 9
6. Parametrii surselor discrete 10
-Entropia surselor discrete 10
o Entropia sursei discrete, fara memorie, ergodica 10
o Entropia sursei extinse 10
o Entropia sursei discrete, cu memorie, ergodica, de tip Markov 11
- Sursa Markov ergodica 11
- Entropia unei surse cu memorie 11
- Entropia unei surse stationare 11
- Entropia unei stari Sj 11
- Entropia pentru sursa Markov ergodica, unifilara 11
-Debitul de informatie 12
-Cantitatea de decizie a sursei 12
-Redundanta sursei 12
-Eficienta sursei 12
7. Exemple de surse discrete si entropiile lor 12
Canale discrete de transmiterea a informatiei 14
8. Entropia la intrarea si iesirea din canal 14
-Entropia campului reunit intrare – iesire 15
9. Entropii conditionate 15
-Relatiile entropiilor conditionate cu entropiile proprii 17
10. Transinformatia 18
-Capacitatea canalului 18
11. Parametrii canalului discret 18
12. Modele de canale discrete 19
-Canal binar simetric 20
-Canal binar cu anulari 21
-Canal binar cu erori si anulari 21
13. Capacitatea canalelor discrete. 22
-Canal discret general, fara memorie; 22
93
-Canal binar general (n = m = 2) 23
o Canal binar simetric 24
14. Exemple de canale discrete 24
-Canale discrete cu constrangeri 25
o Caracterizarea canalelor cu constrangeri 26
Masura informatiei in sisteme continue 28
15. Transinformatia in canale continue 28
16. Capacitatea canalului continuu 29
17. Variatia entropiei cu schimbarea coordonatelor 30
Receptoare de simboluri discrete 32
18. Matricea strategiei de decizie a receptorului 32
19. Matricea de tranzitie a canalului echivalent 33
- Strategii deterministe 33
20. Criteriul riscului minim 33
-Criteriul lui Bayes in cazul binar 34
o Criteriul probabilitatii a posteriori maxime, 35
o Criteriul plauzabilitatii maxime 35
21. Criteriul minimax 36
- Strategii aleatoare 37
22. Alta interpretare a criteriului minimax 37
Codarea de sursa (pentru canale fara perturbatii) 38
23. Obiectivul codarii: 38
24. Tipuri de coduri de sursa: 38
-Coduri unic decodabile: 38
-Coduri separabile: 39
-Coduri instantanee: 39
25. Reprezentarea codurilor prin grafuri arbore binare : 39
26. Eficienta codarii: 40
-Lungimea medie a cuvantului de cod 40
o Limita inferioara a lungimii medii 40
27. Parametrii codului 41
-Capacitatea codului 41
-Eficienta codului 41
-Redundanta codului 41
28. Coduri absolut optimale si optimale 42
-Coduri absolut optimale; conditia de existenta a codurilor absolut optimale 42
-Coduri optimale 42
-Teorema I-a a lui Shannon 42
-Procedee de codare optimala (compacta) 43
o Principii generale: 43
o Codare simbol cu simbol (n = 1) 43
- Procedeul Shannon – Fano: 43
- Procedeul de codare Huffman 45
Codarea pentru canalele cu perturbatii 46
29. Obiectivul codarii 46
30. Categorii de coduri 46
-Coduri bloc 46
o Coduri grup 46
o Coduri ciclice 46
-Coduri convolutionale (recurente) 47