Curs: Măsura informației în sisteme discrete (#367660)

Previzualizare curs:

Cuprins
Extras

Cuprins curs:

Masura informatiei in sisteme discrete (Shannon,1950).1
1. Formularea problemei .1
2. Cantitatea de informatie in cazul discret.2
· Informatia proprie; unitati de masura.2
o Unitati de masura a informatiei:.2
· Informatia mutuala.3
3. Entropia informationala .4
Surse discrete de informatie.5
4. Definitii si terminologie .5
5. Tipuri de surse discrete .6
· Sursa discreta fara memorie (SDFM): .6
· Sursa discreta cu memorie: .6
· Sursa Markov: sursa discreta cu memorie de ordinul 1 .7
· Sursa stationara .8
· Sursa ergodica .8
· Sursa cu debit controlabil.9
· Sursa cu debit necontrolabil .9
6. Parametrii surselor discrete.10
· Entropia surselor discrete.10
o Entropia sursei discrete, fara memorie, ergodica.10
o Entropia sursei extinse .10
o Entropia sursei discrete, cu memorie, ergodica, de tip Markov.11
- Sursa Markov ergodica .11
- Entropia unei surse cu memorie.11
- Entropia unei surse stationare .11
- Entropia unei stari Sj .11
- Entropia pentru sursa Markov ergodica, unifilara .11
· Debitul de informatie .12
· Cantitatea de decizie a sursei .12
· Redundanta sursei .12
· Eficienta sursei .12
7. Exemple de surse discrete si entropiile lor.12
Canale discrete de transmiterea a informatiei .14
8. Entropia la intrarea si iesirea din canal .14
· Entropia campului reunit intrare iesire.15
9. Entropii conditionate.15
· Relatiile entropiilor conditionate cu entropiile proprii .17
10. Transinformatia.18
· Capacitatea canalului .18
11. Parametrii canalului discret.18
12. Modele de canale discrete .19
· Canal binar simetric .20
· Canal binar cu anulari .21
· Canal binar cu erori si anulari .21
13. Capacitatea canalelor discrete. .22
· Canal discret general, fara memorie; .22
· Canal binar general (n = m = 2) .23
o Canal binar simetric .24
14. Exemple de canale discrete .24
· Canale discrete cu constrangeri.25
o Caracterizarea canalelor cu constrangeri .26
Masura informatiei in sisteme continue .28
15. Transinformatia in canale continue.28
16. Capacitatea canalului continuu .29
17. Variatia entropiei cu schimbarea coordonatelor .30
Receptoare de simboluri discrete .32
18. Matricea strategiei de decizie a receptorului.32
19. Matricea de tranzitie a canalului echivalent.33
- Strategii deterministe .33
20. Criteriul riscului minim.33
· Criteriul lui Bayes in cazul binar .34
o Criteriul probabilitatii a posteriori maxime,.35
o Criteriul plauzabilitatii maxime .35
21. Criteriul minimax.36
- Strategii aleatoare.37
22. Alta interpretare a criteriului minimax.37

Extras din curs:

1. Formularea problemei

· Daca se urmareste un experiment care poate conduce la mai multe

rezultate, asupra realizarii fiecaruia din rezultate planeaza o

anumita incertitudine; incertitudinea este eliminata in momentul

aflarii rezultatului; exemple de experimente: aruncarea zarului,

masurarea unei tensiuni.

· Primirea unei informatii este echivalenta cu eliminarea unei

incertitudini;

· Obtinerea informatiei este legata de caracterul intamplator

(aleator, stochastic) al fenomenului sau experimentului observat

si de aceea unui eveniment (rezultat) i se asociaza o masura

probabilistica;

· Daca rezultatele sunt discrete, ca in

figura, fiecarui eveniment xi i se poate

asocia probabilitatea p(xi);

· Daca rezultatele sunt continue se poate

asocia o densitate de probabilitate p(x)

unui punct din spatiul E al

esantioanelor astfel incat

· Daca informatia asupra realizarii unui eveniment xi rezulta chiar

din observarea acelui eveniment, se obtine informatia proprie

i(xi);

Exemplu: in experimentul cu aruncarea zarului se afla (vede) nemijlocit

fata care a aparut;

· Daca informatia asupra realizarii unui eveniment xi rezulta din

observarea altui eveniment yi, legat de xi ,se obtine infomatia

mutuala i(xi,yj);

Exemplu: se afla ce fata a aparut din comentariile cuiva care a vazut-o

nemijlocit.

· In teoria lui Shannon se iau in consideratie numai aspectele

cantitative ale informatiei, nu si cele calitative, legate de sensul

(semantica) mesajului.

2. Cantitatea de informatie in cazul discret

· Informatia proprie; unitati de masura

o Unitati de masura a informatiei:

Download gratuit

Documentul este oferit gratuit,
trebuie doar să te autentifici in contul tău.

Înregistrare Autentificare

Structură de fișiere:

Masura Informatiei in Sisteme Discrete.pdf

Alte informații:

Tipuri fișiere:: pdf
Nota:: 8/10 (2 voturi)
Nr fișiere:: 1 fisier
Pagini (total):: 94 pagini
Imagini extrase:: 94 imagini
Nr cuvinte:: 16 832 cuvinte
Nr caractere:: 117 991 caractere
Marime:: 1.17MB (arhivat)
Publicat de:: NNT 1 P.
Nivel studiu:: Facultate
Tip document:: Curs
Domeniu:: Electronică

Predat:: la facultate
Materie:: Electronică
Profesorului:: stoichescu