Scarica codifica di sorgente e più Appunti in PDF di Comunicazioni Elettriche solo su Docsity!
Elementi diComunicazioniElettricheTeoria dell’Informazione
Dispense Comunicazioni Elettriche, Copyright 2002 OCG, www.optcom.polito.it , V. Ferrero, R. Gaudino
Teoria dell’informazione
La teoria dell’informazione costituisce la basematematica delle trasmissioni numeriche moderne Si divide in due grandi ambiti^ Teoria dell’informazione per sorgenti^
E’ alla base delle tecniche di compressione Teoria dell’informazione di canale E’ alla base delle tecniche di codifica, protezione daerrore, etc Sarà introdotta in corsi successivi
Dispense Comunicazioni Elettriche, Copyright 2002 OCG, www.optcom.polito.it , V. Ferrero, R. Gaudino
CODIFICA DI SORGENTE-COMPRESSIONE
Struttura del sistema di trasmissione:^ SORGENTE
CODIFICADISORGENTE
CODIFICADICANALE
Esempio:ConvertitorePCM per audio
Informazione digitale(discretizzata suampiezze e tempi)
Flussi di bit
Flussi di bit
Dispense Comunicazioni Elettriche, Copyright 2002 OCG, www.optcom.polito.it , V. Ferrero, R. Gaudino
CODIFICA DI SORGENTE-COMPRESSIONE
Codifica di sorgente:Sistema che, data una certa sorgente diinformazione digitale, cerca di ridurre almassimo il bit rate da trasmettere(compressione).Idea base: togliere la “ridondanza” dellasorgente.Codifica di canale:Sistema che rende la trasmissione resistente aglierrori, cioè diminuisce la
P(e)^ effettiva.
Dispense Comunicazioni Elettriche, Copyright 2002 OCG, www.optcom.polito.it , V. Ferrero, R. Gaudino
CODIFICA DI SORGENTE-COMPRESSIONE
Codifica di sorgente:È fondamentale per ridurre il bit rate, ed è moltoefficiente su: ^ Segnali analogici convertiti in digitale conPCM:^ ^ Stream audio (esempio MP3)^ ^ Stream video (esempio MPEG-II) ^ File di tipo testuale
Dispense Comunicazioni Elettriche, Copyright 2002 OCG, www.optcom.polito.it , V. Ferrero, R. Gaudino
ESEMPIO: Video digitale.
Video digitale Ipotesi:^ 1000*800 pixel^ 16 bit per pixel (circa 65000 colori)^ 100 refresh al secondo Bit rate risultante senza compressione:
1.28 Gbit/s Con MPEG-II si riesce a trasmettere un buonsegnale video con un bit rate attorno a 4-6 Mbit/s
Audio digitalizzato, qualità telefonica.Dai 64 Kbit/s tipici del PCM non quantizzato sipassa a: ^ Circa 13 Kbit/s per il cellulare GSM ^ Si riesce a scendere a qualche kbit/s per letecniche tipiche delle applicazioni internetper lo streaming audio (Netmeeting,NetPhone)^ Dispense Comunicazioni Elettriche, Copyright 2002 OCG, www.optcom.polito.it , V. Ferrero, R. Gaudino
Esempio: audio (PCM)
Dispense Comunicazioni Elettriche, Copyright 2002 OCG, www.optcom.polito.it , V. Ferrero, R. Gaudino
CON PERDITE:- audio- video- esempi: MP3, MPEG
CODIFICA DISORGENTE
SENZA PERDITE- trasmissione di file- esempi: WinZip, Arj
Classificazione codifica di sorgente
Dispense Comunicazioni Elettriche, Copyright 2002 OCG, www.optcom.polito.it , V. Ferrero, R. Gaudino
Fondamenti della teoria
Idea base:^ Sfruttare il fatto che i simboli non sono in generaleequiprobabili.^ Associare ad ogni simbolo una opportuna stringa divalori binari “01001…”, con una associazione alunghezza variabile In questo contesto i “bit” delle stringhe di codificasaranno in realtà chiamati “DIGIT”^ Nell’ambito della teoria dell’informazione, iltermine “bit” ha un altro significato
^ La teoria che presenteremo si basa sull’uso diuna “codifica a lunghezza variabile” ^ Si associano codifiche più corte (in numero didigit) per i simboli di sorgente più probabili.^ Dispense Comunicazioni Elettriche, Copyright 2002 OCG, www.optcom.polito.it , V. Ferrero, R. Gaudino
Codifica a lunghezza variabile
Dispense Comunicazioni Elettriche, Copyright 2002 OCG, www.optcom.polito.it , V. Ferrero, R. Gaudino
Teoria dell’informazione per sorgente La codifica a lunghezza variabile è il nocciolodella questione, e andrà confrontata con lasoluzione più semplice di codifica a lunghezzafissa, su: Esempio: se ho 256 simboli, la codifica piùovvia è quella a lunghezza fissa su:
log(256)=8^2
(^ )^ digit/simbolo. (^
)^
(^ ) ^
M M INT^
2 2 superiore
log log^
=
Dispense Comunicazioni Elettriche, Copyright 2002 OCG, www.optcom.polito.it , V. Ferrero, R. Gaudino
Quantità di traffico generato
Se i simboli sono da emettere ogni
T secondi, il m^
“digit”-rate necessario è dato da: Lo scopo della teoria dell’informazione persorgenti è di cercare di ridurre questa quantitàpassando a codifica a lunghezza variabile
(^ )
^
M Tm log^2 1
Dispense Comunicazioni Elettriche, Copyright 2002 OCG, www.optcom.polito.it , V. Ferrero, R. Gaudino
Commento
Formula per il calcolo di logaritmi in base 2
)(log ) (^2) (log )(log) (^2) (log (^10) )(log 210
xe (^) e x x^
=
Inoltre si ricorda che:
x^ x =) (^2) ( log^2
Dispense Comunicazioni Elettriche, Copyright 2002 OCG, www.optcom.polito.it , V. Ferrero, R. Gaudino
Teoria dell’informazione per sorgente DEFINIZIONIQuantità di informazione del simbolo
m : i
e si misura in “bit”^ ^ Notare che è in generale un numero reale,anche minore di 1
i i^
p mI
1 log) (^
2
Dispense Comunicazioni Elettriche, Copyright 2002 OCG, www.optcom.polito.it , V. Ferrero, R. Gaudino
Teoria dell’informazione per sorgente Esempio:Se^ p=P(mi^
)=0.5^ i
I(m^ )= 1i^
bit
Se^ p=P(mi^
)=1^ i
I(m^ )=0i^
bit
un simbolo “sicuro” non porta alcunainformazione.
Dispense Comunicazioni Elettriche, Copyright 2002 OCG, www.optcom.polito.it , V. Ferrero, R. Gaudino
Teoria dell’informazione per sorgente DEFINIZIONI2. Entropia di sorgente: è la quantità diinformazione media di tutta la sorgente
=^
∑=^
bitsimbolo
p
p
IE
xH
i M ii i
log
][
][
2 1
Dispense Comunicazioni Elettriche, Copyright 2002 OCG, www.optcom.polito.it , V. Ferrero, R. Gaudino
Lunghezza media di codifica
Definiamo
n^ la lunghezza della codifica del i^ simbolo
m in numero di digit i^ Si definisce come lunghezza media di codifica
i
M npii i
nE
n^
=^
1
][
Dispense Comunicazioni Elettriche, Copyright 2002 OCG, www.optcom.polito.it , V. Ferrero, R. Gaudino
Lunghezza media di codifica
La lunghezza media di codifica è un parametroessenziale per la codifica di sorgente Infatti il “digit”-rate medio necessario dopo lacodifica è dato da:
⋅ secondo 1
digitn Tm
Dispense Comunicazioni Elettriche, Copyright 2002 OCG, www.optcom.polito.it , V. Ferrero, R. Gaudino
Lunghezza media di codifica
Allora una codifica è tanto migliore quanto piùè inferiore alla codifica a lunghezza fissa, dove siha:
n
^
log
M^2
n^
fissa codifica
Dispense Comunicazioni Elettriche, Copyright 2002 OCG, www.optcom.polito.it , V. Ferrero, R. Gaudino
Risultato fondamentale
Risultato fondamentale teoria informazione: Per qualunque possibile codifica: Inoltre, per qualunque sorgente, esiste unacodifica tale per cui:
)( x
H
n^ ≥
xH
n
xH
Dispense Comunicazioni Elettriche, Copyright 2002 OCG, www.optcom.polito.it , V. Ferrero, R. Gaudino
Commenti
Il risultato è essenziale poiché dà un limite teoricoalla lunghezza media di codifica, cioè a quanto sipuò comprimere (senza perdite) Questo limite è strettamente legato all’entropiadella sorgente, cioè alle sue caratteristichestatistiche
Dispense Comunicazioni Elettriche, Copyright 2002 OCG, www.optcom.polito.it , V. Ferrero, R. Gaudino
Esempio: simboli equiprobabili
Esempio: Se^ M=
e i simboli sono equiprobabili:^ H(x)=
bit/simbolo Una codifica a lunghezza fissa richiede 8digit/simbolo ed è dunque la migliore possibile
Nei codici a lunghezza variabile NON si vuolemettere un demarcatore di separazione tra lecodifiche di ciascun simbolo.Questo pone delle richieste sulle codifiche.Esempio:^ Dispense Comunicazioni Elettriche, Copyright 2002 OCG, www.optcom.polito.it , V. Ferrero, R. Gaudino
D
C
B
A
CODIFICA
SIMBOLO
Codici a lunghezza variabile e prefissi
Supponiamo che la stringa da codificare sia:A B B C A^ Dispense Comunicazioni Elettriche, Copyright 2002 OCG, www.optcom.polito.it , V. Ferrero, R. Gaudino
Il codificatore riceve:0 0 1 0 1 1 0 0A A
C D^
C A
e può decidere per:
Codici a lunghezza variabile e prefissi
Dispense Comunicazioni Elettriche, Copyright 2002 OCG, www.optcom.polito.it , V. Ferrero, R. Gaudino
CODIFICA DI HUFFMAN
Esempio:
B
E
D
C
A
Probabilità SIMBOLO
Dispense Comunicazioni Elettriche, Copyright 2002 OCG, www.optcom.polito.it , V. Ferrero, R. Gaudino
CODIFICA DI HUFFMAN
Con una codifica a lunghezza fissa devo usare 3digit per simbolo.Calcolo dell’entropia
bit simbolo
p
p
xH
i i^ i
log
2 5 1
=^ ∑=
Dispense Comunicazioni Elettriche, Copyright 2002 OCG, www.optcom.polito.it , V. Ferrero, R. Gaudino
CODIFICA DI HUFFMAN
Trovo: E A B 0.04C 0.01D^
0.7^0011
Dispense Comunicazioni Elettriche, Copyright 2002 OCG, www.optcom.polito.it , V. Ferrero, R. Gaudino
CODIFICA DI HUFFMAN
Ottenendo:
E
D
C
B
A
n^ i CODIFICA p^ i SIMBOLI
Dispense Comunicazioni Elettriche, Copyright 2002 OCG, www.optcom.polito.it , V. Ferrero, R. Gaudino
CODIFICA DI HUFFMAN
Si ha: Notare che si è ottenuta una compressionerispetto al caso a lunghezza fissa pari a:
digit simbolo n^
(^45). (^1) =
ne compressiodi % 52 (^517). (^0) ) (^45). 113 (^
≈
−
Dispense Comunicazioni Elettriche, Copyright 2002 OCG, www.optcom.polito.it , V. Ferrero, R. Gaudino
CODIFICA DI HUFFMAN
Se la sorgente emette simboli a 1 Kbaud: ^ Con codifica a lunghezza fissa
sono
necessari: Con questa codifica
s si ha: Kdigit 3 Kdigit (^45). 1^ s
