Exercices sur la théorie de l'information 2, Exercices de Applications des sciences informatiques
Christophe
Christophe

Exercices sur la théorie de l'information 2, Exercices de Applications des sciences informatiques

2 pages
247Numéro de visites
Description
Exercices d’informatique sur la théorie de l'information - 2 Les principaux thèmes abordés sont les suivants: exercices.
20 points
Points de téléchargement necessaire pour télécharger
ce document
Télécharger le document
Aperçu2 pages / 2
Télécharger le document

ENSEIRB fnformatique 1ère année

Janvier 2010

Théorie de l'information

Documents autori,sés : une feutlle Al manuscri,te recto-uerso. Calculatri,ces autorisées. Les enerc'ices sont i,ndénendants.

Exercice 1

1. Un code préfixe est-il toujours uniquemerrt déchiffrabte ? Un code uniquement déchiffrable est-il toujours préfixe ?

2. La fonction dg'Kraft d'un code est 0.875, Peut-on en déduire qu'il est uniquement déchiffrable ? Qu'il est préfixe ?

3. La fônction de Kraft d'un code est 1.0125." Peut-on en déduire qu'il n'est pas préfixe ?

Qu'il n'est pas uniquement déchiffrable ?

4. Le code formé des mots {01,10, 110,1111,1110,001} est- i l préf ixe? Et le code {01, 10, 110, 1111, 1110,0100} ?

5. Dans une population, 25To des gens sont blonds, 30% ont les yeux bleus, et75To des blonds ont les yeux bleus. Vous apprenez que quelqu'un a les yeux bleus. Combien d'information avez-vous reçu ? Vous apprenez maintenant que cette même personne a les cheveux blonds. Combien d'information supplémentaire avez-voué reçu ?

Exercice 2 On considère une source simple émettant 6 symboles,S : {*r,*r,. . , ,ra} avec les

probabi l i tés P(r1) - 1 - t ,P(r2) : P(nz): . . . : P(rù: f , où f est un réel compris entre 0 et 1.

1. Construire un code de Huffmann de ,9 pour f : 0.5, Calculer I'entropie de la source et I'efficacité du code.

2. On suppose que t < f . Donner en fonction de f un code de Huffmann de ̂ 9 (on montrera que ce code a deux formes possibles, suivant que f est inférieur ou supérieur à une valeur t" à déterminer).

3. On suppose maintenant f > Ë. Donner un code de Huffmann de ,S.

Exercice 3 On considère deux sources,Sr et ,92; ,91 envoie les symboles {ri}1aiqn avec probabilités

respectives pt, et,Sz envoie les symboles {gr'}r<j<rn âv€c probabilités respectives Ç7 | on suppose que les z; et ies !j sont tous distincts. On note l/(S1) et l/(.92) l'entropie de ces deux sources. Soit À un réel compris entre 0 et 1.

On s'intéresse à la source .9, qui a comme ensemble de symboles la réunion des deux ensembles précédents) avec comme probabilités P(r,;) : Àpr et P(g1): (1 - À)qi.

docsity.com

Donner I'entropie l1(S) en fonction de À, de H(St) et de 11(,92).

Dans le cas oit tous ies p; sont égaux à1,1n et tous les q3 égaux à7f m, montrer que

la valeur de À pour laquelle l1(S) est maximale est À^o,: nl(n + m)'

Exercice 4 On considère une irnage constituée

codés de 0 (noir) à 3 (blanc). Chaque assombrir selon le schéma ci-dessous :

par des pixels qui présentent 4 "niveaux de gris", pixel est transmis sur un canal qui a tendance à

0

On désigne par X le système d'un pixei source et par Y le s;'stème récepteur, et on

suppose que P(X - 0) : P(X : I ) : P(X - 2) :715 er P(X : 3) :215'

1. Déterminer la loi de (X,Y) et celle de Y.

2. Donner en fonction de e l'entropie conditionnelle H(XIY) et I'information mutuelle

I(X,Y). Donner les valeurs numériques dans les cas 6:0,€:0 '05, e:1.

3. Calculer en fonction de e la probabilité qu'il n'y ait pas d'erreur lors de la transmission

d'un pixel.

1.

2.

docsity.com

Aucun commentaire n'a été pas fait
Télécharger le document