Exercices sur la théorie de l'information, Exercices de Applications des sciences informatiques
Christophe
Christophe3 March 2014

Exercices sur la théorie de l'information, Exercices de Applications des sciences informatiques

PDF (1.1 MB)
2 pages
105Numéro de visites
Description
Exercices d’informatique sur la théorie de l'information. Les principaux thèmes abordés sont les suivants: exercices.
20points
Points de téléchargement necessaire pour télécharger
ce document
Télécharger le document

ENSEIRB fnformatique 1ère année

Janvier 2010

Théorie de l'information

Documents autori,sés : une feutlle Al manuscri,te recto-uerso. Calculatri,ces autorisées. Les enerc'ices sont i,ndénendants.

Exercice 1

1. Un code préfixe est-il toujours uniquemerrt déchiffrabte ? Un code uniquement déchiffrable est-il toujours préfixe ?

2. La fonction dg'Kraft d'un code est 0.875, Peut-on en déduire qu'il est uniquement déchiffrable ? Qu'il est préfixe ?

3. La fônction de Kraft d'un code est 1.0125." Peut-on en déduire qu'il n'est pas préfixe ?

Qu'il n'est pas uniquement déchiffrable ?

4. Le code formé des mots {01,10, 110,1111,1110,001} est- i l préf ixe? Et le code {01, 10, 110, 1111, 1110,0100} ?

5. Dans une population, 25To des gens sont blonds, 30% ont les yeux bleus, et75To des blonds ont les yeux bleus. Vous apprenez que quelqu'un a les yeux bleus. Combien d'information avez-vous reçu ? Vous apprenez maintenant que cette même personne a les cheveux blonds. Combien d'information supplémentaire avez-voué reçu ?

Exercice 2 On considère une source simple émettant 6 symboles,S : {*r,*r,. . , ,ra} avec les

probabi l i tés P(r1) - 1 - t ,P(r2) : P(nz): . . . : P(rù: f , où f est un réel compris entre 0 et 1.

1. Construire un code de Huffmann de ,9 pour f : 0.5, Calculer I'entropie de la source et I'efficacité du code.

2. On suppose que t < f . Donner en fonction de f un code de Huffmann de ̂ 9 (on montrera que ce code a deux formes possibles, suivant que f est inférieur ou supérieur à une valeur t" à déterminer).

3. On suppose maintenant f > Ë. Donner un code de Huffmann de ,S.

Exercice 3 On considère deux sources,Sr et ,92; ,91 envoie les symboles {ri}1aiqn avec probabilités

respectives pt, et,Sz envoie les symboles {gr'}r<j<rn âv€c probabilités respectives Ç7 | on suppose que les z; et ies !j sont tous distincts. On note l/(S1) et l/(.92) l'entropie de ces deux sources. Soit À un réel compris entre 0 et 1.

On s'intéresse à la source .9, qui a comme ensemble de symboles la réunion des deux ensembles précédents) avec comme probabilités P(r,;) : Àpr et P(g1): (1 - À)qi.

docsity.com

Donner I'entropie l1(S) en fonction de À, de H(St) et de 11(,92).

Dans le cas oit tous ies p; sont égaux à1,1n et tous les q3 égaux à7f m, montrer que

la valeur de À pour laquelle l1(S) est maximale est À^o,: nl(n + m)'

Exercice 4 On considère une irnage constituée

codés de 0 (noir) à 3 (blanc). Chaque assombrir selon le schéma ci-dessous :

par des pixels qui présentent 4 "niveaux de gris", pixel est transmis sur un canal qui a tendance à

0

On désigne par X le système d'un pixei source et par Y le s;'stème récepteur, et on

suppose que P(X - 0) : P(X : I ) : P(X - 2) :715 er P(X : 3) :215'

1. Déterminer la loi de (X,Y) et celle de Y.

2. Donner en fonction de e l'entropie conditionnelle H(XIY) et I'information mutuelle

I(X,Y). Donner les valeurs numériques dans les cas 6:0,€:0 '05, e:1.

3. Calculer en fonction de e la probabilité qu'il n'y ait pas d'erreur lors de la transmission

d'un pixel.

1.

2.

docsity.com

commentaires (0)
Aucun commentaire n'a été pas fait
Écrire ton premier commentaire
Ceci c'est un aperçu avant impression
Chercher dans l'extrait du document
Docsity n'est pas optimisée pour le navigateur que vous utilisez. Passez à Google Chrome, Firefox, Internet Explorer ou Safari 9+! Téléchargez Google Chrome