



























Prepara tus exámenes y mejora tus resultados gracias a la gran cantidad de recursos disponibles en Docsity
Gana puntos ayudando a otros estudiantes o consíguelos activando un Plan Premium
Prepara tus exámenes
Prepara tus exámenes y mejora tus resultados gracias a la gran cantidad de recursos disponibles en Docsity
Prepara tus exámenes con los documentos que comparten otros estudiantes como tú en Docsity
Encuentra los documentos específicos para los exámenes de tu universidad
Estudia con lecciones y exámenes resueltos basados en los programas académicos de las mejores universidades
Responde a preguntas de exámenes reales y pon a prueba tu preparación
Consigue puntos base para descargar
Gana puntos ayudando a otros estudiantes o consíguelos activando un Plan Premium
Comunidad
Pide ayuda a la comunidad y resuelve tus dudas de estudio
Ebooks gratuitos
Descarga nuestras guías gratuitas sobre técnicas de estudio, métodos para controlar la ansiedad y consejos para la tesis preparadas por los tutores de Docsity
aplica los conceptos de Transmisión de la información, Entropía, Información mutua y Capacidad de canal, en el despliegue de Sistemas de Telecomunicaciones
Tipo: Apuntes
1 / 35
Esta página no es visible en la vista previa
¡No te pierdas las partes importantes!




























¿Qué Estudiante puede explicar la relación entre la Entropía y la capacidad de Comunicaciones”?
LA ENTROPÍA CONDICIONADA
PUEDE INTERPRETARSE LA ANTERIOR MAGNITUD COMO LA INCERTIDUMBRE DE X DADO UN VALOR PARTICULAR DE Y , PROMEDIADO POR TODOS LOS VALORES POSIBLES DE Y. H ( X ) H ( Y ) H ( X | Y ) I ( X ; Y ) H ( Y | X ) H ( X , Y )
H(X/Y) se interpreta como la incertidumbre promedio sobre la variable X cuando se conoce el estado de Y. Intuitivamente H(X/Y) está asociada a la información extra que posee X respecto a Y y a la información que ambas variables comparten. Se introduce entonces la regla de la cadena para la entropía, análogo a la regla de la cadena para la probabilidad conjunta p 𝑥, 𝑦 = 𝑝 Τ 𝑥 𝑦.^ 𝑝^ 𝑦
Si se considera el caso en el que un receptor que tiene total conocimiento sobre la variable Y desea conocer el estado de un posible emisor con conocimiento sobre X. Para conocer el estado total de X, el emisor debe enviar la información faltante, es decir, la información que el receptor ignora, que viene dada por la diferencia entre la información conjunta de X y Y y el prior H(Y ). Por lo tanto la cantidad de bits (en el caso del logaritmo en base 2 ) es H(X;Y) - H(Y) que es igual a la entropía condicional H(XjY ). Según esto, la entropía condicional cuantifica la incertidumbre de Y respecto a X. Por lo tanto
H(X,Y) H(X) H(Y) H(X|Y) I(Y;X) H(Y|X) ( ) ( | ) ( ) ( | ) ( , ) ( | ) ( | ) ( ; ) ( ; ) ( ) ( ) ( , ) ( ; ) ( ) ( | ) ( ) ( | ) H Y H Y X H X H X Y H X Y H X Y H Y X I X Y I X Y H X H Y H X Y I X Y H X H X Y H Y H Y X Cuando las variables son independientes H(X,Y)=H(X)+H(Y), la información mutua será nula I(X;Y)= 0.
Sean X y Y variables aleatorias. Si están correlacionadas existe cierta información conocida por ambas variables. La información mutua se introduce para cuantifica esa información y se define como: Intuitivamente la expresión anterior cuantifica la información que no se obtiene de X al conocer Y. Por lo tanto se espera que I(X;Y) = H(Y) - H(Y/X).
La Teoría de Shannon, no ilustra acerca del valor de la información, que depende mucho del contexto.
LAS VARIABLES DISCRETAS SON AQUELLAS CUYAS OBSERVACIONES SE AGRUPAN ‘INHERENTEMENTE’ O ‘NATURALMENTE’ EN CATEGORÍAS, PORQUE DICHAS VARIABLES POR SU NATURALEZA SÓLO PUEDEN TOMAR CIERTOS VALORES MUY ESPECÍFICOS