Entropía condicional
La entropía condicional es una extensión del concepto de entropía de la información a procesos donde intervienen varias variables aleatorias no necesariamente independientes.
Definición
Supóngase que es una variable aleatoria sobre un espacio de probabilidad y sea un evento. Si toma valores sobre un conjunto finito , se define de manera natural la entropía condicional de dado como:
De la misma manera si es otra variable aleatoria que toma valores se define la entropía condicional como:
Puede interpretarse la anterior magnitud como la incertidumbre de dado un valor particular de , promediado por todos los valores posibles de .
Propiedades
- Trivialmente se tiene que
- si e son variables independientes.
- Dadas dos variables que toman un conjunto finito de valores:
- Como consecuencia de lo anterior y de que , se tiene: .
Referencias
Bibliografía
- Dominic Welsh (1988): Codes and Cryptography, Clarendon Press, Oxford, ISBN 0-19-853287-3
🔥 Top keywords: Wikipedia:PortadaEspecial:BuscarCleopatra I de EgiptoEslovaquiaCaso Asunta BasterraYasukeChatGPTRobert FicoTabla periódica de los elementosBridgertonCopa Libertadores 2024Nueva CaledoniaEl planeta de los simios (franquicia)CleopatraJessica Goicoechea JoverJesús NavasNicolás Jarry (tenista)YouTubeSegunda Guerra MundialPrimera Guerra MundialArroba (símbolo)Copa Sudamericana 2024BaloncestoLuísa Villalta GómezCopa Libertadores de AméricaCristiano Ronaldo16 de mayoAlejandro TabiloLionel MessiIsidro LabradorLoco MíaKingdom of the Planet of the ApesRichard GaddHernán BarcosClasificación para la Copa Mundial de Clubes de 2025Especial:CambiosRecientesLiga de Campeones de la UEFAMiguel Ángel AguilarAdolf Hitler