Entropie conditionnelle

${\displaystyle {\begin{aligned}\mathrm {H} (X,Y)-\mathrm {H} (X)&=-\sum _{x\in X,y\in Y}\mathbb {P} (X=x,Y=y)\log _{2}(\mathbb {P} (X=x,Y=y))+\sum _{x\in X,y\in Y}\mathbb {P} (X=x,Y=y)\log _{2}(\mathbb {P} (X=x))\\&=-\sum _{x\in X,y\in Y}\mathbb {P} (X=x,Y=y)\log _{2}\left({\frac {\mathbb {P} (X=x,Y=y)}{\mathbb {P} (X=x)}}\right)\\&=\mathrm {H} (Y|X)\end{aligned}}}$

${\displaystyle \mathrm {H} (Y|X)=\sum _{x\in X}\mathbb {P} (X=x)\mathrm {H} (Y|X=x)=0}$ lorsque tous les termes de la somme sont nulles. Soit ${\displaystyle x\in X}$ tel que ${\displaystyle \mathbb {P} (X=x)\neq 0}$ , on a donc ${\displaystyle \mathrm {H} (Y|X=x)=0}$ , ce qui implique qu'il existe un unique élément ${\displaystyle y\in Y}$ vérifiant ${\displaystyle \mathbb {P} (Y=y|X=x)=1}$ . On peut donc définir une fonction ${\displaystyle f}$ telle que ${\displaystyle g(y)=x}$ pour tous les éléments de probabilité non nulle. Comme toutes les probabilités somment à ${\displaystyle 1}$ , la probabilité de ${\displaystyle Y}$ est entièrement définie

On connait la relation équivalente pour des probabilités :

${\displaystyle \mathbb {P} (X_{1}=x_{1},...,X_{n}=x_{n})=\prod _{i=1}^{n}\mathbb {P} (X_{i}=x_{i}|X_{i-1}=x_{i-1},...,X_{1}=x_{1})}$

Par conséquent,

${\displaystyle \mathrm {H} (X_{1},...,X_{n})=-\sum _{x_{1},...,x_{n}}\mathbb {P} (X_{1}=x_{1},...,X_{n}=x_{n})\log _{2}(\mathbb {P} (X_{1}=x_{1},...,X_{n}=x_{n}))=-\sum _{x_{1},...,x_{n}}\sum _{i=1}^{n}\mathbb {P} (X_{1}=x_{1},...,X_{n}=x_{n})\log _{2}(\mathbb {P} (X_{i}=x_{i}|X_{i-1}=x_{i-1},...,X_{1}=x_{1}))}$

D'où en inversant les sommes

${\displaystyle =\sum _{i=1}^{n}\mathrm {H} (X_{i}|X_{i-1},...X_{1})}$