Entropi (informationsteori)

I det følgende gives eksempler på beregning af entropi.

Møntkast

Når en ærlig mønt bruges til at slå plat eller krone, har den 50 % - dvs. ${\displaystyle {\tfrac {1}{2}}}$ - sandsynlighed for at lande på krone og 50 % sandsynlighed for at lande på plat. Informationsmængden for hver udfald er derfor:

${\displaystyle I=-\log _{2}{\frac {1}{2}}=\log _{2}2=1{\text{ bit}}}$

Den gennemsnitlige informationsmængde - entropien - for ét mønstkast er derfor også 1:

${\displaystyle S_{1}=-\left[{\frac {1}{2}}\log _{2}\left({\frac {1}{2}}\right)+{\frac {1}{2}}\log _{2}\left({\frac {1}{2}}\right)\right]=-\log _{2}{\frac {1}{2}}=\log _{2}2=1{\text{ bit}}}$

For to mønter fordobles informationsmængden ,og derfor bliver entropien 2. Der er nemlig 4 mulige udfald med to mønter, og hvert udfald har 25 % sandsynlighed, så:

${\displaystyle S_{2}=-4\left[{\frac {1}{4}}\log _{2}\left({\frac {1}{4}}\right)\right]=\log _{2}4=\log _{2}2^{2}=2\log _{2}2=2{\text{ bit}}}$

Da antallet af mulige udfald fordobles med hver mønt, må antallet af mulige udfald for et arbitrært antal ${\displaystyle N}$ mønter være ${\displaystyle 2^{N}}$ . Sandsynligheden per udfald ${\displaystyle i}$ er derfor:

${\displaystyle P_{i}={\frac {1}{2^{N}}}}$

Og derfor er entropien:

${\displaystyle S_{N}=-2^{N}\left[{\frac {1}{2^{N}}}\log _{2}\left({\frac {1}{2^{N}}}\right)\right]=\log _{2}\left(2^{N}\right)=N\log _{2}2}$

Entropien for ${\displaystyle N}$ møntkast er altså simpelthen ${\displaystyle N}$ .

Så jo flere mønter, jo højere entropi, da hvert udfald bliver mere og mere usandsynligt, og informationen omvendt bliver større og større.

Bernoulli-proces

En Bernoulli-proces er en måling, hvor der er to mulige udfald med sandsynlighederne ${\displaystyle p}$ og ${\displaystyle 1-p}$

${\displaystyle {\begin{aligned}P_{1}&=p\\P_{2}&=1-p\end{aligned}}}$

hvor ${\displaystyle p}$ er konstant. Dette er en generalisering af den ærlige mønt, hvor ${\displaystyle p={\tfrac {1}{2}}}$ . Entropien er:

For ${\displaystyle p={\tfrac {1}{2}}}$ er entropien 1 som før, men for ${\displaystyle p=0}$ - dvs. hvis udfald 1 er umuligt - bliver entropien:

${\displaystyle S(0)=-0\log _{2}(0)-1\log _{2}(1)=0{\text{ bit}}}$

Entropien ville også være 0 bit, hvis kun udfald 2 var muligt. Hvis kun ét udfald er muligt, er der ikke længere nogen usikkerhed, mens usikkerheden er størst, hvis begge udfald er lige sandsynlige (se figur).^[2]