Fisher-informaatio

Fisher-informaatiota merkitään ${\displaystyle {\mathcal {I}}(\theta )}$ ja sen tarkoitus on mitata kuinka paljon informaatiota havaittu aineisto ${\displaystyle X}$ sisältää parametrista ${\displaystyle \theta }$ . Koska pistemääräfunktion ensimmäinen momentti, eli odotusarvo on nolla niin sen varianssiksi, eli Fisher-informaatioksi, saadaan sen toinen momentti:

${\displaystyle {\mathcal {I}}(\theta )=\operatorname {E} \left[\left.\left({\frac {\partial }{\partial \theta }}\log f(X;\theta )\right)^{2}\right|\theta \right]=\int \left({\frac {\partial }{\partial \theta }}\log f(X;\theta )\right)^{2}f(X;\theta )\;dX,}$

Mikäli log f(x; θ) on mahdollista derivoida kahdesti, voidaan Fisher-informaatio esittää myös muodossa:

${\displaystyle {\mathcal {I}}(\theta )=-\operatorname {E} \left[\left.{\frac {\partial ^{2}}{\partial \theta ^{2}}}\log f(X;\theta )\right|\theta \right]\,.}$

Fisher-informaation voidaankin katsoa mittaavaan kaarevuutta suurimman uskottavuuden estimaatin ${\displaystyle {\hat {\theta }}}$ lähellä. Itseisarvoltaan pienen Fisher-informaation omaavien uskottavuusfunktioiden kuvaajat ovat tasaisia ja sisältävät vähän informaatiota, kun taas paljon informaatiota sisältävien kuvaajat ovat kaarevampia ja Fisher-informaatio itseisarvoltaan suurempia.

Additiivisuus

Fisher-informaatio on additiivista. Toisistaan riippumattomien otosten sisältämän informaation määrä on otosten Fisher-informaatioiden summa.

${\displaystyle {\mathcal {I}}_{X,Y}(\theta )={\mathcal {I}}_{X}(\theta )+{\mathcal {I}}_{Y}(\theta )}$

Tyhjentävyys

Tyhjentävän tunnusluvun sisältämä Fisher-informaatio on sama kuin otoksen ${\displaystyle X}$ . Jos ${\displaystyle T(X)}$ on tyhjentävä tunnusluku parametrille ${\displaystyle \theta }$ , niin silloin

${\displaystyle f(X;\theta )=g(T(X),\theta )h(X)\!}$

joillekin funktioille g ja h.

Olkoon N parametria siten, että ${\displaystyle \theta }$ on N × 1 vektori ${\displaystyle \theta ={\begin{bmatrix}\theta _{1},\theta _{2},\dots ,\theta _{N}\end{bmatrix}}^{\mathrm {T} },}$ niin Fisher-informaatiomatriisi on N × N matriisi:

${\displaystyle {\left({\mathcal {I}}\left(\theta \right)\right)}_{i,j}=\operatorname {E} \left[\left.\left({\frac {\partial }{\partial \theta _{i}}}\log f(X;\theta )\right)\left({\frac {\partial }{\partial \theta _{j}}}\log f(X;\theta )\right)\right|\theta \right].}$

Fisher-informatiomatriisi on N × N positiivisesti semidefiniitti symmetrinen matriisi. Tietyin oletuksin tämä matriisi voidaan esittää muodossa:

${\displaystyle {\left({\mathcal {I}}\left(\theta \right)\right)}_{i,j}=-\operatorname {E} \left[\left.{\frac {\partial ^{2}}{\partial \theta _{i}\,\partial \theta _{j}}}\log f(X;\theta )\right|\theta \right]\,.}$

• Jeffreysin priori
• Kullback–Leibler divergenssi

• Frieden, B. Roy (2004) Science from Fisher Information: A Unification. Cambridge Univ. Press. ISBN 0-521-00911-1.
• Schervish, Mark J. (1995) Theory of Statistics, New York, Springer, kappale 2.3.1, ISBN 0-387-94546-6