Bajesovo zaključivanje

Formalno objašnjenje

Bajesovo zaključivanje izvodi posteriornu verovatnoću kao konsekvencu dva antecedenta: prethodne verovatnoće i „funkcije verovatnoće” izvedene iz statističkog modela za uočene podatke. Bajesovim zaključivanjem se izračunava posteriorna verovatnoća prema Bajesovoj teoremi:

${\displaystyle P(H\mid E)={\frac {P(E\mid H)\cdot P(H)}{P(E)}}}$

gde

• ${\displaystyle \textstyle H}$ označava svaku hipotezu na čiju verovatnoću mogu da utiču podaci (zvani dokazi u nastavku). Često postoje hipoteze koje se nadmeću, i zadatak je da se utvrditi koja je najverovatnija.
• ${\displaystyle \textstyle P(H)}$ , prethodna verovatnoća, procena je verovatnoće hipoteze ${\displaystyle \textstyle H}$ pre nego što su podaci ${\displaystyle \textstyle E}$ , sadašnji dokazi, uočeni.
• ${\displaystyle \textstyle E}$ , dokazi, odgovara novim podacima koji nisu korišteni u računanju prethodne verovatnoće.
• ${\displaystyle \textstyle P(H\mid E)}$ , posteriorna verovatnoća, verovatnoća je za ${\displaystyle \textstyle H}$ kad je dato ${\displaystyle \textstyle E}$ , i.e., nakon što je ${\displaystyle \textstyle E}$ uočeno. To je tražena veličina: verovatnoća hipoteze s obzirom na uočene dokaze.
• ${\displaystyle \textstyle P(E\mid H)}$ je verovatnoća uočavanja ${\displaystyle \textstyle E}$ za dato ${\displaystyle \textstyle H}$ . Kao funkcija od ${\displaystyle \textstyle E}$ sa fiksnim ${\displaystyle \textstyle H}$ , ukazuje na kompatibilnost dokaza s datom hipotezom. Funkcija verovatnoće je funkcija dokaza, ${\displaystyle \textstyle E}$ , dok je posteriorna verovatnoća funkcija hipoteze, ${\displaystyle \textstyle H}$ .
• ${\displaystyle \textstyle P(E)}$ se ponekad naziva marginalna verovatnoća ili „evidencija modela”. Ovaj faktor je isti za sve razmatrane hipoteze (što je vidljivo iz činjenice da se hipoteza ${\displaystyle \textstyle H}$ ne pojavljuje nigde u simbolu, za razliku od svih ostalih faktora), te ovaj faktor ne ulazi u utvrđivanje relativne verovatnoće različitih hipoteza.

Za različite vrednost ${\displaystyle \textstyle H}$ , samo faktori ${\displaystyle \textstyle P(H)}$ i ${\displaystyle \textstyle P(E\mid H)}$ , oba od kojih su u numeratoru, utiču na vrednost ${\displaystyle \textstyle P(H\mid E)}$ – posteriornu verovatnoću da je hipoteza proporcionalna svojoj priornoj verovatnoći (svojoj naslednoj verovatnoći) i novostečenu verovatnoću (njenu kompatibilnost sa novouočenim dokazima).

Bajesovo pravilo se isto tako može napisati na sledeći način:

${\displaystyle P(H\mid E)={\frac {P(E\mid H)}{P(E)}}\cdot P(H)}$

gde faktor ${\displaystyle \textstyle {\frac {P(E\mid H)}{P(E)}}}$ može da bude interpretiran kao impakt ${\displaystyle E}$ na verovatnoću od ${\displaystyle H}$ .

Alternative Bajesovom ažuriranju

Bajesova ažuriranje nalazi široku primenu i računarski je podesno. Međutim, ono nije jedino pravilo ažuriranja koje se može smatrati racionalnim.

Ijan Haking je uočio da tradicionalni argumenti „Holandske knjige” nisu sadržali Bajesovo ažuriranje: oni su ostavili otvorenu mogućnost da pravila nebajesovog ažuriranja mogu izbeći Holandske knjige. Haking je napisao^[9][10] „Niti argument holandske knjige, niti bilo koji drugi iz personalističkog arsenala dokaza o aksiomima verovatnoće ne uključuje dinamičku pretpostavku. Nijedan ne podrazumeva bajezijanizam. Dakle, personalista zahteva da dinamička pretpostavka bude Bajesova. Tačno je da bi u doslednosti personalista mogao da odustane od Bajesovog modela učenja iz iskustva. So može izgubiti svoju draž.”

Zapravo, postoje nebajesova pravila za ažuriranje koja takođe izbegavaju Holandske knjige (o čemu se govori u literaturi o „kinematici verovatnoće”) nakon objavljivanja pravila Ričarda K. Džefrija, koje primenjuje Bajesovo pravilo na slučaj gde je samim dokazima dodeljena verovatnoća.^[11] Dodatne hipoteze neophodne za jedinstveno zahtevanje Bajesovog ažuriranja su smatrane znatnim, komplikovanim i nezadovoljavajućim.^[12]

Opisi

• ${\displaystyle x}$ , opšta tačka podataka. To zapravo može da bude vektor vrednosti.
• ${\displaystyle \theta }$ , parameter distribucije tačaka podataka, i.e., ${\displaystyle x\sim p(x\mid \theta )}$ . To zapravo može da bude vektor parametara.
• ${\displaystyle \alpha }$ , hiperparametar parameterske distribucije, i.e., ${\displaystyle \theta \sim p(\theta \mid \alpha )}$ . To zapravo može da bude vektor hiperparametara.
• ${\displaystyle \mathbf {X} }$ je uzorak, skup ${\displaystyle n}$ uočenih tačaka podataka, i.e., ${\displaystyle x_{1},\ldots ,x_{n}}$ .
• ${\displaystyle {\tilde {x}}}$ , nova tačka podataka čija distribucija se predviđa.

Bajesovo zaključivanje na Vikimedijinoj ostavi.

• Hazewinkel Michiel, ур. (2001). „Bayesian approach to statistical problems”. Encyclopaedia of Mathematics. Springer. ISBN 978-1556080104. 
• Bayesian Statistics from Scholarpedia.
• Introduction to Bayesian probability from Queen Mary University of London
• Mathematical Notes on Bayesian Statistics and Markov Chain Monte Carlo
• Bayesian reading list Архивирано на сајту Wayback Machine (25. јун 2011), categorized and annotated by Tom Griffiths
• A. Hajek and S. Hartmann: Bayesian Epistemology, in: J. Dancy et al. (eds.), A Companion to Epistemology. Oxford: Blackwell 2010, 93-106.
• S. Hartmann and J. Sprenger: Bayesian Epistemology, in: S. Bernecker and D. Pritchard (eds.), Routledge Companion to Epistemology. London: Routledge 2010, 609-620.
• Stanford Encyclopedia of Philosophy: "Inductive Logic"
• Bayesian Confirmation Theory
• What Is Bayesian Learning?
• Data, Uncertainty and Inference An introduction to Bayesian inference and MCMC with a lot of examples fully explained. (free ebook)