Probabilità iniziale e probabilità finale

Una volta fissata la funzione di verosimiglianza e un valore osservato $x$, si tratta di costruire la $f(\mu\,\vert\,x)$. Per arrivare in modo euristico alla formula generale, consideriamo soltanto due possibili valori di $\mu$. Se, in base alle nostre conoscenze, riteniamo i due valori ugualmente probabili, ci sembrerà naturale protendere per il valore per il quale la verosimiglianza di osservare $x$ è maggiore. Ad esempio, se $\mu_1=-1$, $\mu_2=10$ e $x=2$, si è tentati a credere che l'osservazione sia dovuta più verosimilmente alla causa $\mu_1$ che alla causa $\mu_2$. Se però la grandezza di interesse è definita positiva, la causa $\mu_1$ crolla da causa più probabile a causa impossibile. Ci sono poi casi intermedi in cui, per motivi legati all'esperienza precedente, si tende a credere a priori più ad una causa che all'altra. Ne segue che il grado di fiducia risultante di un certo valore di $\mu$ sarà proporzionale sia alla verosimiglianza che esso produca il valore osservato che al grado di fiducia che si attribuiva a $\mu$ prima dell'osservazione^9.4:

$$f(\mu\,\vert\,x) \propto f(x\,\vert\,\mu)\cdot f_\circ(\mu)\,.$$ (9.4)

Questo è uno dei modi di scrivere il teorema di Bayes, che ha un ruolo centrale nelle inferenze probabilistiche. L'inessenziale fattore di proporzionalità è ricavato dalla condizione di normalizzazione (l'integrale su tutti i possibili valori di $\mu$ deve dare 1). $f_\circ(\mu)$ è chiamata distribuzione iniziale, o a priori (o più sinteticamente, in inglese, ``prior'') mentre $f(\mu\,\vert\,x)$ è la distribuzione finale, o a posteriori, ove il ``prima'' e il ``dopo'' è rispetto alla nuova osservazione $x$ e non è da intendersi in modo strettamente temporale. La funzione $f_\circ(\mu)$ riassume lo stato di incertezza su $\mu$ alla luce di tutte le conoscenze a disposizione, a parte il verificarsi del dato sperimentale $x$. Quindi distribuzione iniziale e finale dovrebbero essere scritte, più precisamente come:

$$f_\circ(\mu) \rightarrow f(\mu\,\vert\,I_\circ)$$

$$f(\mu\,\vert\,x) \rightarrow f(\mu\,\vert\,x, I_\circ)\,.$$