${\bf\circlearrowright }$Caso generale di inferenza con verosimiglianza binomiale

Affrontiamo ora il caso generale dell'inferenza di $p$ dalla conoscenza di $n$ e di $X=x$ e dall'aver assunto un processo di Bernoulli indipendente per ogni esito, sotto condizione che $p$ valga un certo valore (si potrebbe scrivere ``$P=p$'', ma, come già visto per $\mu$ e $\sigma$, per i parametri delle distribuzioni preferiamo utilizzare soltanto la lettera minuscola). Questo è stato il famoso ``problem in the theory of chance'' che aveva indotto il reverendo Bayes a sviluppare formalmente il metodo di inversione di probabilità che porta il suo nome. Assumendo una distribuzione uniforme per $p$ abbiamo:

$$f(p\,\vert\,x,n,{\cal B}) = \frac{ f(x\,\vert\,{\cal B}_{n,p})\,f_\circ(p) }{ \int_0^1\! f(x\,\vert\,{\cal B}_{n,p})\,f_\circ(p)\,\rm {d}p }$$

$$= \frac{ \frac{n!}{(n-x)!\,x!}\,p^x\,(1-p)^{n-x}\,f_\circ(p) }{ \int_0^1\! \frac{n!}{(n-x)!\,x!}\,p^x\,(1-p)^{n-x}\,f_\circ(p)\,\rm {d}p }$$

$$= \frac{ p^x\,(1-p)^{n-x}}{\int_0^1 \!p^x\, (1-p)^{n-x}\,\rm {d}p}\, .$$ (12.10)

Questa volta l'integrale a denominatore è meno banale del caso gaussiano. Il risultato finale è:

$$f(p\,\vert\,x,n,{\cal B}) = \frac{(n+1)!}{x!\,(n-x)!}\,p^x\,(1-p)^{n-x}\,,$$ (12.11)

di cui sono mostrati alcuni esempi in Fig. 12.1.

Figura: Funzione densità di probabilità del parametro $p$ della binomiale, avendo osservato $x$ successi in $n$ prove.

Si vede, come a parità di $x/n$, al crescere di $n$ si è sempre più sicuri su $p$. Inoltre (semplice riflesso del limite a normale della binomiale) per $n$ grande e $x/n$ lontano da 0 e da 1 la funzione finale $f(p)$ ha la forma gaussiana. Valore atteso, varianza e moda di $f(p)$ sono:^12.1

$$(p) = \frac{x+1}{n+2}$$ (12.12)

$$(p) = \frac{(x+1)(n-x+1)}{(n+3)(n+2)^2}$$ (12.13)

$$= \frac{x+1}{n+2}\left(\frac{n+2}{n+2} -\frac{x+1}{n+2}\right)\frac{1}{n+3}$$

$$= (p)\,\left[1 - \mbox{E}(p)\right]\,\frac{1}{n+3}\,$$ (12.14)

$$(p) \,\left[\equiv p_m \right] = \frac{x}{n}.$$ (12.15)

Su questo problema aveva lavorato, oltre che Bayes, anche Laplace e, in particolare, la (12.12) è nota come formula recursiva di Laplace. Si noti come essa sia dia valori di E$(p)$ diversi da quelli di sicurezza (ovvero 0 e 1) anche quando $X$ vale 0 o 1, consistente con il fatto che una inferenza asata su processi aleatori non può mai condurre alla sicurezza. Addirittura la formula dà una risposta ragionevole ( E$(p)=1/2$) per $x=n=0$, ovvero prima di aver eseguito le misure. Questo non ha niente di magico, ma è il solo riflesso della prior uniforme su $p$.