Effetto di una prior rilevante: combinazione di risultati

A questo punto, una domanda naturale è cosa succede se la prior non è proprio talmente vaga da essere ininfluente sulla distribuzione di probabilità finale. Per semplificare i conti, modellizziamo la nostra conoscenza a priori con una gaussiana centrata in $\mu_\circ$ e di deviazione standard $\sigma_\circ$. Ad esempio, tale stato di conoscenza potrebbe derivare da una precedente misura effettuata nelle condizioni del paragrafo precedente. Come discusso a lungo nel capitolo 5, nello schema bayesiano il riaggiornamento della probabilità si effettua usando come prior la distribuzione finale dell'inferenza precedente. Nel nostro caso, abbiamo

$$f(\mu\,\vert\,x,\sigma_e,\mu_\circ,\sigma_\circ) = \frac{ \frac{1} {\sqrt{2\,\pi}\,\sigma_e } \,e^{-\frac{(x-\mu)^2}... ...circ } \,e^{-\frac{(\mu-\mu_\circ)^2} {2\,\sigma_\circ^2} } \,\mbox{d}\mu }\, .$$ (11.6)

L'integrale è un po' più complicato del caso precedente. Con le opportune semplificazoni^11.3 il risultato dell'inferenza è:

$$f(\mu\,\vert\,x,\sigma_e, \mu_\circ, \sigma_\circ) = \frac{1}{\sqrt{2\,\pi}\,\sigma_A} \,e^{-\frac{(\mu-\mu_A)^2}{2\,\sigma_A^2}}\, ,$$ (11.7)

con

$$\mu_A = \frac{x/\sigma_e^2 + \mu_\circ/\sigma_\circ^2} {1/\sigma_e^2 + 1/\sigma_\circ^2}\, ,$$ (11.8)

$$\frac{1}{\sigma_A^2} = \frac{1}{\sigma_e^2} + \frac{1}{\sigma_\circ^2}\, .$$ (11.9)

I possibili valori di $\mu$ sono ancora descritti da una gaussiana centrata in corrispondenza della media pesata fra $x$ e $\mu_\circ$, con pesi pari all'inverso delle varianze. Previsione e incertezza di previsione valgono E$(X)=\mu_A$ e $\sigma(\mu)=\sigma_A$. Il caso di prior vaga è recuperato per $\sigma_\circ\rightarrow\infty$ (con $\mu_\circ$ `ragionevole').

Poiché il risultato E$(\mu)=x\pm\sigma_e$ è quello che si ottiene quando la prior è ininfluente, mentre la previsione precedente E$_\circ(\mu)=\mu_\circ\pm\sigma_\circ$ può essere pensato come dovuto ad una precedente inferenza, le (11.8) e (eq:waver2) ci mostrano come combinare due risultati parziali. In particolare, interpretando l'inverso della varianza come peso statistico, la (11.9) ci dice che il peso statistico risultante dall'inferenza globale è pari alla somma dei pesi statistici delle inferenze parziali.

A questo punto, la combinazione di molti risultati parziali indipendenti, ciascuno ottenuto da una prior vaga è abbastanza ovvio. È istruttivo ragionare in due modi diversi.

• Possiamo immaginare una catena di inferenze, del tipo
  

  $$\{ x_1, \sigma_1\} \longrightarrow f_1(\mu)=f(\mu\,\vert\,x_1,\sigma_1)$$

  $$\{f_1(\mu), x_2, \sigma_2\} \longrightarrow f_2(\mu) = f(\mu\,\vert\,x_1,\sigma_1,x_2,\sigma_2)$$

  $$\ldots \ldots$$

  $$\{f_{n-1}(\mu), x_n, \sigma_n\} \longrightarrow f(\mu\,\vert\,\mathbf{x}, \mathbf{\sigma})\,,$$

  
  
  ove abbiamo indicato con $\mathbf{x}$ e $\mathbf{\sigma}$ l'insieme dei valori osservati e delle deviazioni standard legate alla verosimiglianza di ciascuna di esse. Applicando iterativamente il teorema di Bayes abbiamo:

  $$f(\mu\,\vert\,\mathbf{x}) \propto f(x_1\,\vert\,\mu) \cdots f(x_n\,\vert,\mu) = \prod_i f(x_i\,\vert\,\mu)\,.$$ (11.10)

  
  

• Il secondo modo consiste nel pensare alla verosimiglianza congiunta di osservare $\mathbf{x}$ per ogni ipotesi di $\mu$:

  $$f( \,\vert\,\mu) = f(\mathbf{x}\,\vert\,\mu) = \prod_i f(x_i\,\vert\,\mu)\,.$$ (11.11)

  
  

Otteniamo lo stesso risultato indipendentemente dal percorso seguito, il ché è confortante, visto che entrambi i ragionamenti sono legittimi (vedi anche discussioni in proposito nel capitolo 5).

In conclusione, abbiamo la seguente regola di combinazione:

$$(\mu) = \frac{\sum_i \mbox{E}_i(\mu)/\sigma_i^2(\mu)} {\sum_i 1/\sigma_i^2(\mu)}$$ (11.12)

$$\frac{1}{\sigma^2(\mu)} = \sum_i\frac{1}{\sigma_i^2(\mu)},$$ (11.13)

che possiamo riscrivere, facendo riferimento agli $n$ valori osservati $x_i$ e alle deviazioni standard delle relative verosimiglianze come

$$(\mu) = \frac{\sum_i x_i/\sigma_i^2} {\sum_i 1/\sigma_i^2}$$ (11.14)

$$\frac{1}{\sigma^2(\mu)} = \sum_i\frac{1}{\sigma_i^2}\,.$$ (11.15)

Si noti il carattere più generale delle (11.12) e (11.13) rispetto a queste ultime, in quanto quelle possono far riferimento a situazioni più complicate delle semplici $n$ osservazioni individuali. Ad esempio, ciascuna previsone E$_i(\mu)$ può derivare essa stessa da una precedente combinazione o da un'analisi complicata.

Figura: Esempio di combinazione di quattro inferenze indipendenti (curve tratteggiate) risultanti in un'unica inferenza globale (curva tratteggiata).

Un esempio di inferenza combinata è mostrata in figura 11.3.

Tornando alle $n$ osservazioni individuali indipendenti, vediamo il caso in cui la deviazione standard sia la stessa per tutte le osservazioni, ovvero $\sigma_i=\sigma$ $\forall\, i$. Le (11.14) e () diventano

$$(\mu) = \frac{1}{n}\sum_i x_i$$ (11.16)

$$\sigma(\mu) = \frac{\sigma}{\sqrt{n}}\,.$$ (11.17)

La previsione di $\mu$ è pari alla media aritmetica delle osservazioni. Inoltre, si vede come l'insieme delle $n$ osservazioni indipendenti hanno un peso statistico di $n$ volte quello di una singola osservazione.