Inferenza sui parametri di una legge

Supponiamo di aver misurato delle coppie di grandezze fisiche, di averne osservato l'andamento su un grafico, di avere ipotizzato il tipo di funzione matematica che lega ascisse e ordinate e di voler determinare i parametri della funzione. Consideriamo il semplice caso di un andamento lineare:

$$\mu_Y = m\cdot \mu_X+c\,,$$ (15.1)

ove con $\mu_X$ e $\mu_Y$ sono i valori veri delle grandezze. $m$ e $c$ sono parametri di valore ignoto, ovvero numeri aleatori reali (avremmo dovuto usare le lettere maiuscole, ma, come già fatto precedentemente in altri casi preferiamo usare lo stesso simbolo con il quale tali grandezze vengono usualmente indicate). Indichiamo con $X_i$ e $Y_i$ la coppia di valori osservabili, dati i parametri $m$, $c$ e il valore vero $\mu_{X_i}$ (il valore vero $\mu_{X_i}$ è univocamente determinato dalla (15.1)), la cui verosimiglianza corrispondente è data, assumendo un modello normale per gli errori, da

$$f(x_i,y_i\,\vert\,\mu_{X_i},m,c) = f(x_i\,\vert\,\mu_{X_i},m,c)\cdot f(y_i\,\vert\,\mu_{X_i},m,c)$$

$$= \frac{1}{\sqrt{2\,\pi}\sigma_{X_i}}\exp{\left[-\frac{(x_i-\mu_{X_i})^2} {2\,\sigma_{X_i}^2}\right]}$$

$$\times \frac{1}{\sqrt{2\,\pi}\sigma_{Y_i}}\exp{\left[-\frac{(y_i-m\,\mu_{X_i}-c)^2} {2\,\sigma_{Y_i}^2}\right]}\,.$$ (15.2)

La verosimiglianza acquista una forma più semplice quando $\sigma_{X_i}\rightarrow 0$. Infatti ciò significa che $\mu_{X_i}$ è, dal punto di vista pratico, univocamente determinata dal valore osservato: $\mu_{X_i}=x_i$. La verosimiglianza si riduce^15.1a

$$f(x_i,y_i\,\vert\,m,c) = \frac{1}{\sqrt{2\,\pi}\sigma_{Y_i}}\exp{\left[-\frac{(y_i-m\,x_i-c)^2} {2\,\sigma_{Y_i}^2}\right]}\,.$$ (15.3)

Se abbiamo tante coppie di valori misurati e le condizioni sperimentali sono tali che le possibili fluttuazioni delle ordinate intorno ai loro valori veri sono indipendenti, abbiamo

$$f(\underline{x},\underline{y}\,\vert\,m,c) = \Pi_i f(x_i,y_i\,\vert\,m,c)\,,$$ (15.4)

ove con $\underline{x}$ e $\underline{y}$ sono stati indicati i vettori (n-tuple) contenenti i punti osservati.

Applicando il teorema di Bayes otteniamo finalmente

$$f(m,c\,\vert\,\underline{x},\underline{y}) \propto \Pi_i f(x_i,y_i\,\vert\,m,c)\cdot f_\circ(m,c)\,.$$ (15.5)

Assumendo una distribuzione iniziale $f_\circ(m,c)$ uniforme e una distribuzione finale circa normale (bivariata), il problema si riconduce a calcolare il massimo della distribuzione finale, che coincide con il massimo della verosimiglianza. Tale punto di massimo fornisce E$(m)$ ed E$(c)$. In pratica si preferisce massimizzare il logaritmo della verosimiglianza equivalente a minimizzare la quantità

$$\sum_i\frac{(y_i-m\,x_i-c)^2}{\sigma_{Y_i}^2}\,,$$

come si può verificare facilmente. Il resto si riduce ad un esercizio di analisi.

Avendo ottenuto E$(m) = m(\underline{x},\underline{y})$ e E$(c) = c(\underline{x},\underline{y})$, ove $m()$ e $c()$ sono le funzioni che legano le migliori stime dei parametri ai dati sperimentali, si tratta di valutare $\sigma(m)$, $\sigma(c)$ e $\rho(m,c)$. Essi possono essere calcolati dalla loro definizione applicata ad $f(m,c)$ ottenuta dalla (15.5) dopo opportuna normalizzazione. L'assunzione di approssimazione a normale bivariata di $f(m,c)$ semplifica i calcoli, in quanto i parametri possono essere ricavati direttamente dalla forma della distribuzione senza eseguire gli integrali necessari per valutare $\sigma(m)$ $\sigma(c)$ e $\rho(m,c)$ (vedi, ad esempio, proprietà della distribuzione normale multivariata nella parte III delle dispense di probabilità).

Il modo più semplice per calcolare questi conti è quello di usare un ragionamento di inversione di probabilità del tipo ``cane-cacciatore'', che funziona nei limiti che abbiamo più volte indicato (vedi paragrafo ):

• i possibili valori osservati di $Y_i$ possono verificarsi intorno ai valori veri $\mu_{Y_i}$ secondo gaussiane:
  $$Y_i \sim {\cal N}(\mu_{Y_i}, \sigma_{Y_i})\,;$$

• i possibili valori di $X_i$ saranno, per le ipotesi fatte sull'assenza di errore su di essi, in corrispondenza dei loro valori veri:
  $$X_i = \mu_{X_i}\,;$$

• indichiamo con $\widehat{m}$ e $\widehat{c}$ i possibili valori che si possono ottenere, quando sono calcolati sulle possibili osservazioni utilizzando le funzioni $\widehat{m}=\widehat{m}(\underline{X},\underline{Y})$ e $\widehat{m}=\widehat{c}(\underline{X},\underline{Y})$ ottenute con il metodo descritto sopra;
• $\widehat{m}$ e $\widehat{c}$ sono variabili casuali dipendenti dalle variabili casuali $\underline{Y}$ (più le costanti $\underline{X}$) e quindi è possibile calcolarne, mediante le usuali formule di propagazione, varianze e coefficiente di correlazione, che indichiamo con $\sigma(\widehat{m})$, $\sigma(\widehat{c})$ e $\rho(\widehat{m},\widehat{c})$;
• passando da $\{\widehat{m},\widehat{c}\}$ a $\{m,c\}$ mediante il solito ragionamento cane-cacciatore, abbiamo, finalmente (sempre assumendo che l'ipotesi di normalità sia soddisfatta):
  

  $$m \sim {\cal N}(\widehat{m}, \sigma(\widehat{m}))$$

  $$c \sim {\cal N}(\widehat{c}, \sigma(\widehat{c}))$$

  $$\rho(m,c) \approx \rho(\widehat{m},\widehat{c})\,.$$