pzd100 Distribuzione multinomiale

Dopo aver introdotto i concetti di base delle distribuzioni multivariate e alcuni esempi elementari, mostriamo ora una una distribuzione di variabile discreta che descrive i possibili istogrammi che possono essere osservati effettuando un certo esperimento. Questo argomento era già stato introdotto nel paragrafo 7.14. In tale occasione ci eravamo interessati soltanto della previsione della distribuzione statistica, ma era stato tralasciato il problema di calcolare la probabilità di ciascuna delle possibili configurazioni.

Cominciamo con un esempio numerico. Immaginiamo di ripetere 20 volte un certo esperimento, in ciascuno crediamo che possa uscire, con uguale probabilità, un numero intero $i$ compreso fra 0 e 10. Indichiamo con $X_i$ il numero di occorrenze dell'esito $i$-mo. Riassumiamo le cose che già sappiamo fare:

• ciascuna variabile $X_i$ è distribuita secondo una binomiale di $n=20$ e $p=1/11$;
• prevediamo una distribuzione statistica con $p\,n\pm\sqrt{p\,q\,n}$ occorrenze per ciascun esito; (*** att ***)
• prevediamo che le frequenze relative siano $p\pm\sqrt{p\,q}/\sqrt{n}$.

Interessiamoci ora delle possibili configurazioni di occorrenze che è possibile osservare. La figura 9.4 (parte a destra) ne mostra qualcuna (istogramma ottenuto da simulazione al calcolatore).

Figura: Esempi di eventi multinomiali generati casualmente. Tutte le distribuzioni hanno il parametro $n$ pari a 20, $m=11$, $x_1=0$ e $x_m=10$. Negli istogrammi a destra $p_i$ è costante e pari $1/11$, mentre in quelli a sinistra vale invece $p_i=f(x_i\,\vert\,{\cal B}_{0.5,10})$.

Cominciamo con dei casi particolari e poi passeremo alla trattazione generale.

• Può capitare 20 volte di seguito lo stesso valore di $i$, ad esempio $i=0$, dando luogo a $X_\circ =20$ e $X_1=X_2=\cdots=X_{10}=0$, con probabilità $1.5\times 10^{-21}$ per ciascuna possibilità. (La probabilità che si verifichi uno qualsiasi di questo tipo di eventi è $1.6\times 10^{-20}$.)
• Può capitare che esca la metà delle volte un valore, l'altra metà un altro e nessuna volta gli altri 9. Concentriamoci su $X_\circ=10$, $X_1=10$ e gli altri zero. Questi valori possono essere ottenuti da $\left(\!\begin{array}{c} 20 \\ 10\end{array}\!\right) = 184756$ possibili sequenze, ciascuna avente probabilità $1.5\times 10^{-21}$. Ne seque che la probabilità dell'evento $X_\circ=10$, $X_1=10$ è uguale a $2.8\times 10^{-16}$. (Per calcolare la probabilità di osservare una qualsiasi equipartizione dei 20 successi in due classi bisogna considerare il numero combinazioni di 11 esiti presi 2 a 2, pari a 55, ottenendo $1.5\times 10^{-14}$.)
• Consideriamo ora un caso in cui i risultati sono ``più equilibrati'', ad esempio i primi 9 esiti che si verificano 2 volte e gli ultimi due una sola volta: $X_0=x_1=\cdots=X_8=2$; $X_9=X_{10}=1$. Questo sembra essere, intuitivamente, un risultato molto più probabile dei due precedenti. Calcoliamo il numero di sequenze (tutte di probabilità $1.5\times 10^{-21}$):
  • ci sono $\binom{20}{2}$ combinazioni che danno $i=0$;
  • per ciascuna di esse ce ne sono $\binom{20 -2}{2}= \binom{18}{2}$ che danno $i=1$ e così via;
  • otteniamo un totale di
    $$\binom{20}{2} \binom{18}{2} \cdots \binom{1}{1}$$
    combinazioni, ovvero:
    $$\frac{20!}{18!\,2!} \frac{18!}{16!\,2!} \frac{16!}{14!\,2!} \ldots 1 = \frac{20!}{(2!)^9} = 4.8\times 10^{15}\,.$$

  Questa configurazione ha quindi una probabilità di $7.1\times 10^{-6}$, enormemente più alta delle altre, anche se di per sé ancora molto piccola. Se poi consideriamo che ci sono 55 configurazioni distinte in cui 9 esiti possono uscire 2 volte e gli altri 1 volta, otteniamo una probabilità di circa lo 0.4 per mille di osservare una qualsiasi di queste configurazioni ``equilibrate''.

Passiamo ora al caso generale di $m$ possibili modalitè per l'esito di ciascuna prova e sia $p_i$ la probabilità che assegniamo a ciscuna modalità. Naturalmente deva valere la condizione

$$\sum_i^m p_i =1\,.$$

Dovendo effettuare $n$ prove nelle stesse condizioni possiamo osservare $X_i$ volte ciascun esito, con

$$\sum_i^n X_i=n\,.$$

Le $n$ prove possono dar luogo a $n!$ sequenze possibili, in genere non tutte equiprobabili (a meno che le $p_i$ siano tutte uguali). Ciascuna sequenza che produce la configurazione di variabili casuali $X_1=x_1$, $X_2=x_2$, ...$X_m=x_m$ ha probabilità

$$p_1^{x_1}p_2^{x_2}\cdots p_m^{x_m}\,.$$ (9.47)

Il numero delle sequenze che produce la stessa configurazione $\{x_1,x_2,\, \ldots,\, x_m\}$ è dato dal coefficiente multinomiale

$$\frac{n!}{x_1!\,x_2!\cdots x_m!}\,.$$ (9.48)

Infatti, si hanno $\binom{n}{x_1}$ combinazioni per la prima modalità; per ciascuna di esse ce ne sono $\binom{n-x_1}{x_2}$ la seconda, e così via. Quindi il numero di combinazioni è

$$\frac{n!}{(n-x_1)!\,x_1!}\cdot \frac{(n-x_1)!}{(n-x_1-x_2)!\,x_2!} \cdot \frac{(n-x_1-x_2)!}{(n-x_1-x_2-x_3)!\,x_3!}\ldots \,.$$

Semplificando otteniamo la (9.50). Moltiplicando la probabilità (9.49) della sequenza per il numero di sequanze abbiamo finalmente la distribuzione multinomiale

$$f(\underline{x}\,\vert\,{\cal M}^m_{n\underline{p}}) = \frac{n!}{x_1!\,x_2!\cdots x_m!}\, p_1^{x_1}p_2^{x_2}\cdots p_m^{x_m}\,,$$ (9.49)

dove con $\underline{x}$ è stato indicato l'insieme dei valori $\{x_1,x_2,\, \ldots,\, x_m\}$ e con $\underline{p}$ l'insieme delle probabilità $\{p_1,p_2,\, \ldots,\, p_m\}$. Quando $m=2$ si riottiene la binomiale.

Il calcolo del valore atteso e della varianza di ciascuna variabile $X_i$ è immediato, in quanto è sufficiente pensare la distribuzione marginale di ogni variabile pari ad una distribuzione binomiale di parametro $p_i$. Ne segue

$$(X_i) = n\,p_i$$ (9.50)

$$(X_i) = n\,p_i\,(1-p_i)\,.$$ (9.51)

Per quanto riguarda covarianza e coefficiente di correlazione, invece del conto esatto utilizziamo un metodo euristico (più importante del conto esatto per l'impostazione di questo corso).

Riprendiamo la funzione di probabilità della distribuzione binomiale

$$f(x\,\vert\,{\cal B}_{np}) = \frac{n!}{x!\,(n-x)!}\,p^x(1-p)^{n-x}$$

ed esplicitiamo il fatto ci troviamo di fronte a due classi di eventi (favorevoli e sfavorevoli) scrivendo

$$f(x_1,x_2\,\vert\,{\cal B}_{np}) = \frac{n!}{x_1!\,x_2!}\,p_1^{x_1}\,p_2^{x_2}\,,$$ (9.52)

dove è stata operata la seguente trasformazione di simboli:

$$x \rightarrow x_1\,;$$

$$n-x \rightarrow x_2\,;$$

$$p \rightarrow p_1\,;$$

$$1-p \rightarrow p_2\,.$$

Il fatto che adesso $f(x_1,x_2)$ dipenda apparentemente da due variabili non è in contraddizione con il fatto che la formula originale delle binomiale fosse funzione di una sola variabile. Infatti $x_1$ e $x_2$ sono linermente (anti-)correlate in quanto devono soddisfare la condizione $x_1+x_2=n$. Quindi $f(x_1,x_2)$ dipende in realtà soltanto da una variabile e il coefficiente di correlazione fra le due variabili vale $\rho(X_1,X_2) = -1$, come è intuitivo pensare e come risulta dalla (9.25)

Anche nel caso generale della multinomiale le variabili $X_i$ sono fra loro correlate, in quanto vale la relazione $\sum_{i=1}^m x_i=n$. Ma il grado di correlazione è, per $m>2$, minore che nella binomiale. Infatti, mentre nel caso $m=2$ il non verificarsi di un evento nella classe 1 implica il suo verificarsi nella classe 2, nel caso di molte classi si può al più affermare che esso si sia verificato in una delle restanti $m-1$ classi, ciascuna con probabilità proporzionale a $p_i$. Quindi il grado di correlazione diminuisce in valore assoluto (``si diluisce'') al crescere del numero di classi e, per $m$ abbastanza grande, la multinomiale può essere essere vista come la probabilità congiunta di tante binomiali indipendenti.

Abbiamo detto che nel caso binomiale $\rho(X_1,X_2)$ vale -1. Ne segue che

$$(X_1,X_2)=\rho(X_1,X_2)\,\sigma_1\,\sigma_2 = -n\,p_1\,p_2\,,$$ (9.53)

in quanto $\sigma_1=\sigma_2=\sqrt{n\,p_1\,p_2}$. In effetti si può verificare che la (9.55) è valida anche nel caso generale. Si ottiene quindi:

$$(X_i,X_j) = -n\,p_i\,p_j$$ (9.54)

$$\rho(X_i,X_j) = \frac{-n\,p_i\,p_j} {\sqrt{n\,p_i\,(1-p_i)\,n\,p_j\,(1-p_j)}}$$ (9.55)

$$= -\sqrt{\frac{p_i\,p_j}{(1-p_i)\,(1-p_j)}}\,.$$ (9.56)

Come previsto qualitativamente, la correlazione è trascurabile se le probabilità delle due classi sono abbastanza piccole^9.5.

L'importanza della distribuzione multinomiale risiede nel fatto che essa descrive il numero di eventi di un istogramma o di un diagramma a barre, indipendentemente dalla distribuzione di probabilità che segue la variabile casuale associata alla grandezza di cui si costruisce l'istogramma o il diagramma a barre in questione. In Fig  9.4 sono riportati degli esempi di eventi casuali generati secondo due distribuzioni multinomiali di $n=20$ , in un caso (grafici a destra) con $p_i$ tutte uguali e nell'altro con $p_i$ generato secondo una binomiale: $p_i=f(x_i\,\vert\,{\cal B}_{0.5,10})$. In questo caso il numero di eventi per ciascun $x_i$ è distribuito secondo una binomiale di parametri $p_i$ ed $n=20$, e quindi ha un valore medio $20p_i$. Quindi le realizzazioni della multinomiale dell'esempio fluttuano intorno ad un andamento medio che ha la stessa forma della distribuzione di $p_i$, riscalato (``normalizzato'') di un fattore 20. Si confrontino questi grafici con quello della distribuzione ${\cal B}_{0.5,10}$ di Fig.  7.1.