Proprietà formali di covarianza e coefficiente di correlazione

Avendo introdotto il concetto di covarianza, vediamo il modo con cui essa viene calcolata a partire dalla definizione.

$$(X,Y) = \left[\left(X-\mbox{E}(X)\right)\, \left(Y-\mbox{E}(Y)\right)\right]$$

$$\left[= \iint \left[\left(x-\mbox{E}(X)\right)\, \left(y-\mbox{E}(Y)\right)\right]\, f(x,y)\,\mbox{d}x\mbox{d}y\right]$$

$$= \left[X\cdot Y-X\cdot \mbox{E}(Y)-Y\cdot\mbox{E}(X)+ \mbox{E}(X)\cdot \mbox{E}(Y)\right]$$

$$= (X Y)- (X)\cdot (Y)$$ (9.19)

Il secondo passaggio, fra parentesi, mostra il modo di calcolare la covarianza dalla definizione operativa (avendo preso come esempio il caso di variabili continue). In realtà la (9.19) rappresenta il modo più semplice per calcolare la covarianza, in analogia alla formula che esprime la varianza come ``media dei quadrati meno il quadrato della media''. Infatti, anche la (9.19) può essere letta come ``media del prodotto meno il prodotto delle medie''.

Per quanto riguarda E$(X Y)$, esso non è in genere risolvibile in termine di altre grandezze note e va calcolato dalla definizione operativa, che, per variabili continue, è

$$(X\, Y) = \iint x\, y\, f(x,y)dxdy\, .$$ (9.20)

Esiste un solo caso notevole in cui è possibile evitare di fare l'integrale doppio. Se

$$f(x,y) = f(x)\cdot f(y)\,,$$

ovvero $Y$ e $Y$ sono fra loro indipendenti, possiano riscrivere l'integrale doppio come prodotto di due integrali:

$$(X,Y) = \int x\,f(x)dx\cdot \int y\,f(y)dy$$

$$= (X)\cdot (Y)\,.$$ (9.21)

Ne segue, allora, che Cov$(X,Y)=$E$(X)\cdot$E$(Y) -$   E$(X)\cdot$E$(Y) = 0$:

se due variabili casuali sono indipendenti, la loro covarianza è nulla.

Si faccia attenzione a questa affermazione. Essa si basa sulla definizione di indipendenza stocastica espressa dalla $f(x,y)=f(x)\,f(y)$ e non significa che non esista alcun legame fra i possibili valori delle due variabili. La covarianza nulla implica soltanto l'assenza di una correlazione di tipo lineare, come si vedrà fra breve quando vedremo i casi che massimizzano $\vert\rho\vert$. Due variabili possono essere fortemente dipendenti pur avendo covarianza nulla. Un caso ``clamoroso'' è quello di punti nel piano $X,Y$ distribuiti lungo una circonferenza. Se per semplicità poniamo il centro del cerchio nell'origine è facile verificare che sono nulli E$(X)$, E$(Y)$ e E$(X\, Y)$ e quindi anche la covarianza (vedi figura 9.2).

Calcoliamo ora covarianza e coefficiente di correlazione fra due variabili linearmente dipendenti, ovvero legate da una relazione del tipo

$$Y=a\,X+b\,.$$

Utilizzando i simboli compatti $\mu_X=$E$(X)$ e $\mu_Y=$E$(Y)$, abbiamo:

$$\mu_Y = a\, \mu_X + b$$ (9.22)

$$\sigma_Y^2 = a^2\, \sigma_X^2$$ (9.23)

$$(X,Y) = [(X-\mu_X)\, (Y-\mu_Y)]$$

$$= [(X-\mu_X)\, (a\, X+b-a\, \mu_X-b)]$$

$$= [a\, (X-\mu_X)\, (X-\mu_X)]$$

$$= a\, \sigma_X^2$$ (9.24)

da cui

$$\rho=\frac{a\, \sigma_X^2}{\sqrt{\sigma_X^2\, a^2\, \sigma_X^2}} = \frac{a}{\vert a\vert}\,.$$ (9.25)

Quindi, in caso di dipendenza lineare, il coefficiente di correlazione vale $\pm 1$ a seconda che il coefficiente angolare $a$ sia positivo o negativo. Si può dimostrare che, in generale,

$$-1 \leq \rho \leq +1$$ (9.26)

e il grado di correlazione lineare fra due variabili è misurato da $\vert\rho\vert$.

Dimostrazione della (9.26): consideriamo la variabile casuale $W=X+\alpha\, Y$. La varianza di $W$ è, per definizione, non negativa per qualsiasi valore di $\alpha$:

$$\sigma_W^2(\alpha) = \sigma^2_X + \alpha^2\sigma^2_Y + 2\,\alpha\,\sigma_{XY}\ge 0\,.$$ (9.27)

La dipendenza di $\sigma^2_W(\alpha)$ da $\alpha$ è parabolico. Essendo $\sigma^2_W(\alpha)\ge 0$, questo sarà vero anche quando $\sigma^2_W(\alpha)$ assume il valore minimo, in corrispondenza di

$$\alpha_{min}=-\frac{\sigma_{XY}}{\sigma^2_Y}\,.$$

Sostituendo nella (9.27) si ottiene

$$\frac{\sigma^2_{XY}}{\sigma^2_X\sigma^2_Y} \le 1\,,$$ (9.28)

da cui segue la (9.26). $\blacksquare$