Teorema di Bayes

Consideriamo un evento $E$ e una classe completa di ipotesi $H_i$, ovvero - ricordiamo - che siano esaustive e mutuamente esclusive:

$$\left\{\! \begin{array}{l} H_i \cap H_j = \emptyset\ \ (i\ne j) \\ \bigcup_{i=1}^n H_i = \Omega \end{array}\right.$$

Applicando la formula della probabilità composta si ottiene

$$P(E\cap H_i) = P(E)\cdot P(H_i\,\,\vert\, E) = P(H_i)\cdot P(E\,\,\vert\, H_i)\,$$ (5.2)

da cui segue

$$P(H_i\,\vert\, E) = \frac{P(H_i)\cdot P(E\,\vert\, H_i)}{P(E)}\,,$$ (5.3)

ovvero

$$\frac{P(H_i\,\vert\,E)}{P(H_i)} = \frac{P(E\,\vert\,H_i)}{P(E)}\,.$$ (5.4)

(Per la validità di queste due equazioni non è necessaria la condizione che le ipotesi $H_i$ formino una classe completa.)

Figura: Decomposizione di un evento nell'unione dei prodotti logici con gli elementi di una partizione finita $H_i$.

Utilizzando la formula di disintegrazione della probabilità (4.26), valida sotto ipotesi di classe completa degli $H_i$ (e che riportiamo per comodità

$$P(E) = \sum_j P(E\,\vert\,H_j)\cdot P(H_j)\,,$$

insieme alla figura 5.3 della decomposizione dell'evento $E$ da cui la (4.26) discende) si ottiene:

$$P(H_i\,\vert\,E) = \frac{P(E\,\vert\,H_i)\cdot P(H_i)} {\sum_j P(E\,\vert\,H_j)\cdot P(H_j)}\,.$$ (5.5)

Questa è la forma standard con cui è conosciuto il teorema di Bayes, sebbene (5.3) e (5.4) siano modi alternativi di scriverlo.

Se si osserva che il denominatore non è altro che un fattore di normalizzazione, ossia tale che $\sum_i P(H_i\,\vert\,E)=1$, la formula (5.5) può essere più facilmente memorizzata come

$$P(H_i\,\vert\,E) \propto P(E\,\vert\,H_i)\cdot P(H_i) \,.$$ (5.6)

Inoltre, fattorizzando $P(H_i)$ al secondo membro della (5.5) e ricordando che in realtà le probabilità sono sempre da intendersi condizionate da una ipotesi implicita che qui indichiamo con $H_\circ$, possiamo riscrivere la formula (5.5) come^5.1

$$P(H_i\,\vert\,E, H_\circ) = \alpha\cdot P(H_i\,\vert\,H_\circ)\,,$$ (5.10)

con

$$\alpha=\frac{P(E\,\vert\,H_i,H_\circ)} {\sum_i P(E\,\vert\,H_i, H_\circ)P(H_i\,\vert\,H_\circ)}\,.$$ (5.11)

Se si considera la sola ipotesi $H_i$ e la sua opposta $\overline{H}_i$ la (5.5) si riduce a

$$P(H_i\,\vert\,E) = \frac{P(E\,\vert\,H_i)\cdot P(H_i)} {P(E\,\vert\,H_i)\cdot P(H_i)+ P(E\,\vert\,\overline{H}_i)\cdot P(\overline{H}_i)}\,,$$ (5.12)

da cui è possibile riscrivere il teorema di Bayes ancora in un'altra forma:

$$P(H_i\,\vert\,E) = \frac{P(H_i)} {P(H_i)+ P(\overline{H}_i)\cdot \frac{P(E\,\vert\,\overline{H}_i)} {P(E\,\vert\,H_i)} } \,.$$ (5.13)

Un'ultima forma, molto conveniente perché lega due qualsiasi ipotesi $H_i$ e $H_j$ incompatibili (anche se non formano una classe completa) è

$$\frac{P(H_i\,\vert\,E)} {P(H_j\,\vert\,E)} = \frac{P(E\,\vert\,H_i)} {P(E\,\vert\,H_j)} \cdot \frac{P(H_i)} {P(H_j)}$$ (5.14)

Questi diversi modi di scrivere essenzialmente la stessa formula riflettono l'importanza di questo semplice teorema.