Il teorema di Bayes gioca un ruolo cruciale in tutti i problemi
di probabilità inversa, primo fra tutti il problema
delle probabilità delle cause, viste come eventi condizionanti
degli effetti osservati.
Nella sua formulazione più semplice esso afferma che
cioè
la
probabilità finale di (subordinata all'ipotesi che
sia vero) è proporzionale alla
verosimiglianza di
(subordinata all'ipotesi che sia vera) per la
probabilità iniziale di .
Quando gli eventi costituiscono una classe completa
di ipotesi il teorema assume la sua forma più conosciuta di
se
Il teorema di Bayes può essere usato iterativemente
considerando la probabilità iniziale per la prossima inferenza
uguale alla probabilità finale dell'inferenza precedente.
È notevole il fatto che i risultati dipendano soltanto
dalle osservazioni sperimentali (oltre che dalle probabilità a priori),
ma non dall'ordine con il quale sono considerati.
La statistica bayesiana consiste nell'uso sistematico del
teorema di Bayes per aggiornare i gradi di fiducia delle diverse ipotesi.
La dipendenza dalle probabilità iniziali è fortemente
ridotta quando si hanno a disposizione molte
informazioni sperimentali. In tale caso le conclusioni
sono determinate dai dati sperimentali.
Lo schema di aggiornamento del grado di fiducia
mediante il meccanismo bayesiano (pregiudizio + indizi
conclusioni) è molto simile a quello utilizzato comunemente
nella ricerca scientifica.
Il metodo di falsificazione è recuperato nel caso in cui
una ipotesi ha verosimiglianza nulla di produrre una certa osservazione.
Le varie teorie che non sono state falsificate sono invece classificate
secondo la loro credibilità (soggettiva o intersoggettiva).
Come nel caso in cui si ha una certa quantità di osservazioni
sperimentali e pregiudizi non troppo rigidi le conclusioni
sono essenzialmente determinate dalle verosimiglianze, lo
stesso
si verifica quando c'è un giudizio di indifferenza a priori rispetto
alle varie ipotesi. In questi casi le ipotesi più probabili
sono quelle che massimizzano la verosimiglianza. Questo
giustifica il criterio di massima verosimiglianza, se almeno una
di queste condizioni è soddisfatta.
L'uso dei concetti e dei metodi probabilistici
nell'inferenza di grandezze fisiche e nel test
di ipotesi scientifiche richiede di rilasciare
la condizione di verificabilità
degli eventi (la possibilità alternativa, forse filosoficamente
più fondata ma più pesante da perseguire, sarebbe quella
di interessarsi soltanto a previsioni e ad affermazioni probabilistiche
di osservabili). Nel seguito assumeremo, essenzialmente per ragioni
di comodo, di ipotizzare l'esistenza di ``valori veri''
di grandezze fisiche.