Probabilità e Incertezza di Misura
lezioni per il Dottorato di Ricerca in Fisica
(G. D'Agostini)
Orario delle lezioni:
Lunedi e Mercoledi ore 17:00-19:00, Aula 2
Inizio: 27 febbraio 2006
Il corso sarà di 40 ore
Lezioni
- Lezione 1 (27/2/06)
-
Introduzione: intento del corso e programma di massima.
'Task of the physicist': osservazioni -> ipotesi =>
incertezza.
Sorgenti di incertezza secondo la Guida ISO (il 'decalogo').
Trattazione usuali di incertezze: 'errori statistici' -> intervalli
di confidenza; 'errori sistematici' -> ? -> regole ad hoc.
Rassegna critica di alcune conoscenze standard ('Fisichetta'):
concetto e propagazione di `errori massimi'; semidispersione massima;
uso della propagazione di `errori statistici';
regola della mezza divisione (errore di lettura? errore sistematico?);
barre di errore calcolate dalle sole osservazioni;
rette di massima e minima pendenza; significato di
=
(oppure
=
?).
Bibliografia
- GdA, Errori e incertezze di misura - Rassegna critica
e proposte per l'insegnamento
(vedi qui), pp. 1-26.
- Lezione 2 (1/3/06)
- Conclusioni su inadeguadezza errori massimi e difficoltà di uso
degli 'errori statistici' nel quadro della statistica 'convenzionale'
(frequentista). Discussione sul significato
di
=
:
inversione intuitiva della probabilità e metafora cane-cacciatore.
Test di ipotesi, loro significato(?) e fraintendimento:
Probabilità delle ipotesi
Vs probabilità della variabile di test (-> significatività statistica).
Esempi accademici
(possibile errore dello studente e scherzo alla rivista scientifica) e
di interesse publico (test dell'AIDS).
Dalle cause agli effetti
("the essential problem of the experimental method ", Poincaé):
inferenza e incertezza. Probabilità degli effetti Vs
probabilità delle cause (e dei valori veri).
Esempio guida: problema delle 6 scatole: che scatola ho scelto?
che pallina uscirà
cosa succede dopo la prima estrazione (con reimmissione)?
dov'è la probabilità?
En passant: paradosso
di Ellsberg (scelta fra scatola con 50 palline bianche e 50 nere
e scatola con proporzione ignota di bianche e nere)
e decisioni incoerenti.
Approccio falsificazionista e sua implementazione pratica mediante i test di ipotesi.
Significato ed errata interpretazione dei p-value,
con esempi di annunci di false
scoperte dovuti a banali errori di logica (es `eventi di HERA', 'Higgs a LEP', etc.).
Bibliografia
- GdA, Bayesian reasoning in data analysis - A critical introduction
(vedi qui), cap. 1.
(versione preliminare in CERN Yellow Report 99-03).
- GdA, From Observations to Hypotheses: Probabilistic Reasoning Versus Falsificationism and its Statistical Variations,
physics/0412148, pp. 1-9.
- Lezione 3 (6/3/06)
- Complemento rassegna critica (dalle lezioni al CERN,
febbraio 2005). Cosa si intende per statistica: st. descrittiva;
teoria della probabilità; statistica inferenziale.
Overview di cose già incontrate nella lezione scorsa.
Inoltre: esempio di Super Kamiokande sull'approccio
'creativo' alla statistica.
Revisione della logica dell'incerto secondo l'approccio
probabilistico: ritorno al passato ("Laplace & Co.").
Approccio maieutico al concetto di probabilità,
con valutazione secondo deversi ragionamenti. Paradosso delle
due buste. Probabilità secondo Hume. Impossibilità
di valutare f(μ|x) mediante puri ragionamenti
di simmetria o mediante frequenze: -> inversione di probabilità.
Cos'è la probabilità? Definizioni
combinatoria, frequentista e soggettiva. Circolarità
delle definizioni combinatorie e frequentiste. Probabilità
come grado di fiducia: schema di de Finetti su Enciclopedia Einaudi.
Bibliografia
- Lezione 4 (15/3/06)
- Probabilità condizionata: concetto. Significato di
"oggettivo".
Problemi delle tre scatole (o carte). Probabilità secondo
Scroedinger (1947). Dipendenza della probabilità dallo stato
di informazione. Differenza fra concetto di probabilità
e sue regole di valutazione. Ruolo unificatore della probabilità
Regole di base della probabilità ("assiomi di Kolmogorov"
+ "formula della probabilità condizionate")
ottenute
da: scommessa coerente (de Finetti-Ramsey); consistenza
logica (Cox-Jaynes); calibrazione su eventi sui quali \`e possibile
usare argomenti di simmetria (Lindley).
Confidenza espressa in termini
di probabilità legata alla scommessa confrontata con
i cosidetti "upper/lower" confidence limits: massa di
saturno di Laplace e limite inferiore sulla massa dell'Higgs
a LEP.
Ruolo ipotetico della scommessa. Distinzione fra soggettività e
arbitrarietà. Recupero della regola di valutazione combinatoria.
Probabilità e frequenza. Le tre regole di base della
probabilità ricavate dalla condizione di coerenza.
Confronto fra i diversi approcci alla probabilità
Bibliografia
- GdA, Bayesian reasoning in data analysis - A critical introduction
(vedi qui), par. 3.2-3.4, 3.5.1-3.5.2,
10.1,10.2, pp. 224-225.
- GdA, CERN Academic Training,
febbraio 2005, terza lezione, pp. 1-10, 24 (per pagina
si intende la numerazione in basso a destra sui lucidi e non
la numerazione delle pagine del file pdf).
- GdA, Bayesian Reasoning versus Conventional Statistics
in High Energy Physics, MaxEnt98,
physics/9811046.
- R. Scozzafava, Incertezza e probabilità (Zanichelli),
1.1-1.16.
- Lezione 5 (20/3/06)
- Discussione su altre possibili obiezioni. In particolare:
non arbitrarietà di affermazioni probabilistiche
basate sulla coerenza e arbitrarietà di metodi convenzionali;
grado di fiducia (cosa si crede) diverso da grado di convenienza
(cosa piacerebbe accadesse) e da pura immaginazione;
"oggettivià" e uso di "credenze" in fisica;
"probabilità fisica". Le diverse faccie della probabilità:
belief <--> chance (or propensity):
Lewis' "Principal Principle".
Ruolo del calcolo combinatorio nella teoria della probabilità.
Eventi, proposizioni e insiemi. Proprietà delle operazioni
fra eventi/proposizioni e insiemi. Partizione finita e decomposizione
della probabilità. Concetto di evento condizionato e
significato della "formula della probabilità condizionata".
Proprietà principali del calcolo di probabilitaà
di eventi/proposizioni.
Partizione finita e decomposizione
della probabilità (legge delle alternative o
formula di disintegrazione, o anche "delle probabilità
totali). Costituenti. Incompatibilità, indipendenza logica
e indipendenza stocastica.
Bibliografia
- GdA, Bayesian reasoning in data analysis - A critical introduction
(vedi qui), par. 10.3, 10.4,
- GdA, CERN Academic Training,
febbraio 2005, terza lezione, pp. 11-29.
- GdA, Role and meaning of subjective probability: some
comments on common misconceptions, MaxEnt2000,
physics/0010064.
- Stanford Encyclopedia of Philosophy:
Interpretation
of probability.
- D. Lewis, A Subjectivist's Guide to Objective Chance.
In Richard C. Jeffrey (ed.), Studies in Inductive Logic and Probability, Vol. II.
Berkeley: University of Berkeley Press, 263-293.
Reprinted with Postscripts in David Lewis (1986), Philosophical Papers. Vol. II.
Oxford: Oxford University Press, 83-132.
(versione pdf
on line, e
copia locale).
- GdA, Probabilità e incertezza di misura,
Dispense del Dip. di Fisica
(vedi qui),
Parte 1, Capp. 1-4.
- R. Scozzafava, Incertezza e probabilità (Zanichelli),
1.33.
- Lezione 6 (22/3/06)
- [Parentesi in anticipo sul programma: commenti su
articolo su Δms di D0,
ovvero esempio
della metafora dell'indigeno che ribattezza l'agnello in pesce
("data una curva di -Log(Likelihood), 'dicesi'
intervallo di fiducia...")]
Numeri aleatori discreti e funzioni di probabilità.
Esempi di costruzione di funzioni di variabili casuali
dalle regole di base del calcolo delle probabilità.
Funzione cumulativa.
Cenni sui metodi di Monte Carlo ('branching' elementari,
'hit/miss' e inversione della cumulativa).
Processo di Bernoulli, distribuzione geometrica e binomiale.
Sintesi probabilistiche: valore atteso, moda, mediana,
varianza, deviazione standard.
Analogie meccaniche (baricentro e momento di inerzia).
Disuguaglianze di Markov e di Cebicev.
Distribuzioni di probabilità e distribuzioni statistiche.
Bibliografia
- GdA, CERN Academic Training,
febbraio 2005, terza lezione, pp. 30-40.
- GdA, Probabilità e incertezza di misura,
Dispense del Dip. di Fisica
(vedi qui),
Parte 2, Cap. 6.
- N. Metropolis, The beginning of the Monte Carlo method,
appeared in the
Special Issue
of Los
Alamos Science (nr. 15, 1987) in memory of
Stan Ulam.
- Lezione 7 (27/3/06)
-
Nota su distribuzioni statistiche: 'sigma' con n o
con (n-1)?
Entropia come misura di incertezza.
Distribuzione di Poisson. Processo di Poisson.
Distribuzione esponenziale.
Distribuzioni di probabilità di variabili continue:
funzione densità di probabilità,
cumulativa, calcolo di valore atteso e varianza, etc.
Distribuzione uniforme, triangolare e di Gauss.
Concetto di log-concavità.
Schema riassuntivo delle varie distribuzioni e dei loro 'imparentamenti'.
Distribuzioni di più variabili.
Funzioni congiunta, marginale e condizionata.
Calcolo di valore atteso e varianza.
Definizione di covarianza e di coefficiente di correlazione.
Bibliografia
- GdA, CERN Academic Training,
febbraio 2005, quarta lezione, pp. 8-15.
- GdA, Probabilità e incertezza di misura,
Dispense del Dip. di Fisica
(vedi qui),
Parte 2, Capp. 7-8; Parte 3, Cap. 9.
- Wikipedia,
Information entropy.
(L'entropia ha un ruolo marginale nel corso: questo link e i seguenti sono per chi è
personalmente interessato all'argomento.)
- E. Shannon, A
mathematical theory of communication
- B.-P. Paris, notes
on line.
- Per chi vuole saperne di più sugli alberi di Huffman:
vedere qui
o qui.
- Lezione 8 (29/3/06)
- Significato e proprietà di covarianza e coefficiente
di correlazione. Distribuzione normale bivariata. Significato
di ρ in una distribuzione normale bivariata e suo uso pratico.
Distribuzione normale multivariata. Distribuzione multinomiale.
Propagazione delle incertezze: problema generale e sottocasi
più più o meno trattabili.
Caso di combinazione lineare di variabili.
Teorema del limite centrale e sue applicazioni: distribuzione della
media aritmetica; approssimazione gaussiana di binomiale e poissoniana.
Generatore di numeri casuali gaussiano. Valore atteso del tempo di attesa di
k successi in un processo di Poisson. Distribuzione degli
errori gaussiani.
"Leggi dei grandi numeri: 'tendenza' della media aritmetica al valore
atteso e della frequenza relativa alla probabilità (Teorema di Bernoulli):
significato e implicazioni (e fraintendimenti!).
Bibliografia
- GdA, Probabilità e incertezza di misura,
Dispense del Dip. di Fisica
(vedi qui),
Parte 3, Capp. 9-10.
- Lezione 9 (3/4/06)
- Processo di Bernoulli e marcia a caso ('random walk'). Catena di Markov
(solo concetto).
Rovina del giocatore, pallinometro, moto browniano ed errori di misura.
Moto browniano nello spazio delle velocità delle molecole:
distribuzione di Maxwell delle velocità.
Distribuzione di
Rayleigh e metodo per generare coppie di numeri casuali gaussiani.
Stima con metodo di MC di π.
Ancora sulla combinazione lineare di variabili casuali. Correlazione
fra diverse combinazioni lineari.
Linearizzazione (con caveat). Coefficienti di sensibilità.
Forme monomie e propagazione delle incertezze percentuali. Trasformazione
della matrice di covarianza.
Soluzione generale del problema di propagazione di incertezze
('trasformazione di variabili'): caso discreto e continuo;
interpretazione montecarlistica delle formule generali.
Cenno su (esistenza di) funzione caratteristica e funzione generatrice
dei momenti.
Bibliografia
- Lezione 10 (5/4/06)
- Introduzione al linguaggio R, con ripasso su distribuzione
di probabilità e propagazione di incertezze,
più introduzione a questioni pratiche
di simulazione con metodi di Monte Carlo.
Bibliografia
- Lezione 11 (10/4/06)
- Propagazione di incertezze. Caso di pdf non gaussiane e,
in generale, non simmetriche e di propagazioni non lineari.
Note sui MC: 'enorme' pdf congiunta, seguita da integrale
sulle quantità irrilevanti..
Aggiornamento delle probabilità e teorema di Bayes.
Esempio delle sei scatole.
Ragionamenti 'bayesiani' intuitivi
("chi è al telefono?") e formalizzati
("il vecchio amico sospetto baro"). 'Recupero' del
falsificazionismo come caso limite e suo superamento probabilistico.
Accenno a probabilità e decisione.
Bibliografia
- GdA, Asymmetric uncertainties: sources, treatment
and possible dangers,
physics/0403086.
- GdA, Probabilità e incertezza di misura,
Dispense del Dip. di Fisica
(vedi qui),
Parte 1, Cap. 5.
- GdA, Bayesian reasoning in data analysis -
A critical introduction
(vedi qui): par. 3.5-3.10, 3.12-3.13;
cap. 4.
- GdA, CERN Academic Training,
febbraio 2005, quarta lezione, pp. 17-28, 32-42.
- GdA, Teaching statistics in the physics curriculum.
Unifying and clarifying role of subjective probability,
physics/9908014.
- GdA, Dalle osservazioni alle ipotesi scientifiche,
TRECCANI Scuola
[Archivio].
- Lezione 12 (12/4/06)
- Problema del test dell'AIDS e dell'identificazione
di particelle. Rapporto segnale rumore, selettività
dell'analisi e rumorosità del campione.
'Odd ratios' e fattore di Bayes.
Ancora sul problema delle sei scatole: probabilità
in funzione del numero di estrazione. Inferenza sequenziale
dalle informazioni dettagliate o dalla conoscenza
del numero di estrazione e numero di palline bianche.
Variazione sul tema: diversa distribuzione iniziale.
Sull'interpretazione della probabilità del colore
della prossima pallina: né casi favorevoli/casi possibili
né limite di frequenza
(ed in particolare non misurabilità).
Diverso significato
di P(E1 | estrazioni precedenti)
e P(E1 | Hj): è la
frequenza di questi ultimi che 'tende' a 0, 0,2, 0.4, 0.6, 0.8 o 1.
Confronto soluzione bayesian e soluzione frequentista:
probabilità di E1 Vs
probabilità delle ipotesi.
Probabilità delle ipotesi Vs p-values. Interpretazione
errata dei p-values e motivazione del perché i test
frequentisti "spesso funzionano" (per motivi esterni
al formalismo dei test di ipotesi). Controesempio.
Inferenza probabilistica (`bayesiana') applicata a numeri incerti
discreti (es. parametri discreti di distribuzione geometrica).
Ragionamento probabilistico
vs metodi ad hoc, basati sui p-values o
sulla lontananza dal valore atteso.
Inferenza parametrica. Inferenza di una proporzione,
interpretata come
parametro p di un processo di Bernoulli:
soluzioni (coincidenti) assumendo
un modello geometrico o un modello binomiale per descrivere
il dato empirico.
Principio di verosimiglianza
(rispettato automaticamente dall'inferenza bayesiana).
Studio sistematico dell'inferenza del parametro p
del modello binomiale: f(p | x, n)
ipotizzando prior uniforme. Valore atteso e varianza.
Significato di E[p].
Formula ricorsiva di Laplace. Limite per grandi numeri
(sia di successi che di insuccessi):
'Recupero' della valutazione della probabilità
dalla frequenza relativa.
[Memento: "frequenza --> probabilità":
teorema di Bayes;
"probabilità --> frequenza":
teorema di Bernoulli.
Ma concettualmente
"probabilità != frequenza"]
Bibliografia
- GdA, Probabilità e incertezza di misura,
Dispense del Dip. di Fisica
(vedi qui),
Parte 1, Cap. 5.
- GdA, Teaching statistics in the physics curriculum.
Unifying and clarifying role of subjective probability,
physics/9908014.
- GdA, Bayesian reasoning in data analysis -
A critical introduction
(vedi qui): par. 10.8
- GdA, CERN Academic Training,
febbraio 2005, quinta lezione, 4-11 e 17-22.
- GdA, From Observations
to Hypotheses: Probabilistic Reasoning Versus Falsificationism
and its Statistical Variations, physics/0412148.
- J.O. Berger and D.A. Berry, Statistical analysis and the
illusion of objectivity, Am. Scientist 76 (1988) 159.
- Wikipedia, P-Value
[vedi soprattutto 'Frequent misunderstandings' e l'articolo
"Historical
background on the widespread confusion of the p-value:
a major educational failure" di R. Hubbard e J.S. Armstrong,
ivi citato
(copia locale ps e
pdf)].
- R. Hubbard and M.J. Bayarri,
Confusion over measures of evidence (p's) versus errors (α's)
in classical statistical testing,
American Statistician, 57 (2003) 171-178.
- M. Lavine, What is Bayesian statistics
and why everything else is wrong.
- Subjective Vs objective Bayesian analysis: diversi
articoli sull'argomento sono stati pubblicati
su Bayesian Analysis, Vol. 1 n. 3,
2006, pp. 385-472.
- Lezione 13 (19/4/06)
- Riepilogo su inferenza del 'parametro p' della
binomiale. Note sul significato fisico di p e di come
in genere (se non esattamente noto) differisce
(come significato) dalla probabilità che attribuiamo ad un
'successo'. Casi tipici: sondaggi, problema del
`campione rappresentativo' e influenza delle prior.
Casi limiti di frequenza
osservata uguale a 0 o al 100%. Combinazione di campioni indipendenti.
Prior coniugate: distribuzione Beta, coniugata della binomiale.
Prova dell'insensibilità delle prior in caso di grande numero
di osservazioni (purché si sia disposti a cambiare opinione!)
Il biliardo di Bayes.
Note sul problema delle sei scatole e confronti con
metodi frequentisti: probabilità delle osservazioni future e
probabilità delle ipotesi (delle cause, dei valori veri, etc.)
Ancora sul problema delle 6 scatole:
quanto vale la probabilità di avere estrarre due palline
dello stesso colore al primo e al secondo tentativo? 1/2×1/2?
Attenzione a non confondere
P(E(1),
E(2) | I)
con P(E(1),
E(2) | Hj
,I) :
E(1) ed
E(2) sono condizionatamente
indipendenti, ovvero sono indipendenti se è nota la composizione dell'urna.
Se essi fossero indipendenti, non si potrebbe imparare qualcosa su uno dei due
conoscendo l'esito dell'altro [nota: quello che conta non è la sequenza
temporale, ma quella di conoscenza, quindi ha senso parlare, ad esempio,
di P(E(1) | E(2)
,I)].
Introduzione alle reti bayesiane (con parentesi a braccio su reti neurali
e logica fuzzy) e al software JavaBayes.
Bibliografia
- GdA, Bayesian reasoning in data analysis -
A critical introduction
(vedi qui): pp. 97, 100;
par. 7.1.1, 7.1.2, 7.1.3, 7.2, 10.10.
- GdA, Probabilità e incertezza di misura,
Dispense del Dip. di Fisica
(vedi qui),
Parte 4, par. 11.3.
- P.-S. Laplace, Saggio filosofico sulle probabilità
(Essai philosophique sur les probabilités),
in particolare cap. VII.
- F.B. Cozman, JavaBayes.
- GdA, Semplici reti bayesiane che girano sotto JavaBayes.
- Chi vuole saperne di più su reti neurali, reti bayesiane, logica fuzzy
e intelligenza artificiale
- Lezione 14 (26/4/06)
- Inferenza sul parametro λ della poissoniana
e dell'intensità del processo di Poisson r
a partire da una prior uniforme; limiti
per x (numero di conteggi osservati) grandi.
Caso speciale di
x = 0 da prior uniforme: upper limit. Coincidenza formale
del valore con l'"upper limit frequentistico al 95% C:L:"
basato sul valore tale che P(x=0|λL)=0.05:
motivo per il quale tale ragionamento non può portare
ad un limite che esprima la nostra 'confidenza'; esempi pratici in cui
la banale "inversione di probabilità" non funziona.
(In)-sensibilità dalle prior in casi 'tranquilli' (senza abituarcisi!).
Ricerca di una prior coniugata della poissoniana (esercizio sulla
distribuzione della somma di variabili indipendente, a partire dall'esponenziale):
distribuzione di Erlang (tempo di attesa del k-mo successo) e
sua estensione al continuo (Gamma): parametro di forma (c) e di scala
(r). Funzione speciale Γ(): definizione,
proprietà e caso particolare di argomento discreto k
(->fattoriale di k-1).
Esponenziale come Gamma speciale di parametro c = 1.
Riepilogo di distribuzioni
a partire dal processo di Bernoulli. Distribuzione di χ2
come caso particolare di Gamma avente c=ν/2 e r = 1/2.
χ2 come somma dei quadrati di ν normali
standardizzate indipendenti.
Uso della Gamma come prior coniugata della poissoniana:
cf = ci + x;
rf = ri + 1. Alcuni esempi.
Combinazioni di più conteggi, ciascuno registrato nello stesso tempo
di osservazione T, oppure in un tempo totale nT. Inferenza
dell'intensità r: singola osservazione; tante osservazioni,
ciascuna in intervalli di tempo di pari durata; tante osservazione in
intervali di tempo di differente durata (quest'ultimo caso riottenuto
modellizzando la likelihood mediante una Erlang invece che da poissoniane: ->
stesso risultato, compatibile con il "principio di verosimiglianza",
soddisfatto automaticamente nel ragionamento bayesiano).
Effetto del background: impostazione del problema (r = rs + rb,
ovvero λ = λs + λb), lasciando
la soluzione come esercizio. Introduzione a sistematiche: come tener conto
dell'incertezza su λb?
Bibliografia
- GdA, Bayesian reasoning in data analysis -
A critical introduction
(vedi qui): pp. 95-96;
par. 7.4, 7.5, 7.7.
- GdA, Probabilità e incertezza di misura,
Dispense del Dip. di Fisica
(vedi qui),
Parte 4, par. 11.4.
- Lezione 15 (3/5/06)
- Inferenza del valore di una grandezza fisica. Nota introduttiva
sul ruolo della misura: -> aggiornamento della conoscenza
(diffidare dell'immacolata osservazione).
Una introduzione da fisici sperimentali al teorema di Bayes:
l'affidabilità delle conclusioni scientifiche dipende dalla
conoscenza della fisica ('prior') e del comportamento del rivelatore
('likelihood').
Inferenza del parametro μ della gaussiana, assumendo nota la
σ. Prior uniforme e prior gaussiana. Combinazione di
risultati parziali. Aggiornamento delle stime nel linguaggio
dei filtri di Kalman e vantaggio di interpretare tali filtri
in un quadro teorico più ampio.
La derivazione di Gauss della gaussiana.
Caso esemplare in cui le prior contano: valore osservato 'al
di fuori della regione fisica' (es. massa neutrino negativa).
[In realtà l'affermazione " valore osservato 'al
di fuori della regione fisica'" non ha molto senso in quanto
valori veri e valori osservati sono in realtà variabili
di spazi diversi!]. Scelta di prior consistenti con l'intento
dell'esperimento (assumendo fisici esperti ed onesti).
Distribuzioni descrittive. Caso gaussiano:
f(xf|xp) e commento su interpretazione errata
del risultato dato come
.
Esercizio proposto su caso poissoniano: se in un certo tempo
osserviamo 100 conteggi, quanto vale la probabilitè
di osservare in una seconda misura effettuata nelle
stesse condizioni un numero di conteggi compreso fra 90 e 110?
Bibliografia
- GdA, Bayesian reasoning in data analysis -
A critical introduction
(vedi qui):
par. 2.7, 6.1-6.7.
- GdA, Probabilità e incertezza di misura,
Dispense del Dip. di Fisica
(vedi qui),
Parte 4, par. 11.1-11.5, 11.7.
- Lezione 16 (8/5/06)
- Intervallo di probabilità del valore vero confrontato
con intervallo di confidenza frequentista. Analisi
di un testo 'ortodosso' che descrive quest'ultimo
e presentazione di una nota sull'argomento.
Brevi commenti sulla 'coverage' frequentista.
Sulla distorsione degli 'stimatori bayesiani' (ma tale
concetto non esiste in un approccio puramente bayesiano!).
Ancora inferenza di μ della gaussiana (associata a valore vero)
con σ nota: uso della sola media aritmetica basata
sulla sufficienza statistica.
Modelli gerarchici e iperparametri.
Incertezze dovute ad errori sistematici: trattazione puramente probabilistica.
Parametri di influenza ('sistematiche') e loro incertezza, modellizzata
da opportuna pdf (uno sperimentatore che non è, in grave
di proporre modelli ragionevoli è meglio che cambi mestiere!).
Diversi approcci (che portano allo stesso risultato): inferenza congiunta
di valori veri + parametri di influenza, seguita da marginalizzazione
su questi ultimi; inferenza dei valori veri condizionata dai parametri
di influenza, seguita da 'media pesata'; valori veri 'row'
e 'corretti', seguita da propagazione di incertezze.
Esempio dettagliato: incertezza docuta ad 'errore di zero' (offset),
assumendo likelihood gaussiana ed incertezza gaussiana sullo zero.
Combinazione in quadratura delle incertezze. Correlazione indotta dalle
sistematiche su più risultati deriventi da misure eseguite con tale strumento.
Interpretazione del coefficiente di correlazione dei due risultati.
Bibliografia
- GdA, About the proof of the so called exact classical
confidence intervals. Where is the trick?,
physics/0605140.
- GdA, Bayesian reasoning in data analysis -
A critical introduction
(vedi qui):
par. 1.7, 10.6, 10.7, 2.5.3, 6.8-6.10
- GdA, Bayesian inference in processing experimental data:
principles and basic applications,
physics/0304102, sec.
5.8.
- GdA, Probabilità e incertezza di misura,
Dispense del Dip. di Fisica
(vedi qui),
Parte 4, par. 11.1-11.5, 11.7.
- Lezione 17 (10/5/06)
- Misure, errori di misure ed incertezze di misura nel linguaggio
delle reti bayesiane: rappresentazione grafica
della decomposizione della pdf congiunta in prodotto
di pdf condizionate: nodi (variabili), genitori, figli,
legame (genitori-figlio) deterministico e stocastico.
Distribuzione inferenziale e predittiva data una grandezza
misurata due volte con diverse sistematiche. Dipendenza/indipendenza
stocastica fra le osservazioni a seconda che il valore della
grandezza sia noto o ignoto (analogia con il problema della
scatola di composizione ignota): 'd-separation'.
Valutazione approssimata degli effetti degli errori
sistematici mediante linearizzazione (facendo uso del modello
'valore row' e 'valore corretto' introdotto la scorsa lezione).
Esempio di errore di zero ed errore di scala. Regola empirica
generale per determinare il coefficiente di correlazione
(prodotto incertezze correlate diviso prodotto incertezze globali).
Modellizzazione delle incertezze dovute alle sistematiche.
Classificazione ISO/BIPM delle incertezze in Tipo A e Tipo B.
Esempi vari, in particolare esempio di strumento digitale
(date V1=1.237 e V2=1.239,
determinare incertezza sulla differenza di tensione).
Bibliografia
- GdA, Bayesian reasoning in data analysis -
A critical introduction
(vedi qui):
par. 8.6-8.9, 8.13
- GdA, Introduzione a BUGS.
- HUGIN.
- Vedi anche lezione 13.
- Lezione 18 (15/5/06)
- Ancora su modellizzazione di incertezze dovute a sistematiche.
Commenti sulle stime 'conservative'. Regole pratiche con derivate
effettuate numericamente: stima di varianze e coefficienti di
correlazione. Deviazioni dalla linearità: bias introdotto
se non si tiene conto degli 'shift' introdotti dalla
nonlinearit`. Formule pratiche basate su derivate numeriche
ed espansione al secondo ordine. Casi in cui è opportuno
presentare risultati condizionati da diverse ipotesi fisiche.
Effetto sugli upper/lower limits delle incertezze dovute
a sistematiche.
Misura dell'intensità di un processo di Poisson
nel caso i conteggi siano effetti da background di valore
atteso 'noto' (anche affetto da incertezza).
Distribuzioni predittive nel caso di processi di Bernoulli
('binomiale') e Poissonana.
Modello gaussiano con σ ignota: inferenza di μ e
σ. Limite per grande numerosità dei campioni.
Accenno al caso di 'piccoli numeri' con prior su σ
uniforme (per σ>0) e 1/σ [ovvero uniforme
in log(σ)].
Introduzione ai fit.
Bibliografia
- GdA, Bayesian reasoning in data analysis -
A critical introduction
(vedi qui):
par. 2.10.3, 7.7.4, 7.7.5, 7.3, 7.6, 8.9, 12.4.
- GdA, Probabilità e incertezza di misura,
Dispense del Dip. di Fisica
(vedi qui),
Parte 4, par. 11.6.
- GdA and M.Raso, Uncertainties due to imperfect knowledge
of systematic effects: general considerations and approximate
formulae, hep-ex/0002056.
- M. Raso, Measurement of F2ep
from the 1995 shifted vertex data,
ZEUS-96-132: vedi qui.
- P. Astone and G. Pizzella, Upper limits in the case that zero
events are observed: An intuitive solution to the background
dependence puzzle,
hep-ex/0002028.
- Lezione 19 (15/5/06)
- Inferenza parametrica: caso di fit con errori su entrambi gli assi
ed extra variabilità:
costruzione del modello ed interpretazione in termini di
rete bayesiana. Caso particolare di fit lineare con errori normali.
Soluzioni generali nei vari casi. Soluzioni approssimate.
Schema di approssimazioni dal caso generale bayesiano a
massima verosimiglianza e minimi quadrati. Soluzione approssimata
assumendo normalità (eventualmente multivariata) della posterior:
valore atteso dal valore modale e matrice di covarianza dall'Hessiano.
Regole "Δχ2 = 1"
"Δ(-LogLikelihood) = 1/2": significato ed uso
nella statistica frequentista e in qualla bayesiana.
Casi di χ2 e -LogLikelihood non parabolici.
Soluzione dettagliata del calcolo di f(m,c) nel
caso di fit lineare.
Bibliografia
- GdA, Fits, and especially linear fits, with errors on both axes,
extra variance of the data points and other complications,
physics/0511182.
- GdA, Bayesian reasoning in data analysis -
A critical introduction
(vedi qui):
par. 2.9, 8.1, 12.2.
- GdA,
The
Fermi's Bayes Theorem.
- GdA, Asymmetric uncertainties: sources, treatment and
possible dangers,
physics/0403086.
- Lezione 20 (22/5/06)
- Ancora fit lineari, ma usando l'ipotesi di approssimazione normale
per trovare valori attesi e matrice di covarianza di m e c.
Estrapolazione (inferenza di μ(x) e distribuzione predittiva
di y(x). Importanza delle correlazioni fra i parametri.
Effetto degli errori sistematici: trattazione generale e caso particolare
di errore di zero e di scala su fit lineari.
Minimi quadrati: uso (cum grano salis) delle formule basate su 'principi':
trattazione matriciale dei minimi quadrati dipendenti linermente dai
parametri, con errore ignoto ricavato mediante i residui.
Confronto di ipotesi 'complesse' (modelli che dipendono da parametri liberi):
mediante il fattore di Bayes che tiene conto dello spazio
ammissibile a priori per i parametri: "Rasoio di Ockham"
automatico dell'approccio bayesiano.
(Il confronto del "miglior χ2" può
essere fuorviante.)
Ruolo delle prior nella ricerca di fenomeni nuovi e quindi negli upper/lower
limits. Cenno alle prior 'giustificate teoricamente' e all'approccio
bayesiano oggettivo (caveat!). Likelihood 'chiuse' e 'aperte'.
Likelihood riscalata al valore asintotico per il quale l'esperimento
perde sensibilità ('R'). Limiti superiore/inferiore probabilistici
(o C.L., 'whatever they might mean') Vs limiti di sensibilità.
Esempio fit di punti su un piano, usando minimi quadrati con
formalismo matriciale (z=a + bx + cy):
Bibliografia
- GdA, Bayesian reasoning in data analysis -
A critical introduction
(vedi qui):
par. 8.2-8.5, 10.9; cap. 13.
- Wikipedia,
Linear least squares.
- V. Blobel, Linear least squares,
electronic slides (pdf).
- GdA, Errori e incertezze di misura - Rassegna critica
e proposte per l'insegnamento
(vedi qui),
par 23.4.
- W.H. Jefferys and J.O. Berger, Sharpening Ockham's razor on a Bayesian strop,
A. Scientist 89 (1992) 64 and J. of the Italian Stat. Society 1 (1992) 17,
electronic version (pdf).
- P. Astone, GdA and S. D'Antonio,
Bayesian model comparison applied to the Explorer-Nautilus
2001 coincidence data,
gr-qc/0304096.
- P. Astone and GdA, Inferring the intensity of Poisson processes at limit
of detector sensitivity (with a case study on gravitational wave
burst search),
hep-ex/9909047.
- GdA and G. Degrassi, Constraints on the Higgs Boson Mass from Direct
Searches and Precision Measurements,
hep-ph/9902226.
- Lezione 21 (7/6/06)
- Metodi di Monte Carlo nell'inferenza bayesiana: -> campionare
la distribuzione finale non normalizzata per valutare
valori attesi di funzioni delle variabili (es. media, sigma, etc).
(Per capire l'importanza si pensi a problemi
ad alta dimensionalità e non a banali problemi 1D).
Rejection sampling. Importance sampling: distribuzione
ottimale di campionamento; 'sovraefficienza'.
Markov chain Monte Carlo (MCMC).
Catene di Markov: stati, matrice di transizione T,
invarianza, irriducibilità, aperiodicità,
distribuzione invariante. Soluzione dettagliata del semplice
esempio con tre stati di Andrieu et al.:
μ(x(1))×T×T×...×T;
autovalori della trasposta di T.
Condizione di reversibilità o del bilancio dettagliato.
Algoritmo di Metropolis: importanza della distribuzione
di proposal, con esempi. Algoritmo di Metropolis-Hasting.
Breve cenno sull'esistenza di algoritmo di Gibbs.
Esempi di uso di BUGS.
Unfolding: problema generale e (un possibile) approccio bayesiano,
basato su discretizzazione del problema, iterazione e smoothing.
Veloce presentazione del vecchio algoritmo e di quello migliorato.
Bibliografia
- GdA, Bayesian inference in processing experimental data:
principles and basic applications,
physics/0304102, sec.
9.2.
- C. Andrieu at al. An introduction to MCMC for Machine Learning,
pdf.
- GdA, soluzione con R dell'esempio di catena a tre stati
riportato da Andrieu at al.:
esempio_andrieu.R.
- R. Neal, Probabilistic inference using Markov Chain Monte Carlo methods,
Radford Neal home page.
- The BUGS project.
- GdA, Introduzione a BUGS.
- GdA, A multidimensional unfolding method based on Bayes' theorem,
vedi qui.
- GdA, Improved Bayesian unfolding, versione preliminare:
ps e pdf.
Back to G.D'Agostini - Teaching
Back to G.D'Agostini Home Page