Scarica Regressione lineare e minimi quadrati e più Appunti in PDF di Statistica solo su Docsity!
Estrapolare dai dati una qualche relazione. Queste relazioni sussistono di solito tra dati di tipo diverso. Fino ad ora abbiamo usato le Xi che si riferivano sempre allo stesso tipo di misure. Modelli empirici -gas perfetto? -circuito percorso da corrente, faccio 5 misure e per ogni corrente misuro tensione corrispondente ai capi del circuito. In entrambi gli esempi, ci interessa fare inferenza non su un parametro ma piuttosto sulla legge fisica che mette in funzione le Xi con le Yi. All’inizio la legge fisica non si conosce, si procede quindi con dei dati (variabili di input) poi si misura (variabili di output) e poi si guarda la relazione. idealmente i dati stanno perfettamente sul grafico, ma i dati trovati sperimentalmente sono rumorosi (un po’ spostati). L’obiettivo è trovare f! , quindi trovare la funzione il cui grafico interpola meglio i punti nel piano. Si cerca la più semplice possibile (come un retta) Modello lineare Per n punti passa sempre un polinomio di grado n − 1: Ma noi vogliamo la funzione più semplice possibile: la retta y = a + bx parametrizzata solo da (a, b). Come si capisce se la retta di parametri (a, b) approssima bene gli n punti? Dobbiamo introdurre gli errori (o residui) (in pratica sono di quanto si spostano alcuni punti dalla retta) ei := yi − (a + bxi) faccio io la sommatoria dati i residui si costruisce un funzionale di errore che tenga conto di tutti i residui. elevati a
quadrato perchè non vogliamo che si annullino i + e i -. L(a,b) := (yi − a - bxi)^2 = ei^2
𝑖= 𝑛
𝑖= 𝑛
Più prendo una retta “storta”, che interpola male, più il funzionale d’errore cresce (quindi funziona).La compensazione dei + con i - si poteva ottenere anche con il modulo ma ci sono dei problemi, infatti nel funzionale, si usa il quadrato dell’errore, in modo tale da avere: (FOTO) 1- L(a, b) ≥ 0 ∀(a, b) 2- L(∞) = +∞
3- ∃! punto di minimo (aˆ,bˆ) metto anche il disegno senza quadrato? I cappucci sono i coefficienti giusti Retta dei minimi quadrati y = aˆ + bˆx è la retta dei minimi quadrati (LSL = least square line) (ma sarebbe la retta che interpola meglio i punti nel piano’->Sì perché passa nel punto di minimo di errore) Cerchiamo (aˆ, bˆ) ponendo ∇L(aˆ,bˆ) = 0: (CONTI) cerco di capire quante cose scrivere di queste (sì ma boh fa conti, mi sembra faccia solo derivata rispetto a b di L e poi arriva a delle formule) si infatti, credo basti la slide che ho incollato qua sotto varianza camp.(Sxx) Syy è la varianza totale termine di covarianza (Sxy) Interviene solo l’ascissa dell’i-esimo punto non tutto il resto, basta questa e le 5 quantità fondamentali per calcolare retta. Con i cappucci indica sempre le quantità riferite alla retta dei minimi quadrati. La retta dei minimi quadrati è quella più “buona”, che interpola meglio, ma magari i punti sono talmente messi male che anche l'interpolazione fatta dalla retta migliore fa schifo. Allora bisogna capire quanto questa interpolazione vada bene per i nostri punti. Per fare ciò bisogna introdurre 3 quantità: anch’esse vengono dette varianze Varianza totale varianza delle y dei punti sempre a meno di ?? SSt := Syy = (yi - y )^2 𝑖
● E’ somma di quadrati quindi è sempre positiva (SSt ≥ 0) ● Non dipende dal fatto che abbiamo scelto un modello lineare, dipende solo dall’ordinata dei punti non dall’interpolazione che stiamo facendo.
cosa, ma per evitare problemi con la radice si definisce prima come quantità a sè stante, poi si osserva che da lì si può ricavare r quadro. questa nuova quantità ci dà l’informazione del segno) (si esatto) Coefficiente di correlazione r := 𝑆𝑥𝑦 𝑆𝑥𝑥𝑆𝑦𝑦 ● −1 ≤ r ≤ 1 ● r^2 è il coefficiente di determinazione (questa linea si può togliere?) ● r > 0.9 ⇒ i dati approssimano bene una retta di pendenza positiva ● r < −0.9 ⇒ i dati approssimano bene una retta di pendenza negativa Il modello statistico Cominciamo a vedere questi punti come effettivi risultati di esperimenti. Torniamo al problema originale: Supponiamo inoltre di sapere già che la legge è lineare; si hanno però errori di misura (output reale non ideale); si nota inoltre che non si hanno errori sull’input ma solo sulle misure.
Le x sono indipendenti, di conseguenza pure le Y sono indipendenti, MA le Y non sono identicamente distribuite perchè hanno tutte valore atteso diverso, sono estratte tutte da diverse densità di probabilità, non sono quindi un campione aleatorio. (Gli errori invece sono un campione aleatorio). Esempio: studio andamento pil in funz degli assi Xi (anni) le Yi (anni diversi, più recenti), le Y saranno centrate tutte su valori via via crescenti. (Insomma se le Y le usi per fare regressione non puoi farci test di ipotesi perchè non sono un campione aleatorio) x 1 ,x 2 .. sono gli input. In loro corrispondenza trovo gli output. Ho già di partenza la retta rossa ideale. Ogni valore di output dist dalla retta a seconda del suo errore di misura. Noi sappiamo le misure, gli input ma non la legge->insomma la retta la disegna ma si suppone che noi non la conosciamo. Non possiamo allora calcolare gli errori, perchè dovremmo conoscere le y ideali. Allora attraverso i punti che abbiamo cerchiamo la retta migliore (come visto prima). D’ora in poi si riguardano a cappuccio e b cappuccio (quelli che troviamo noi) come stimatori degli a e b veri ideali della legge. (MAGARI poi riguarda dove ho scritto cose a parole tipo cappuccio ahahah)
- Ei = errori di misura (residui di y = a + bx) → non misurabili! perchè a, b sono incogniti
- Yˆ = Aˆ + Bˆx interpola i vari punti (x 1 ,Y 1 ), …, (xn,Yn)
- Riguarderemo (Aˆ, Bˆ) come stimatori di (a, b)
è un test di livello α per le ipotesi H0 : b = b0 vs. H1 : b 6= b Se b0 = 0, il test per le ipotesi H0 : b = 0 vs. H1 : b 6= 0 verifica che le Y dipendono realmente da x (significatività del modello). Per l’inferenza su a, si procede in modo analogo che per b, con le stesse dimostrazioni: Altra terminologia: (stimatore non distorto di σ^2 ) (stimatore approssimativamente non distorto di σ) stimatore approx. non distorto di stimatore approx. non distorto di (se(Acap):per uno stimatore non distorto il bias è 0, quindi l’mse è uguale alla varianza dello stimatore, segue che il residul standard error, radice dell’mse, è la radice della varianza)
(ultima slide 9->formule) Output della regressione in R (NON SO SE SERVE) TEST PER LA BONTA’ DEL MODELLO LINEARE Le ipotesi su cui si basa il modello sono: 1- Yi = a + bxi + Ei Yi ∼ N(a + bxi, σ^2 ) 2- Ei ∼ N(0, σ^2 ) ⇐⇒ Y 1 ,... , Yn indipendenti 3- E 1 ,... , En i.i.d. (se e solo se) Come faccio a verificarle? Per verificare 1 e 2 servirebbe un test di normalità sugli Ei, che però non posso conoscere. Dai dati posso ricavare gli Eˆi = Yi - Yˆi
-nel primo sono a nuvola attorno a linea orizzontale, nel secondo no (quelli di fianco non capisco cosa sono) (risentire magari ultimi 20 min)
Lezione 15
Le componenti del vettore in input x 1 ,.. xk si chiamano predittori (o regressori). Se facciamo n misure: x 1 , x 2 ,... , x n → Y 1 , Y 2 ,... , Yn con Yi = a + x it^ b + Ei Ipotesi fondamentale del modello multilineare:
- E 1 ,... , En indipendenti ⇔ Y 1 ,... , Yn indipendenti
- Ei ∼ N(0, σ^2 ) ∀i ⇔ Yi ∼ N(a + x it^ b , σ^2 ) ∀i Parametri incogniti: a, b , σ^2 Iperpiano dei minimi quadrati PROBLEMA: Valutare quanto bene l’iperpiano y = a + b 1 x 1 +... + bkxk = a + x t b interpola n punti (x 1 ,y 1 ),... ,(xn,yn) assegnati in Rk+
Il nostro obiettivo è quello di minimizzare il funzionale d’errore BUCO Il nostro obiettivo è quello di minimizzare il funzionale d’errore Il fatto che non sia invertibile è una cosa molto rara Le beta con i cappucci sono dei parametri, cappuccio->riferito ai minimi quadrati OVERFITTING = ridurre sse aumentando i regressori
