Studia grazie alle numerose risorse presenti su Docsity
Guadagna punti aiutando altri studenti oppure acquistali con un piano Premium
Prepara i tuoi esami
Studia grazie alle numerose risorse presenti su Docsity
Prepara i tuoi esami con i documenti condivisi da studenti come te su Docsity
Trova i documenti specifici per gli esami della tua università
Preparati con lezioni e prove svolte basate sui programmi universitari!
Rispondi a reali domande d’esame e scopri la tua preparazione
Riassumi i tuoi documenti, fagli domande, convertili in quiz e mappe concettuali
Studia con prove svolte, tesine e consigli utili
Togliti ogni dubbio leggendo le risposte alle domande fatte da altri studenti come te
Esplora i documenti più scaricati per gli argomenti di studio più popolari
Ottieni i punti per scaricare
Guadagna punti aiutando altri studenti oppure acquistali con un piano Premium
appunti di modelli Lineari utilizzati per l'esame di algebra e modelli lineari per il corso scienze statistiche
Tipologia: Appunti
1 / 32
Questa pagina non è visibile nell’anteprima
Non perderti parti importanti!
modello matematico
Regressione lineare
0
1
𝑥 + 𝑒 → Questo è il modello di regressione semplice perché vi sono solo una variabile
dipendente e una variabile indipendente.
0
= intercetta all’origine
𝑒 = variabile che descrive il fluttuare dei punti intorno alla retta.
Considero n unità statistiche identificate dalle coordinate {𝑥 𝑗
𝑗
} con j = 1,…,n
0
1
𝑗
∗
0
1
𝑗
𝑗
∗
𝑗
quantità che differisce dalla realtà
𝑗
𝑗
∗
Metodo per il calcolo di 𝒃
𝟎
Tra tutte le infinite rette scelgo quella che
𝑗
2
= min
𝑗
2
𝑛
𝑗= 1
𝑗
𝑛
𝑗= 1
𝑗
∗
2
𝑗
𝑛
𝑗= 1
0
1
𝑗
2
La formula precedente dipende dai parametri 𝑏 0
e 𝑏
1
in quanto 𝑦
𝑗
e 𝑥
𝑗
ci vengono dati
𝑗
𝑛
𝑗= 1
0
1
𝑗
2
Devo minimizzare questa formula
𝑗
2
0
2
1
2
𝑗
2
𝑗
0
𝑗
𝑗
1
0
1
𝑗
𝑛
𝑗= 1
Svolgo il quadrato dentro la sommatoria
𝑗
2
0
2
1
2
𝑗
2
𝑛
𝑗= 1
0
𝑗
𝑛
𝑗= 1
1
𝑗
𝑗
𝑛
𝑗= 1
0
1
𝑗
𝑛
𝑗= 1
𝑛
𝑗= 1
Metto a sistema
0
1
𝑗
𝑗
0
1
𝑗
2
𝑛
𝑗= 1
𝑛
𝑗= 1
Risolvendo il sistema trovo che:
1
𝑗
𝑗
𝑗
2
2
1
ci dice quanto varia in media 𝑦 per ogni variazione positiva unitaria di 𝑥.
Coefficiente di correlazione lineare
1
1
1
Corr(𝑥, 𝑒) = 0 → Codev(𝑥, 𝑒) = 0
𝑗
𝑗
𝑗
𝑗
𝑛
𝑗= 1
𝑛
𝑗= 1
) = 0 in quanto 𝑒̅ = 0 Divido le sommatorie
𝑗
𝑗
𝑗
𝑗
𝑛
𝑗= 1
𝑛
𝑗= 1
𝑗
𝑗
𝑗
𝑛
𝑗= 1
𝑛
𝑗= 1
in quanto ∑ 𝑒
𝑗
𝑗
𝑗
𝑛
𝑗= 1
𝑛
𝑗= 1
incorrelati
Relazione tra 𝒃 𝟏
e 𝒓
1
𝑦
𝑥
1
𝑥
𝑦
𝑠 è lo scarto quadratico medio.
Retta di indipendenza lineare
𝑗
𝑗
𝑗
𝑗
∗
𝑗
∗
− 𝑦̅ ) in quanto abbiamo ipotizzato che 𝑏
1
Ho aggiunto e tolto 𝑦
𝑗
∗
𝑗
𝑗
∗
) rappresenta quanto l’ordinata vera dista dalla sua retta.
𝑗
∗
− 𝑦̅ ) rappresenta quanto l’ordinata vera dista dalla retta d’indipendenza.
Aggiungo le sommatorie e diventa:
𝑗
2
𝑛
𝑗= 1
𝑗
𝑗
∗
2
𝑛
𝑗= 1
𝑗
∗
2
𝑛
𝑗= 1
Devianza Tot.(𝑦) = Devianza Disp.(𝑦) + Devianza Reg. (𝑦)
Devianza Disp.(𝑦) = 0 dipendenza lineare
Devianza Reg. (𝑦) = 0 indipendenza lineare
Indice di determinazione lineare
2
è l’indice di determinazione lineare, ci dice quanta parte della variabilità di 𝑦 è spiegata dalla sua
relazione lineare con la 𝑥.
2
𝑗
∗
2
𝑛
𝑗= 1
𝑗
2
𝑛
𝑗= 1
2
𝑗
𝑗
∗
2
𝑛
𝑗= 1
𝑗
2
𝑛
𝑗= 1
2
è sempre compreso 0 ≤ 𝑅
2
2
= 1 dipendenza lineare
2
= 0 indipendenza lineare
Devianza Reg.
𝑗
∗
2
𝑛
𝑗= 1
0
1
𝑗
0
1
2
1
2
𝑛
𝑗= 1
𝑛
𝑗= 1
𝑗
2
Devianza Reg. (𝑦) = 𝑏
1
2
Devianza Tot. (𝑥)
2
1
2
𝑥
2
𝑦
2
1
𝑥
𝑦
2
2
1
𝑗
𝑗
𝑗
2
Regole del gioco
0
1
𝑥 + 𝑒 la parte 𝛽
0
1
𝑥 è
deterministica ovvero data, la 𝑒 rappresenta la variabile aleatoria o stocastica.
𝑒
2
è una costante (Proprietà di omoschedasticità).
𝑗
𝑗
′
) i residui in popolazione sono incorrelati e omoschedastici.
𝑒
2
) normalità distributiva.
Dimostrazione che 𝑽
𝟏
𝝏 𝒆
𝟐
𝑫𝒆𝒗 𝑻𝒐𝒕.(𝒙)
1
𝑗
𝑗
) riprendo la formula 𝑤
𝑗
𝑗
𝑗
2
1
𝑗
𝑛
𝑗= 1
𝑗
𝑗
2
𝑛
𝑗= 1
𝑗
)] in quanto la varianza di una costante è 0
𝑗
2
𝑛
𝑗= 1
0
1
𝑗
𝑒
2
𝑗
2
𝑛
𝑗= 1
ciò dalla proprietà 3
𝑒
2
𝑗
2
2
𝑛
𝑗= 1
𝑒
2
2
1
𝑒
2
1
1
1
𝑒
2
0
2
𝑒
2
Inferenza nel modello di regressione semplice
0
1
0
1
0
1
0
1
0
1
𝑒
2
Se 𝑒 è una variabile normale: 𝑒~ 𝒩(𝛽
0
1
𝑒
2
1
0
0
0
1
1
1
0
1
1
0
1
1
0
1
1
1
1
1
1
1
1
1
1
1
1
2
1
1
2
1
𝑒
2
1
0
𝑒
2
1
𝑗
𝑗
→ combinazione lineare dei valori di y
𝑛
𝑗= 1
1
→ stimatore lineare
1
1
𝑒
2
0
0
2
𝑒
2
Teorema di Gauss-Marcov.
Enunciato: Nella classe degli stimatori lineari e corretti, gli stimatori dei minimi quadrati sono i più
efficienti.
Efficienti varianza più piccola
Dimostrazione
1
∗
𝑗
𝑗
→ lineare
𝑛
𝑗= 1
𝑗
= pesi
𝑗
= ci vengono dati
1
∗
𝑗
𝑗
𝑗
𝑗
𝑗
0
1
𝑗
𝑗
𝑛
𝑗= 1
𝑛
𝑗= 1
𝑛
𝑗= 1
Moltiplico le parentesi, divido la sommatoria in tre sommatorie e porto fuori le costanti
1
∗
0
𝑗
𝑛
𝑗= 1
1
𝑗
𝑗
𝑛
𝑗= 1
𝑗
𝑗
𝑛
𝑗= 1
Sono tutti valori predeterminati tranne 𝑒 𝑗
e quindi il val. atteso di una costante è la costante stessa
0
𝑗
𝑛
𝑗= 1
1
𝑗
𝑗
𝑛
𝑗= 1
𝑗
𝑗
)] → ma 𝐸(𝑒
𝑗
𝑛
𝑗= 1
1
∗
0
𝑗
𝑛
𝑗= 1
1
𝑗
𝑗
𝑛
𝑗= 1
1
𝑒
2
0
2
𝑒
2
1
0
𝑒
2
𝑗
0
1
𝑗
𝑗
𝑒
2
1
0
sono normalmente distribuiti
0
0
2
𝑒
2
1
1
𝑒
2
Dal teorema fondamentale dei minimi quadrati so che gli stimatori OLS sono BLUE (Gauss-Markov).
Noi non conosciamo 𝜕 𝑒
2
, non ho informazioni su 𝜕
𝑒
2
Come lo stimo?
𝑗
𝑗
} con 𝑗 = 1 , … , 𝑛
Verifichiamo che: 𝐸 (
∑( 𝑦 𝑗
−𝑦
̅ )
2
𝑛− 1
𝑒
2
𝑒
2
𝑒
2
Uso la varianza campionaria corretta per stimare 𝜕
𝑒
2
Lavoro solo sul numeratore della frazione
𝑗
𝑛
𝑗= 1
2
) svolgo il quadrato del binomio
𝑗
2
𝑛
𝑗= 1
2
𝑗
)) divido le sommatorie → 𝐸[∑(𝑦
𝑗
2
𝑛
𝑗= 1
2
𝑗
𝑛
𝑗= 1
𝑛
𝑗= 1
Faccio le somme e divido i valori attesi
𝑗
2
𝑛
𝑗= 1
2
2
𝑗
2
𝑛
𝑗= 1
2
𝑗
2
𝑛
𝑗= 1
2
Dalla formula 𝑉
2
2
𝑗
2
2
2
2
𝑗
𝑛
𝑗= 1
𝑗
2
2
𝑒
2
𝑛
𝑗= 1
0
1
𝑗
2
𝑒
2
0
1
𝑗
2
𝑒
2
1
2
𝑗
2
𝑗
2
𝑒
2
1
2
Quindi la varianza campionaria corretta non è uguale a 𝜕 𝑒
2
(solo se 𝛽
1
= 0 allora la varianza campionaria è
𝑒
2
Non possiamo usare la varianza campionaria per stimare 𝜕
𝑒
2
Devianza Tot.(𝑦) = Devianza Disp.(𝑦) + Devianza Reg. (𝑦)
Guardo se Devianza Reg. (𝑦) o Devianza Disp.(𝑦) stima 𝜕
𝑒
2
. Infatti la varianza corretta sovrastima perché
tiene conto sia della variabilità dei residui che quello che ci interessa.
1
2
1
1
2
𝑒
2
1
2
𝑒
2
1
2
Quindi 𝐷𝑒𝑣 𝑅𝑒𝑔.
non stima correttamente di 𝜕
𝑒
2
𝑒
2
1
2
𝑒
2
1
2
𝑒
2
𝑒
2
Da qui si ricava che 𝐸
𝑒
2
𝑛 − 2 sono i suoi gradi di libertà
Mettendo insieme 𝐸
e 𝐸
ricavo che:
𝑒
2
1
2
𝑒
2
𝑗
𝑗
∗
2
varianza di dispersione.
Da qui si capisce che 𝑠
𝑒
2
è stimatore corretto di 𝜕
𝑒
2
Per costruire ipotesi standardizzo
1
1
𝑒
Test di Fischer
Un altro modo per costruire i test
0
1
La 𝑉𝑎𝑟 𝐷𝑖𝑠𝑝. non dipende da 𝛽 1
, quindi sia che 𝛽
1
= 0 o 𝛽
1
𝑒
è sempre stimatore di ∂
e
2
𝐷𝑒𝑣 𝑅𝑒𝑔. (𝑥) è stimatore corretto di ∂
e
2
se invece di 𝛽
1
1
𝑒
2
e
2
e
2
1
𝑒
2
e
2
Quindi se 𝐻 0
è vera
𝑠 𝑒
2
𝑉𝑎𝑟 𝑅𝑒𝑔.(𝑦)
= 1 , altrimenti è ≠ 1.
Uso questa quantità per controllare 𝐻
0
𝑒
2
se 𝐻
0
è vera è circa 1 (c
'
è errore di campionamento)
se 𝐻
0
è falsa allora è > 1
𝑐𝑎𝑙𝑐𝑜𝑙𝑎𝑡𝑜
2
2
1 gradi di libertà al numeratore
𝑛 − 2 gradi di libertà al denominatore
1
2
2
2
F di Fischer
Noi non abbiamo due Chi-quadro 𝜒
2
ma r varianze che si distribuiscono entrambe come 𝜒
2
per la 5°
condizione.
Se F assume un valore grande l’ipotesi nulla è falsa.
Ragioniamo con i 𝑝-𝑣𝑎𝑙𝑢𝑒.
Se 𝑡 𝑐
𝑏 1
𝑠
𝑒
√𝐷𝑒𝑣 𝑇𝑜𝑡.(𝑥)
⁄
𝑐𝑎𝑙𝑐𝑜𝑙𝑎𝑡𝑜
𝑠
2
𝑟𝑒𝑔
𝑠
𝑒
2
𝐷𝑒𝑣 𝑅𝑒𝑔.(𝑦)/𝑔.𝑑.𝑙.
𝑠
𝑒
2
dove i gradi di libertà = 1
𝑐𝑎𝑙𝑐𝑜𝑙𝑎𝑡𝑜
1
2
𝑒
2
quindi 𝐹
𝑐𝑎𝑙𝑐𝑜𝑙𝑎𝑡𝑜
𝑐
2
1 ,𝑛− 2
𝑛− 2
2
Analisi dei Residui
“Fase diagnostica”
Una volta costruito tutto il modello guardiamo le condizioni. È la stessa fase sia per il modello multiplo che
per lineare.
Il modello può essere usato per fare previsioni nel tempo. Sono previsioni su stime non ho certezza
costruisco un intervallo di confidenza, di valori plausibili.
Previsioni
𝑗
𝑗
) con j=1, 2, 3,…, n e 𝑏
0
1
Data 𝑥
0
0
0
0
1
0
0
0
0
1
0
0
0
∗
0
→ indica l’errore di precisione, di quanto mi sbaglio a prevedere il valore vero di 𝑦
0
0
0
0
0
1
1
0
0
0
0
0
1
1
previsore dei minimi quadrati è corretto “in media ci azzecca”
0
0
0
0
2
1
0
0
1
𝑒
2
𝑒
2
2
0
2
𝑒
2
0
𝑒
2
𝑒
2
2
0
2
0
] è minima quando 𝑥
0
0
𝑒
2
0
2
0
𝑒
2
0
2
0
𝑒
0
2
0
0
∗
𝑒
0
2
𝑛− 2
𝑃~ {𝑦
0
∗
− 𝑡
𝑛− 2 ;
𝛼
2
𝑠
𝑒
√ 1 +
1
𝑛
(𝑥
0
− 𝑥̅ )
2
𝐷𝐸𝑉(𝑥)
≤ 𝑦
0
≤ 𝑦
0
∗
𝑛− 2 ;
𝛼
2
𝑠
𝑒
√ 1 +
1
𝑛
(𝑥
0
− 𝑥̅ )
2
𝐷𝐸𝑉(𝑥)
} = 𝟏 − 𝜶 → intervallo di confidenza
Matrice di dati
−
1
2 𝑆𝐷
−
1
2 → R è la matrice di correlazione
−
1
2 → 𝑍 è la matrice di varianza e covarianza standardizzate
Matrice derivate
𝑇
→ 𝑆 = matrice di varianza e covarianza.
𝑆 → Quadrata
𝑆 → Semi-definita positiva
𝑆 → Simmetrica
Il modello di regressione multiplo
0
1
1
2
2
𝑛
𝑛
𝑖
= regressori del modello
0
1
1
2
2
𝑛
𝑛
= parte deterministica
𝑒 = parte aleatoria
Scrivo in forma matriciale (m=numero di variabili)
𝑛𝑥 1
1
𝑗
𝑛
𝑒 =
(
1
𝑗
𝑛
)
0
1
𝑗 1
2
𝑗 2
𝑛𝑥
( 𝑚+ 1
)
1 𝑗
1 𝑛
𝑖𝑖
𝑖𝑛
𝑛𝑖
𝑛𝑛
( 𝑚+ 1
) 𝑥 1
1
𝑗
𝑛
y=y*+𝑒
𝑗
2
𝑛
𝑗= 1
𝑗
𝑗
∗
2
𝑛
𝑗= 1
min OLS
𝑇
𝑒 = minimo
𝑇
∗
𝑇
∗
𝑇
Raccolgo 𝑏 in modo che quella quantità sia min
𝑇
𝑇
𝑇
𝑇
𝑇
𝑇
𝑇
𝑇
𝑇
𝑇
𝑇
Derivata parziale
𝜃∅
𝜃𝑏
𝑇
𝑇
𝑇
𝑇
𝑻
−𝟏
𝑻
Rango m+1 di 𝑋
𝑇
𝑋 per essere invertibile deve essere nm+1 (altrimenti non esiste inversa)
0
1
1
𝑛
𝑇
∗
𝑇
𝑇
∗
𝑇
∗
𝑗
𝑛
𝑗= 1
𝑗
𝑛
𝑗= 1
𝑗
∗
𝑗
𝑛
𝑗= 1
𝑗
𝑛
𝑗= 1
𝑇
𝑇
𝑇
𝑇
𝑇
𝑇
𝑒 = 0 perpendicolari
𝑗
𝑗
0
1
1
𝑗
𝑛
𝑗= 1
𝑗
𝑗
𝑛
𝑗= 1
2
𝑗
𝑛
𝑗= 1
𝑗
𝑗
𝑛
𝑗= 1
2
1
∗
∗
1
𝑥𝑥
−
1
2
𝑆
𝑥𝑥
𝑥𝑥
−
1
2
)
− 1
𝑥𝑥
−
1
2
𝑠
𝑥𝑦
𝑦
1
𝑥𝑥
−
1
2
𝑏
1
1
𝑠 𝑦
non hanno unità di misura
Coefficiente di regressione parziale (Esempio e Teoria)
RISPOSTA = vendite di un prodotto
DIM = dimensione
CIRC = diffusione
0
1
2
Nel modello semplice posso mettere in relazione una sola variabile con il risparmio (RISP).
Modello semplice:
1
𝑗
𝑗
6
𝐽= 1
𝑗
2
6
𝐽= 1
1
𝑗
𝑗
𝑗
2
0
1
Stessa cosa dovrei fare per mettere in relazione la variabile (CIRC) con il risparmio (RISP).
1
0
Ci dice che ogni 1.000 riviste vendute in più le vendite del prodotto aumentano di 460 unità.
Nel modello multiplo posso mettere in relazione le due variabili contemporaneamente alla variabile (RISP).
𝐷𝐼𝑀
2
𝐶𝐼𝑅𝐶
2
𝑅𝐼𝑆𝑃
2
(centinaia)
𝟏
2
𝟐
(k migliaia)
12
𝐷𝐼𝑀,𝐶𝐼𝑅𝐶
𝑦, 1
𝑅𝐼𝑆𝑃,𝐷𝐼𝑀
𝑦, 2
𝑅𝐼𝑆𝑃,𝐶𝐼𝑅𝐶
1
− 1
𝑥𝑥
𝑥𝑦
𝑥𝑥
11
12
21
22
vettore 𝑠 𝑥𝑦
1 ,𝑦
2 ,𝑦
Inversa di 𝑆
𝑥𝑥
det(𝑆
𝑥𝑥
1
1
det(𝑆
𝑥𝑥
)
1
0
0,205 ci dice che per ogni 𝑐𝑚
2
di pubblicità in più, le vendite aumentano in media di 20 unità a parità di
diffusione della rivista.
Il coefficiente di regressione in un modello multiplo ci dice quanto varia in media y per ogni variazione
positiva unitaria della corrispondente x, a parità di valori assunti rispetto alle altre variabili.
Riprendo il modello multiplo.
1
− 1
𝑥𝑥
𝑥𝑦
Nel modello semplice 𝑏 1
𝑠
𝑥𝑦
𝑠
𝑥
2
Se le 𝑥 sono incorrelate, hanno covarianza nulla, allora : 𝑆 𝑥𝑥
𝑥𝑥
𝑥𝑥
11
𝑝𝑝
1
− 1
𝑥𝑥
𝑥𝑦
1
𝑛
) → nel modello semplice
In sostanza costruire un modello multiplo o costruire “n” modelli semplici è la stessa cosa.
Lavoriamo con variabili standardizzate:
1
− 1
𝑥𝑥
𝑥𝑦
se i regressori sono incorrelati 𝑅
𝑥𝑥
𝑚
1
𝑥𝑦
Considero le formule:
𝑥𝑥
𝑥𝑥
−
1
2
𝑆
𝑥𝑥
𝑥𝑥
−
1
2
𝑥𝑦
𝑥𝑥
−
1
2
𝑠
𝑥𝑦
1
𝑠
𝑦
1
𝑥𝑥
−
1
2 𝑆
𝑥𝑥
𝑥𝑥
−
1
2 )
− 1
𝑥𝑥
−
1
2 𝑠
𝑥𝑦
𝑦
𝑥𝑥
−
1
2 𝑆
𝑥𝑥
𝑥𝑦
𝑦
𝑥𝑥
−
1
2 𝑏
1
𝑦
