Modello di regressione lineare multipla
Giuseppe De Luca
Università degli Studi di Palermo, Dipartimento SEAS
(giusepp[email protected])
Corso di laurea: Economia e Finanza (Economico Applicato)
Anno accademico 2021-22
(1/57)
Prepara i tuoi esami
Studia grazie alle numerose risorse presenti su Docsity
Ottieni i punti per scaricare
Guadagna punti aiutando altri studenti oppure acquistali con un piano Premium
Guide e consigli
Prepara i tuoi esami
Studia grazie alle numerose risorse presenti su Docsity
Cerca documenti
Prepara i tuoi esami con i documenti condivisi da studenti come te su Docsity
Cerca la tua università
Trova i documenti specifici per gli esami della tua università
Video Corsi
Preparati con lezioni e prove svolte basate sui programmi universitari!
Quiz
Rispondi a reali domande d’esame e scopri la tua preparazione
Docsity AINEW
Riassumi i tuoi documenti, fagli domande, convertili in quiz e mappe concettuali
Maturità 2026
Studia con prove svolte, tesine e consigli utili
Esplora domande
Togliti ogni dubbio leggendo le risposte alle domande fatte da altri studenti come te
Argomenti di studio
Esplora i documenti più scaricati per gli argomenti di studio più popolari
Ottieni i punti per scaricare
Guadagna punti aiutando altri studenti oppure acquistali con un piano Premium
Studi sul Bias dell'Omissione nella Regressione Multipla, Schemi e mappe concettuali di Econometria
Il concetto di bias dell'omissione nella regressione multipla e come calcolare il valore atteso di β1 quando ci sono variabili omesse correlate con il regressore di interesse. Viene presentato il teorema di Frisch-Waugh-Lovell e le sue generalizzazioni, che mostrano come lo stimatore OLS di β1 nella regressione di Yi su (Xi1, . . , Xik) sia equivalente allo stimatore OLS di una regressione sui residui. Il documento include anche la notazione scalare, vettoriale e matriciale per il modello di regressione lineare multipla.
Tipologia: Schemi e mappe concettuali
2019/2020
1 / 57
Questa pagina non è visibile nell’anteprima
Non perderti parti importanti!
Documenti correlati
Anteprima parziale del testo
Scarica Studi sul Bias dell'Omissione nella Regressione Multipla e più Schemi e mappe concettuali in PDF di Econometria solo su Docsity!
Modello di regressione lineare multipla
Giuseppe De Luca
Università degli Studi di Palermo, Dipartimento SEAS
([email protected])
Corso di laurea: Economia e Finanza (Economico Applicato)
Anno accademico 2021-
(1/57)
Indice della lezione
Introduzione
Modello di regressione lineare multipla - Notazione scalare
Modello di regressione lineare multipla - Notazione matriciale
Assunzioni dei minimi quadrati
Proprietà degli stimatori OLS
Inferenza: veri ca di ipotesi e regioni di con denza
(2/57)
Stimatore OLS - Regressione semplice
Sotto le assunzioni dei minimi quadrati (Least Squares Assumptions):
- LSA0: E(Yi |Xi = xi ) è lineare in β 0 , β 1.
- LSA1: E(ui |Xi = xi ) = 0;
- LSA2: (Xi , Yi ), i = 1 ,... , n, sono i.i.d;
4. LSA3: 0 < E(X
4 i )^ <^ ∞^ e 0^ <^ E(u
4 i )^ <^ ∞;
lo stimatore OLS di β 1 :
β 1 =
∑n
i= 1
(Yi − Y¯ )(Xi − X¯ ) ∑n
i= 1
(Xi − X¯ )^2
β 1 − β 1 =
∑n
i= 1
(Xi − X¯ )ui ∑n
i= 1
(Xi − X¯ )^2
è non distorto e consistente. In particolare, LSA1 garantisce che:
cov(Xi , ui ) = E[(Xi − μX )ui ] = E[(Xi − μX ) E(ui |Xi )] = 0.
Introduzione (4/57)
Distorsione da variabili omesse e regressione multipla
Tuttavia, se ui include variabili omesse (l'esperienza) che sono correlate con il
regressore di interesse (l'istruzione), allora:
E[(Xi − μX )ui ] = cov(Xi , ui ) = σXu 6 = 0.
e applicando la LLN:
β̂ 1 −^ β 1 =
n i= 1
(Xi − X¯ )ui ∑ n i= 1
(Xi − X¯ )
2
p →
σXu
σ
2 X
Questo problema è noto come distorsione da variabili omesse (omitted variable
bias). Se le variabili omesse sono osservabili, allora possiamo usare una regres-
sione multipla. Ad esempio, se ui = β 2 Expi + i , possiamo stimare:
ln(Wage)i = β 0 + β 1 Edui + β 2 Expi + i , i = 1 ,... , n,
per isolare l'eetto di Expi dall'errore e garantire che E(i |Edui , Expi ) = 0.
Introduzione (5/57)
Esempio Stata: TestScore e STR
. use TestScore, clear . regress testscr str, robust
Linear regression Number of obs = 420
F(1, 418) = 19.
Prob > F = 0.
R-squared = 0.
Root MSE = 18.
Robust
testscr Coef. Std. Err. t P>|t| [95% Conf. Interval]
str -2.279808 .5194892 -4.39 0.000 -3.300945 -1.
_cons 698.933 10.36436 67.44 0.000 678.5602 719.
. corr str pctel
str pctel
str 1.
pctel 0.1876 1.
Introduzione (7/57)
Esempio Stata: TestScore e STR
. regress testscr str pctel, robust
Linear regression Number of obs = 420
F(2, 417) = 223.
Prob > F = 0.
R-squared = 0. Root MSE = 14.
Robust
testscr Coef. Std. Err. t P>|t| [95% Conf. Interval]
str -1.101296 .4328472 -2.54 0.011 -1.95213 -.
pctel -.6497768 .0310318 -20.94 0.000 -.710775 -.
_cons 686.0322 8.728224 78.60 0.000 668.8754 703.
La stima del coe ciente di STR è ancora negativa, ma si è dimezzata!!
Introduzione (8/57)
Interpretazione dei coe cienti
L'interpretazione di β 1 è un po' diversa rispetto alla regressione semplice di Y
su X 1. Nella regressione multipla, β 1 misura un eetto parziale: l'eetto atteso
su Y di una variazione unitaria in X 1 , tenendo costante X 2.
Considera E(Y |X 1 = x 1 , X 2 = x 2 ) = β 0 + β 1 x 1 + β 2 x 2. Se X 2 è costante e X 1 è
soggetta ad una variazione ∆x 1 allora:
E(Y |X 1 = x 1 + ∆x 1 , X 2 = x 2 ) = β 0 + β 1 (x 1 + ∆x 1 ) + β 2 x 2 ,
da cui otteniamo:
∆Y = E(Y |X 1 = x 1 + ∆x 1 , X 2 = x 2 ) − E(Y |X 1 = x 1 , X 2 = x 2 ) = β 1 ∆x 1 ,
e quindi β 1 = ∆Y /∆x 1. Più in generale, βj (j = 1 ,... , k) misura la variazione
attesa di Y a seguito di una variazione unitaria di Xj , lasciando costanti tutte le
altre Xh (con h 6 = j).
Modello di regressione lineare multipla - Notazione scalare (10/57)
Stimatore OLS
I coe cienti β 0 , β 1 ,... , βk possono essere stimati con il metodo OLS:
min β 0 ,β 1 ,...,βk
n ∑
i= 1
(Yi − β 0 − β 1 Xi 1 −... − βk Xik )
2 .
Dalle condizioni del primo ordine, lo stimatore OLS è la soluzione del sistema di
k + 1 equazioni normali:
∑^ n
i= 1
(Yi − β̂ 0 − β̂ 1 Xi 1 −... − β̂k Xik ) = 0
n ∑
i= 1
(Yi − β̂ 0 − β̂ 1 Xi 1 −... − β̂k Xik )Xi 1 = 0
∑^ n
i= 1
(Yi − β̂ 0 − β̂ 1 Xi 1 −... − β̂k Xik )Xik = 0.
Sotto certe condizioni, la soluzione in forma esplicita si ottiene facilmente in
notazione matriciale (a breve).
Modello di regressione lineare multipla - Notazione scalare (11/57)
Esempio Stata: valori previsti e residui
. regress testscr str pctel
Source SS df MS Number of obs = 420
F(2, 417) = 155. Model 64864.3011 2 32432.1506 Prob > F = 0.
Residual 87245.2925 417 209.221325 R-squared = 0.
Adj R-squared = 0.
Total 152109.594 419 363.030056 Root MSE = 14.
testscr Coef. Std. Err. t P>|t| [95% Conf. Interval]
str -1.101296 .3802783 -2.90 0.004 -1.848797 -.
pctel -.6497768 .0393425 -16.52 0.000 -.7271112 -.
_cons 686.0322 7.411312 92.57 0.000 671.4641 700.
. predict double hat_Y, xb . predict double hat_u, res . gen double Y = hat_Y + hat_u
Modello di regressione lineare multipla - Notazione scalare (13/57)
Esempio Stata: valori previsti e residui
. compare testscr Y
difference
count minimum average maximum
testscr=Y 420
jointly defined 420 0 0 0
total 420
. sum testscr hat_Y hat_u
Variable Obs Mean Std. Dev. Min Max
testscr 420 654.1565 19.05335 605.55 706.
hat_Y 420 654.1565 12.44216 610.9918 670.
hat_u 420 2.14e-14 14.42992 -48.84466 43.
. corr hat_u str pctel
(obs=420)
hat_u str pctel
hat_u 1.
str -0.0000 1.
pctel -0.0000 0.1876 1.
Modello di regressione lineare multipla - Notazione scalare (14/57)
Teorema di Frisch-Waugh-Lovell (FWL)
Considera il modello con k = 2 regressori:
Yi = β 0 + β 1 Xi 1 + β 2 Xi 2 + ui , i = 1 ,... , n,
dove E(ui |Xi 1 , Xi 2 ) = 0. La legge delle aspettative iterate implica che:
E(ui |Xi 2 ) = E[E(ui |Xi 1 , Xi 2 )|Xi 2 ] = 0 ,
quindi
E(Yi |Xi 2 ) = β 0 + β 1 E(X 1 i |Xi 2 ) + β 2 Xi 2 ,
da cui otteniamo
Yi − E(Yi |Xi 2 ) = β 1 [Xi 1 − E(X 1 i |Xi 2 )] + ui , i = 1 ,... , n,
dove Yi − E(Yi |Xi 2 ) = ui 1 e Xi 1 − E(X 1 i |Xi 2 ) = ei 1 sono gli errori delle regres-
sioni di Yi e Xi 1 su Xi 2 (che stimiamo con i corrispondenti residui).
Modello di regressione lineare multipla - Notazione scalare (16/57)
Teorema di FWL - Generalizzazioni e interpretazione
Il teorema sfrutta la proprietà di ortogonalità tra residui e valori previsti e si
estende allo stimatore β̂j di ogni βj e a blocchi di coe cienti (regressione par-
tizionata/vincolata).
Il risultato è utile per comprendere alcune procedure di stima più complesse. Per
adesso, il messaggio fondamentale è questo: l'interpretazione dei β̂j è analoga
a quella dei βj.
I
βj sono coe cienti di correlazione parziale, cioè misurano la correlazione tra
Yi e Xij dopo aver depurato queste variabili dalle loro correlazioni con gli altri
regressori del modello.
Modello di regressione lineare multipla - Notazione scalare (17/57)
Regressione lineare multipla - Notazione vettoriale
Suggerimento: per cominciare a lavorare con l'algebra matriciale è sempre utile
controllare che le dimensioni di vettori e matrici.
Ad esempio, ponendo Xi 0 = 1, il prodotto X
i β^ è uno scalare:
X
i ︸︷︷︸
1 ×(k+ 1 )
β ︸︷︷︸
(k+ 1 )× 1
1 Xi 1... Xik
β 0
β 1
. . .
βk
∑^ k
j= 0
Xij βj = β 0 +β 1 Xi 1 +.. .+βk Xik.
Quindi X
i β^ +^ ui è la somma tra due scalari, che produce lo scalare^ Yi :
Yi = X
i β^ +^ ui^ ,^ i^ =^1 ,... ,^ n.
Modello di regressione lineare multipla - Notazione matriciale (19/57)
Regressione lineare multipla - Notazione matriciale
Raggruppando le osservazioni in vettori e matrici otteniamo:
Y = X β + U,
dove
Y
n× 1
Y 1
Y 2
Yn
, U
n× 1
u 1
u 2
. . .
un
e
X
n×(k+ 1 )
X
1
X
2
. . .
X
n
1 X 11... X 1 k
1 X 21... X 2 k
1 Xn 1... Xnk
, β ︸︷︷︸
(k+ 1 )× 1
β 0
β 1
βk
Nota che vettori e matrici sono indicati in grassetto.
Modello di regressione lineare multipla - Notazione matriciale (20/57)