¡Descarga ECONOMETRIA T3 y más Apuntes en PDF de Econometría solo en Docsity!
1
TEMA 3: EL MODELO DE REGRESIÓN LINEAL: ESTIMACIÓN Y AJUSTE
Wooldridge: Capítulos 2, 3, 5 y 6
3.1. MODELO DE REGRESIÓN LINEAL: ESTIMACIÓN MCO
● Nuestro objetivo consiste en estimar los parámetros poblacionales a partir de
un conjunto de datos.
● Supondremos que nuestros datos son una realización de una muestra aleatoria
de tamaño n de una población.
Nótese que si, por ejemplo, Y =consumo y X =renta:
- Con datos de consumo y renta de un conjunto de individuos en un año es razonable suponer que
( Y 1 , X 1 ),...,( Yn , Xn ) sea una muestra aleatoria.
- Con unos datos de consumo y renta de un país de un conjunto de años, ya no es fácil suponer que
( Y 1 , X 1 ),...,( Yn , Xn ) sean independientes.
Econometría. Tema 3. Curso 2013-14. Pilar Abad 2
● ¿Cómo estimamos los parámetros desconocidos de nuestro MRL?
Podemos estimarlos por MCO.
¿En qué consiste MCO?
Definimos:
Y ɵ^ ɵ^ X ... ɵ^ X ... ɵ X
i =^ β^0 +^ β 1 1 i +^ +^ β j ji +^ +β K Ki que^ es^ la
predicción de Yi cuando X 1^ =^ X^ 1 i ...^ X^ j =^ X^ ji ... X^ k =^ XKi.
• Residuo → εɵ i^ = ei = Yi − Y ɵ i^ = Yi − ( βɵ 0 + βɵ 1 X 1 i +... +βɵ K XKi )
3
● El criterio de MCO consiste en buscar:
Y^ ɵ^ ɵ^ ɵ^ X ... ɵ^ X ... ɵ X
i =^ β^0 +^ β 1 1 i +^ +^ β j ji +^ +β K Ki
o valor predicho, que mejor se ajusta los datos en el sentido de que minimiza:
( )
2 2 0 1 1 1 1
ˆ ˆ^ ˆ^ ... ˆ
n n i i i K Ki i i
ε Y β β X β X = =
= ^ − + + +
∑ ∑
Econometría. Tema 3. Curso 2013-14. Pilar Abad 4
● En el MRL Simple Y = β 0 + β 1 X +ε
18
.
..
.
y 4
y 1
y 2
y 3
x 1 x 2 x 3 x 4
}
}
{
{
û 1
û 2
û 3
û 4
x
y
y ˆ =βˆ 0 + βˆ 1 x
Se busca la recta que mejor se ajusta a
los datos en el sentido de minimizar la
suma de cuadrados de las distancias
verticales entre los puntos y la recta.
● Para obtener los estimadores MCO de βɵ 0 y βɵ 1 se calculan las derivadas respecto
a βɵ 0 y βɵ 1 y se igualan a cero obteniéndose el sistema de ecuaciones normales:
7
● En el MRL Múltiple: ¿Cómo estimar los parámetros β 0 , β 1 , …, β k?
( )
2 2 0 1 1 1 1
ˆ ˆ^ ˆ^ ... ˆ
n n i i i K Ki i i
MIN ε Y β β X β X = =
= ^ − + + +
∑ ∑ (^) → εɵ i (^) , εɵ (^) , ... , εɵ i
i i i
i Ki i
∑ =^0 ∑^ X^ 1 =^0 ∑ X =^0
● El sistema de ecuaciones normales nos queda como:
n X (^) i X X Y i
i i
K Ki i
i i
β^ ɵ βɵ^ βɵ^ ... βɵ
0 +^1 ∑^1 +^2 ∑^2 +^ +^ ∑^ =∑
β^ ɵ^ βɵ^ βɵ^ ... βɵ
0 1 1 1
2 X (^) i X (^) 2 X (^) 2 X 1 (^) X X (^) 1 Y X 1 i
i i
i i i
K Ki i i
i i i
∑ +^ ∑ +^ ∑ +^ +^ ∑ =∑
β^ ɵ^ βɵ^ βɵ^ ... βɵ
0 1 1 2 2
2 X (^) Ki X X X X X Y X i
i Ki i
i Ki i
K ki i
i Ki i
∑ +^ ∑ +^ ∑ +^ +^ ∑ =∑
Econometría. Tema 3. Curso 2013-14. Pilar Abad 8
matricialmente se puede expresar como:
X X ' βɵ = X Y '
donde:
X X
n X X X
X X X X X X
X X X X X X
i i ki
i i i (^) i i ki
ki i ki i ki ki (^) k k
∑ ∑ ∑ ∑ + × +
1 2
1 1
2 1 2 1
1 2
2 1 1
X Y
Y
Y X
Y X
i
i i
i ki (^) k
( )
∑ + ×
1
1 1
9
● Tenemos un sistema con k +1 ecuaciones lineales donde las k +1 incógnitas son los
coeficientes de la regresión. El sistema tendrá solución única bajo los supuestos del
modelo (que no exista multicolinealidad exacta).
● Matricialmente podemos expresar el estimador de MCO como:
ɵ ( )
ɵ ɵ
... ɵ
( )
−
0 1
1 1
1
k (^) k
X X X Y
ya que bajo el supuesto de ausencia de multicolinealidad exacta la matriz X ' X es no
singular.
Econometría. Tema 3. Curso 2013-14. Pilar Abad 10
● Si existiera multicolinealidad exacta el sistema tendría infinitas soluciones. Vamos a ver
dos ejemplos sencillos:
Ejemplo 1:
Yi = β 0 + β 1 X 1 i + β 2 X 2 i +ε i
siendo:
X 1 i = λ X 2 i
Las condiciones de primer orden serán:
[1] εɵ i
i
∑ =^0
[2] εɵ i^ i εɵ λ λ εɵ^ εɵ
i
i i i
i i i
i i i
∑^ X^ 1 =^0 ⇒^ ∑ X^ 2 =^ ∑ X^ 2 =^0 ⇒^ ∑ X 2 =^0
[3] εɵ i i
i
∑^ X 2 =^0
- Las ecuaciones [2] y [3] establecen las mismas condiciones.
- El sistema no tiene solución única.
- Podríamos estimar una combinación lineal de parámetros: β 1 λ +β 2
13
Ejemplo:
Dado el modelo:
Yi = β 0 + β 1 X 1 i + β 2 X 2 i + ui
se dispone de la siguiente información muestral:
Yi X (^) 1 i X (^) 2 i
luego n =4 y k =
Econometría. Tema 3. Curso 2013-14. Pilar Abad 14
X =
×
Y =
×
×
0
1
(^2 3 )
El estimador MCO de los parámetros será:
βɵ = (^) ( ' (^) ) ' − X X X Y 1
donde:
X X
n x x x x x x
x x x x
i i i i i i
i i i i
∑ ∑ ∑ ×
1 2 1 1
2 1 2
2 1 2 2
2 3 3
15
X Y
y
y x y x
i
i i i i
∑ ×
1 (^2 3 )
Calculamos la inversa de X ' X :
( )
[ (^ )] X X
Adj X X X X
−
1
X X ' = × × + × × + × ×
− × × − × × − × × =
[ Adj X X ( '^^ )]' =^ Adj X X ( ' )=
Econometría. Tema 3. Curso 2013-14. Pilar Abad 16
( X X ' )
−
1
luego:
ɵ
ɵ ɵ
ɵ
β
β β
β
× − × − × =
0
1 2
De modo que el modelo estimado será:
Y^ ɵ^ , , X , X i =^ 1 5^ −^ 1 5^1 i +0 5 2 i
19
4. Eficientes:
Varianzas y covarianzas: La matriz de covarianzas del vector βɵ es una matriz cuadrada
de orden k +1. Tiene en la diagonal principal las varianzas de cada βɵ (^) j y fuera de la
diagonal principal las covarianzas:
V X
V X Cov X Cov X Cov X V X Cov X
Cov X Cov X V X
k k
k k k (^) k k
V X In
( ɵ^ )
( ɵ^ ) ( ɵ^ , ɵ^ ) ... ( ɵ^ , ɵ^ ) ( ɵ^ , ɵ^ ) ( ɵ^ ) ... ( ɵ^ , ɵ^ ) ... ... ... ... ( ɵ^ , ɵ^ ) ( ɵ^ , ɵ^ ) ... ( ɵ^ ) (^) ( ) ( )
( )
β
β β β β β β β β β β
β β β β β
σ ε σ
=
=
=
0 0 1 0 0 1 1 1
(^0 1 1 )
2
(^2) ( X X ' )− 1
y por tanto:
Econometría. Tema 3. Curso 2013-14. Pilar Abad 20
V ( βɵ j^ X )= σ^2 aj + 1 j + 1 donde a j + 1 j + 1 es el elemento correspondiente de la diagonal principal
de la matriz ( X X ' ) − 1 .
- Teorema de Gauss-Markov: los estimadores MCO βɵ (^) j son óptimos en el sentido de que
bajo los supuestos del modelo de regresión general son los estimadores lineales e insesgados
de menor varianza.
5. Consistencia: Los estimadores MCO, βɵ 0 , βɵ 1 ,…, βɵ k , son estimadores consistentes de β 0 ,
β 1 ,…, β k :
p lim βɵ j^ = β j j = 0 1, ,..., k
21
Estimación de la varianza: Empleamos como estimador de σ
2 la varianza residual que se
define como:
ɵ ɵ^
ɵ σ 2 2 ε
2
1
S
n k
R
i
que es un estimador insesgado de σ 2.
Además
εɵ^ (^ )^ ɵ
i n^ k
2 2
2
2
~ χ n − k − 1
2
Econometría. Tema 3. Curso 2013-14. Pilar Abad 22
Ejemplo: Ilustremos algunas propiedades para el MRL Simple:
a) El estimador MCO de la pendiente puede escribirse como:
β 1 = 2 2
X X Y Y
X X
X X Y
X X
w Y
i i i
i i
i i i
i i
i i i
con w
X X
X X
X X
nS
i
i
i i
i
X
2 2
Observándose que es lineal en Yi : βɵ 1 = (^) ∑ w Yi i i
25
● Teorema de Gauss-Markov: En el contexto del modelo de regresión lineal (bajo los
supuestos realizados) el estimador MCO de βɵ 1 es el de menor varianza entre los
estimadores lineales e insesgados.
● Como σ 2 es desconocida el estimador de la varianza de βɵ 1 se obtiene sustituyendo el
parámetro desconocido por σɵ 2 :
ɵ ( ɵ^ )
V
nSX
β
σ 1
2
Error estándar ( ɵ^ ) ( ɵ^ ) ɵ^ ( ɵ^ )
β β β
σ
1 =^ s^ 1 =^ V^ 1 =
nSX
Econometría. Tema 3. Curso 2013-14. Pilar Abad 26
b) El estimador MCO de la constante puede escribirse como:
β^ ɵ^ βɵ 0 1
Y X ∑ = ∑
Y
n
X w Y
n
Xw Y r Y
i i i i i
i i i
i i i
observándose que es lineal en Yi : βɵ 0 = (^) ∑ r Yi i i
Esperanza del estimador: Dado que wi
i
∑ =^0 y^ w^ i Xi
i
∑ =^1 tenemos que:
0 1
(^0) ( ) 0 1 0
1 1 ( ˆ ) ( ) ( ) i i i
i i i i (^) E Y X X i i i i
E X Xw E Y X Xw X n^ β^ β n
β β β β = +
= (^) − (^) = = (^) − (^) + =
∑ ∑
β^ ɵ 0 es un estimador insesgado de^ β 0
27
Varianza del estimador:
V X V
n
Xw y X
n
Xw V Y X
n
Xw
n
X
S
i i i i i no autoc^
i i i
i
V Y X i i i i (^) X
( ɵ^ ) ( )
( )
β
σ
σ σ
0
2
2 2
2 2
2
∑ =^ +
=
● El error en la estimación de βɵ 0 depende de:
- error en la estimación de Y
- error en la estimación de βɵ 1
Econometría. Tema 3. Curso 2013-14. Pilar Abad 28
● Teorema de Gauss-Markov: En el contexto del modelo de regresión lineal (bajo los
supuestos realizados) el estimador MCO de βɵ 1 es el de menor varianza entre los
estimadores lineales e insesgados.
● Como σ 2 es desconocida el estimador de la varianza de βɵ 0 se obtiene sustituyendo el
parámetro desconocido por σɵ 2 :
ɵ (^) ( ɵ^ ) ɵ V n
X
SX
0
2 2 = 1 + 2
Error estándar ( βɵ^0 ) : s V
n
X
SX
( ɵ^ ) ɵ^ ( ɵ^ )
β β
σ 0 0
2
31
3.3. AJUSTE DEL MODELO
1. El coeficiente de determinación
● El R^2 o coeficiente de determinación es una medida descriptiva del ajuste global del
modelo.
● El coeficiente de determinación se define como:
R
VE
VT
Y Y
Y Y
VNE
VT Y Y
i i VT^ VE^ VNE
i i
2
2 2
2 = = (^1 )
( ɵ^ ) ( )
ɵ ( )
(En el MRL Simple:
( )
( )
2
2 2 1 (^2) ˆ ˆ( )
2 2
(^1) Y
X Y Y X X i i
i i
S
S
Y Y
Y Y
VT
VE
R
i i
β − = β −
Econometría. Tema 3. Curso 2013-14. Pilar Abad 32
● El R^2 mide el porcentaje de variación de Y que se explica linealmente con las variaciones
de todas las X****.
● El R^2 toma valores entre 0 (ninguna explicación lineal de las variaciones de Y ) y 1 (total
explicación de las variaciones de Y ).
Nótese que
VT = (^) ∑ ( Y (^) i − Y ) = VE + VNE = (^) ∑ ( Yi − Y ) + (^) ∑( Yi − Yi )
2 2
2 2 2
( ) ( ˆ^ ) ( ˆ)
( ) ( ˆ^ ) ( ˆ)
( ) ( ˆ^ ) ( ˆ^ ) 2 ( ˆ^ )( ˆ)
i i i i
i i i i i i
i i i i i i i i i i i
Y Y Y Y Y Y
Y Y Y Y Y Y
Y Y Y Y Y Y Y Y Y Y
− = ^ − + −
∑ ∑
∑ ∑ ∑ ∑
33
● El R 2 aumenta de valor al aumentar de número de regresores sean estos relevantes o
no. Para eliminar este fenómeno se define el R 2 “ajustado o corregido de grados de
libertad”:
R
n k Y Y n
R R
k n k
R
n n k
i i
2
2 2
2 2
2
ɵ (^) /
( ) /
ε
que puede tomar valores negativos.
● En cualquier caso para tamaños muestrales grandes R^2 ≈ R^2.
Econometría. Tema 3. Curso 2013-14. Pilar Abad 34
2. Error estándar (S.E.) de la regresión:
El S.E de la regresión es una medida de la bondad del ajuste de la estimación. Se define
como:
ɵ
ɵ σ
ε
− −
∑ i
i n k
2
Su valor disminuye al aumentar el número de regresores por lo que tiene el mismo
problema que el R^2.
