Prepara tus exámenes y mejora tus resultados gracias a la gran cantidad de recursos disponibles en Docsity
Gana puntos ayudando a otros estudiantes o consíguelos activando un Plan Premium
Prepara tus exámenes
Prepara tus exámenes y mejora tus resultados gracias a la gran cantidad de recursos disponibles en Docsity
Prepara tus exámenes con los documentos que comparten otros estudiantes como tú en Docsity
Encuentra los documentos específicos para los exámenes de tu universidad
Estudia con lecciones y exámenes resueltos basados en los programas académicos de las mejores universidades
Responde a preguntas de exámenes reales y pon a prueba tu preparación
Consigue puntos base para descargar
Gana puntos ayudando a otros estudiantes o consíguelos activando un Plan Premium
Comunidad
Pide ayuda a la comunidad y resuelve tus dudas de estudio
Ebooks gratuitos
Descarga nuestras guías gratuitas sobre técnicas de estudio, métodos para controlar la ansiedad y consejos para la tesis preparadas por los tutores de Docsity
Documento que presenta el análisis estadístico de un modelo de regresión lineal, incluye el proceso de estimación de parámetros, la obtención de la recta de regresión y la prueba de hipótesis lineales utilizando el test general de restricciones lineales (tgrl).
Tipo: Apuntes
1 / 33
Esta página no es visible en la vista previa
¡No te pierdas las partes importantes!
ECONOMETRÍA ACTUARIAL CURSO 2013-
TEMA 2: MODELO DE REGRESIÓN LINEAL GENERAL
Octubre de 2013
El modelo de Regresión Lineal Simple se establece entre dos variables, Y y X , que se consideran respectivamente como dependiente (endógena) e independiente (exógena). De manera que: i.- Se sabe, porque así lo indica la Teoría Económica, que las variaciones de Y vienen provocadas por las de X. ii.- Se supone que la relación entre ambas variables es lineal y que no hay otras variables explicativas relevantes. iii.- Se dispone de un conjunto de n observaciones muestrales, extraídas mediante muestreo aleatorio simple, de ambas variables.
Supóngase que la relación entre las variables en la población viene dada por la relación (modelo) lineal simple:
Donde:
El modelo así considerado se denomina recta de regresión poblacional.
Si la relación poblacional propuesta es cierta, también deberá mantenerse en una muestra aleatoria simple de n observaciones de cada variable, permitiendo escribir
Donde el subíndice i denota ahora la observación i -ésima de la muestra y ui (término de perturbación aleatoria) el conjunto de n v.a. inobservables que corresponden a los elementos de la población incluidos en la muestra (véanse los gráficos 1 y 1B).
El objetivo es estimar de manera precisa y eficiente los parámetros poblacionales
Y , haciendo uso de los supuestos realizados sobre la distribución de las perturbaciones.
Gráfico 2A Gráfico 2B
Nótese que:
en el muestreo, tienen su propia distribución de probabilidad y sus momentos. Suponiendo que x es no estocástica (fija en el muestreo) la distribución de probabilidad de los estimadores dependerá de cuál sea la de la perturbación.
proceso generador en la población), mientras que los errores, ei , son observables, pues son la diferencia entre yi e y ˆ^ i (valor ajustado con la regresión muestral).
4
6
8
10
12
14
16
5 6 7 8 9 10 11 12 13 14 X
Y
POBLACIÓN (N=10000): Y = 1,65 + 0,84 X + u
4
6
8
10
12
14
16
5 6 7 8 9 10 11 12 13 14 x
y
MUESTRA (n=1000): y = 2,02 + 0,81 x + e
El modelo de regresión lineal simple es demasiado sencillo para representar
adecuadamente las relaciones entre la mayoría de las variables económicas, por tanto se ha
generalizado al considerar que existen k variables explicativas (exógenas) potencialmente
relevantes, dando lugar al Modelo de Regresión Lineal General :
Escribiendo el modelo para las n observaciones disponibles de las k variables
exógenas se tendrá un sistema de n ecuaciones, en las que los parámetros son
desconocidos, ese sistema se puede escribir matricialmente definiendo las siguientes
matrices y vectores:
ββββ , [4]
de manera que el modelo se escribe matricialmente como
Para que este modelo se pueda estimar convenientemente y los estimadores tengan las mejores propiedades se formulan una serie de Hipótesis :
1.1.- Perturbaciones de media nula: E ( ui ) = 0; ∀ i ,
Las hipótesis 1.1 a 1.3 implican que la matriz de varianzas y covarianzas de u tiene la forma
= ⋅ = ⋅ 0 0 1
0 1 0
1 0 0 ( ')^22 L
M M M M
L
L E uu σ u In σ u [6]
1.4.- Las perturbaciones tienen una Distribución Normal
2.- Las variables explicativas son exógenas : independientes de las perturbaciones.
Ello implica que, si las x son estocásticas, se debe verificar que:
matricialmente E ( X'u ) = E ( X' ) E ( u ) = 0.
Alternativamente, si se supone que las x no son estocásticas, sino fijas en el
muestreo, la única fuente de variación en el muestreo son las perturbaciones, lo que
implica la variación muestral de la y. En esas condiciones es fácil demostrar que:
Cov ( uixji ) = E ( ui· ( xji- (^) x (^) j ) = E ( ui xji ) - E(ui· (^) x (^) j ) = xji·E ( ui· ) - (^) x (^) j·E(ui ) = 0,
matricialmente E ( X'u ) = X' E ( u ) = 0.
La hipótesis de que las x no son estocásticas, sino fijas en el muestreo, es poco realista, sólo se justificaría si realmente el investigador controlase los valores de las x en el muestreo, o si sólo se está interesado en los resultados condicionados a unos valores muestrales determinados de las x. Desde un punto de vista pedagógico sí resulta conveniente y por eso la admitiremos inicialmente. Más adelante se tratará el caso de los regresores estocásticos y la incidencia que ello tiene sobre las propiedades de los estimadores.
Si las x son estocásticas e independientes de la perturbación, E ( X'u )= E ( X' ) E ( u )= 0 , se tiene que:
la esperanza de y depende de los valores esperados de las exógenas ( X ). Esto es, la esperanza condicional de yi será:
La varianza de y también dependerá de los valores esperados de las exógenas ( X ) y
de la varianza de la perturbación
La distribución de y depende de la distribución de las exógenas y de la perturbación. Si las x no son estocásticas, sino fijas en el muestreo, E ( X'u ) = X' E ( u ) = 0 ,
con lo que la esperanza de yi es incondicional dados los valores "fijos" de las exógenas
y la línea de regresión se interpreta como la "línea media o promedio". En este caso la varianza de y sólo depende de la varianza de la perturbación
La distribución de y sólo depende de la distribución de la perturbación.
La matriz de las exógenas, X , es de rango completo, ello garantiza que no existe ninguna combinación lineal perfecta entre las columnas de dicha matriz. Si existiese dicha combinación al menos una de las exógenas se podría expresar exactamente como una combinación lineal de las demás, con lo que la especificación sería redundante, y se verificaría que
La multicolinealidad perfecta es una situación extrema que no se produce en la práctica, salvo error al definir las exógenas. Sin embargo, un cierto grado de multicolinealidad (relación lineal) entre las exógenas es muy común. Dependiendo de si la relación lineal entre las exógenas es más o menos estrecha, los efectos sobre las estimaciones serán más o menos perjudiciales. La cuestión no es si existe multicolinealidad, o no, sino su grado. Esta cuestión se tratará en un tema posterior. La situación extrema opuesta a la multicolinealidad perfecta sería la de ortogonalidad entre los regresores (exógenas). En este caso no existiría ninguna relación lineal entre los regresores (covarianzas nulas). Esta situación tampoco se produce e la práctica operando con datos económicos.
n i i
e 1
(^2) e'e = ( y - X ββ ββˆ )'( y - X ββ ββˆ )
= y'y - y'X ββββˆ - (^) ββ ββˆ ' X'y + ββββˆ ' X'X ββββˆ = y'y - 2 ββββˆ ' X'y + ββ ββˆ ' X'X ββββˆ. [9]
Minimizando la suma de errores al cuadrado
(^1) β ˆ e' β ˆ^ e 2 X'y 2 X'X β ˆ
2 ∂ =∂∂ =^ +
n i i
e = 0, [10]
ˆ 1 ˆ^2 (^ )
2 2 ∂ β ∂ β' = X'^ X
n i i
e
. [11]
obtenida para los estimadores implica un mínimo de la suma de los errores al cuadrado. De
la primera igualdad se obtiene,
X' Xβ ˆ^ = X' y , [12]
que constituye el Sistema de Ecuaciones Normales. Despejando se obtiene la expresión del vector ( k x1) de Estimadores Mínimo Cuadráticos Ordinarios (MCO),
Operando con el sistema de ecuaciones normales [12] y sustituyendo y por su
expresión en [7] resulta
X' Xβ ˆ^ = X' ( Xβ ˆ+ e ) X' Xβ ˆ^ = X'Xβ ˆ+ X' e ⇒ X' e = 0.
Nótese que:
∑
∑
∑
=
=
=
1
1 2
1
ki
n i i
i
n i i
n i i
e x
ex
e
X' e , [14]
por tanto, al aplicar MCO se garantiza que la suma de los errores es nula, así como que los errores y cada una de las regresores (exógenas) no están relacionados, de manera que no existe correlación muestral entre errores y regresores. La media nula de los errores implica que el plano de regresión pasa por el centro de gravedad de la nube de puntos k - dimensional.
Si las hipótesis antes expuestas se verifican, los estimadores MCO son lineales, insesgados y óptimos ( ELIO ). Linealidad:
= ( X' X ) −^1 X' ( Xβ + u ) = ( X' X ) −^1^^ X'Xβ + ( X'X ) −^1 X'u = β + ( X'X ) −^1 X'u [15]
Queda demostrado que los estimadores son una combinación lineal de las perturbaciones,
u. Supuesto que las X no son estocásticas, toda la variabilidad muestral de los ββββˆ proviene
de las perturbaciones. Por tanto, los ββββˆ también se distribuyen Normalmente.
Insesgadez : E ( βˆ^ ) = E( β + ( X'X ) −^1 X'u ) = β + ( X'X ) −^1 X' E( u ) = β [16]
Queda demostrado que, suponiendo que se cumplen las hipótesis 1.1 y 2, los ββ ββˆ son
estimadores insesgados. Óptimos: La matriz de varianzas y covarianzas de los estimadores MCO es: V( βˆ^ ) = E[( βˆ − E( βˆ ))( βˆ − E( βˆ )) ' ] V( βˆ^ ) = E[( X'X ) −^1 X'uu'X ( X'X ) −^1 ] = ( X' X ) −^1^^ X' E( uu' ) X ( X'X ) −^1
Teniendo en cuenta [21], se deduce que el estimador insesgado de la varianza de las
n k n k
e S
n
e i i
2 ∑ = 1 2 e'e
. [22]
matriz de varianzas y covarianzas^2 , su función de densidad conjunta será Normal Multivariante, con la siguiente expresión:
f ( ) = exp ^ − ( − ) − z^ ( − ) n (^) z · z μ'Σ z μ · Σ
z (^) 2 12 21 1 2
estocástica y que
esto es^3 , la variable endógena también se distribuye normalmente
Luego, ΣΣΣΣ y = σ^2 u I ⇒ | ΣΣΣΣ y | = ( σ^ u^2 ) n , Σ^1 12 I
− (^) = , por tanto la función de densidad
conjunta de las yi , condicionada a los valores de las exógenas y a los parámetros poblacionales tendrá la expresión:
(^2) ΣΣ ΣΣ z será definida positiva si es de rango n , esto es, si no existe ninguna combinación lineal entre las zi variables que integran el vector z. (^3) ∂∂ yu (^) denota el jacobiano de la transformación: matriz de derivadas parciales de las ui respecto a las yi. Bajo
el supuesto de que las ui no están autocorrelacionadas, coincide con la matriz identidad.
f( / ) = (^) ( ) exp ^ − ( − )( − ) u (^) n u n u
Si consideramos dados (conocidos) los valores de las variables, endógena y exógenas, y desconocidos los parámetros poblacionales se podrá escribir:
L = f( / ) = ( ) exp ^ − ( − )( − ) u (^) n u n u
que se denomina Función de Verosimilitud. En esta función los parámetros poblacionales están condicionados a los valores muestrales observados de la variable endógena y de las exógenas. La estimación máximoverosimil se basa en asignar a los parámetros poblacionales aquellos valores que maximizan la probabilidad de los datos muestrales, esto es, las estimaciones máximoverosimiles son aquellas que maximizan [25] dados los valores observados de las variables.
Tomando ln en [25] y denotando como β^ ~^ y σ ~ u^^2 a los Estimadores
Máximoverosimiles (EMV) tendremos:
lnL nln( ) nln( ) ( )( ) u (^) u
Para obtener la expresión de los β^ ~^ hay que derivar en [26] respecto a β^ ~^ , igualar a cero y
despejar. Nótese que en ese proceso σ ~ u^^2 actúa como una constante, por lo que la derivada
sólo opera sobre la “suma de cuadrados” dada por ( y − Xβ^ ~ ) ' ( y − Xβ^ ~ ) y que dicha
expresión es formalmente idéntica a la que se minimiza en [9] al obtener los estimadores MCO^4. Por tanto, la expresión final de los EMV coincide con la de los MCO:
β^ ~^ = ( X'X ) −^1 X'y = βˆ. [27]
En resumen, bajo los supuestos habituales y la distribución Normal de las perturbaciones, los estimadores máximoverosimiles coinciden con los estimadores MCO y, por tanto, éstos tienen las propiedades asintóticas de los EMV: Consistencia asintótica, Eficiencia asintótica y Distribución Asintótica Normal.
(^4) También en este caso se puede demostrar que se cumplen las condiciones de segundo orden de la maximización.
y se puede demostrar que e’e y ββββˆ son independientes. De todo ello resulta que, para
u ii
i i
desconocida y si se sustituye por su estimador, S (^) e , el cociente [33] deja de distribuirse
como una Normal tipificada, con lo que deja de tener utilidad. Sin embargo, es sabido que
de grados de libertad, e independiente de la primera, se distribuye siguiendo una distribución t-Student con r grados de libertad. En este caso, [33] define una v.a. N (0, 1) y [31] define una v.a. χ (^) n^2 − k , independientes entre sí. Por tanto:
u ii
i i t σ a
i u^2
e (n k) S^ a
− 2 ˆ ∼ tn-k. [34]
S β ˆ i = S (^) e aii ,
construir intervalos de confianza para el mismo.
Si se quiere contrastar la hipótesis H 0 : (^) β (^) i = β i __* H 1 : β i ≠ β i __*
donde β i __* denota cualquier valor admisible para el parámetro, basta calcular [34] con el
valor estimado del parámetro, el valor establecido en la hipótesis nula y el error estándar estimado. Si t* , valor obtenido del estadístico en [34], está incluido en la región crítica
libertad, se rechaza la H 0 , en caso contrario se acepta (no se rechaza). Si la H 1 fuese unilateral, por ejemplo
H 0 : (^) β (^) i = β i * H 1 : β (^) i > β i *
se operaría igual, pero toda la región crítica se concentraría en la cola derecha de la distribución t-Student con n-k grados de libertad.
Una hipótesis que se contrasta siempre es la de “no significatividad del parámetro”, esto es, en la H 0 se postula que el parámetro no es significativamente distinto de cero
En este caso el estadístico del contraste se reduce a
S a^ S i t i e ii
i β
ˆ
__* = =. [34bis]
Si no se rechaza H 0 implica que la variable exógena Xi no es relevante en el modelo y se puede eliminar del mismo supuesto que no hay problemas que invaliden el contraste.
La distribución tn-k del estadístico muestral, véase [34], también permite construir
( β ˆ^ i ± tε 2 Se aii ). [35]
cola de la distribución. En el caso de los intervalos de confianza se trata de una probabilidad "fiduciaria" o derivada, esto es, si pudiésemos construir L intervalos de
construye un intervalo, con la única muestra disponible, y se "confía" en que contendrá el
=
β k
β
β
β
M
3
2
1 β ; r = [1].
=
β k
β
β
β
M
3
2
1 β ; r = [0].
− 0 0 1 2 1 0
0 1 0 1 0 0 L
=
β k
β
β
β
M
3
2
1 β ; r = (^)
1
Si las restricciones son ciertas, no se rechaza la H 0 correspondiente, los estimadores eficientes serían los estimadores mínimocuadraticos con restricciones (MCr), que son aquellos que incorporan (cumplen) las restricciones que se suponen ciertas. En el modelo de regresión lineal general:
se demuestra que el estimador mínimocuadratico con restricciones , β ˆ *es
βˆ^ __*^ = βˆ +( X'X )−^1 R' [ R ( X'X )−^1 R' ]−^1 ( r − Rβˆ ). [37]
Alternativamente, se puede estimar por MCO el modelo restringido, aquél en el que se han impuesto las restricciones, y se obtendría el mismo resultado que aplicando MCr. Así, por ejemplo, dado el modelo
se puede aplicar el estimador MCr, con el que se verificará que β ˆ^2 * (^)^ + β ˆ 3 * = 1 , o bien estimar
el modelo restringido
aplicando MCO en el modelo restringido se obtendrían β ˆ 1 *^^ ,β ˆ * 2 y β ˆ^ * 3^ = 1 − β ˆ * 2 , de manera que
se verificaría la restricción.
Dado el modelo de regresión lineal general
suponiendo H 0 cierta, la expresión del Test General de Restricciones Lineales (TGRL) es la siguiente:
n k F q − = − −^ − − e' e/
Alternativamente, se demuestra también que el estadístico de contraste se puede escribir como:
SCRn k
SCR q n k F q − = −
e'e/
donde:
e'r e r denota la Suma de Cuadrados de Errores del modelo restringido, er = y − Xβ ˆ*. e' e denota la Suma de Cuadrados de Errores del modelo no restringido, e = y − Xβ ˆ.
(residuos) que se produce al estimar por MCr ( SCRr = e'r er ) respecto a la estimación por MCO ( SCR = e' e ). Si las estimaciones por ambos procedimientos
restricciones la suma de cuadrados de los residuos aumenta respecto a la de la estimación no restringida. _F_* denota el valor del estadístico del TGRL.
Si F^ εεεε q,n-k denota el valor que, en una distribución F de Snedecor (Fisher) con q
grados de libertad en el numerador y n-k g. de l. en el denominador, define una región
