Introducción econometría - regresión múltiple, Apuntes de Econometría

¡Descarga Introducción econometría - regresión múltiple y más Apuntes en PDF de Econometría solo en Docsity!

Regresión múltiple

Demostraciones

Elisa Mª Molanes López

El modelo de regresión múltiple

El modelo que se plantea en regresión múltiple es el siguiente:donde

son las variables independientes o explicativas.

La variable respuesta depende de las variables explicativas y de unacomponente de error que se distribuye según una normal:El ajuste del modelo se realiza por el método de máxima verosimilitud o elmétodo de mínimos cuadrados. En el caso de distribución normal de errores,ambos métodos coinciden, como ya se vió en regresión simple.

y

i

x

i

x

i

k

x

ki

u

i

x

1

, x

2

,... , x

k

u

i

=

N

(

,

σ

2

)

Notación

Y

ˆy

1

ˆy

2 ...

ˆy

n

Y

y

1

y

2 ...

y

n

e

e

1

e

2 ...

e

n

X

es la denominada matriz de diseño, de dimensión

n

x

(k+1)

X

x

11

x

21

x

k

1

x

12

x

22

x

k

2

x

1

n

x

2

n

x

kn

X

1

X

2

X

k

, siendo

X

j

x

j

1

x

j

2

x

jn

β

β

0

β

1 ...

β

k

β

β

0

β

1 ... ˆ β

k

Forma matricial del modelo

La expresión matricial del modelo de regresión múltiple es la siguiente:El modelo estimado también puede expresarse en forma matricial:

Y

=

X

β

U

ˆ

Y

=

X

ˆ

β

Y

−

ˆ

Y

=

e

S

∂β

=

−

X

T

Y

−

X

T

Y

• 2(

X

T

X

)

β

→

X

T

Y

= (

X

T

X

)

β

Ajuste por mínimos cuadrados

Al igual que en regresión simple, la estrategia que seguimos paracalcular el mínimo de

S

es:

• derivar

S

con respecto a los parámetros,

• igualar a cero cada derivada,• y resolver el sistema de ecuaciones que resulta (y en el que lasincógnitas vienen dadas por los

k+

parámetros que queremos estimar).

En términos matriciales, resulta que:

Así que,

ˆ β

= (

X

T

X

)

−

1

X

T

Y

Es una matriz simétrica,de dimensión

(k+1)x(k+1)

Su rango debe ser máximopara ser invertible, es decir:

rango

X

T

X

k

Denota traspuesta

de una matriz

Teniendo en cuenta que:

∂

x

T

a

∂

a

x

∂

a

T

Xa

∂

a

Xa

Que el

es equivalente a pedir que ninguna de las

Ajuste por mínimos cuadradosvariables explicativas se pueda escribir como combinación lineal de las demás.

rango

X

T

X

k

Son las ecuaciones normales de la regresión

De ellas se deduce que:

Los errores de predicciónsuman cero

P

n i

e

i

= 0

La covarianza entre los erroresde predicción y cada variableexplicativa es cero

P

n i

=

e

i

x

ij

= 0

, j

= 1

,... , k

S

∂β

=

−

2

X

T

Y

• 2(

X

T

X

)

β

=

~

0

Relaciones entre las variables

ˆ β

= (

X

T

X

)

−

1

X

T

Y

ˆ Y

=

X

ˆ β

=

X

(

X

T

X

)

−

1

X

T

Y

=

HY

A esta matriz le vamos a llamar

H

y se le conoce con el nombre de matriz de

proyección.Este nombre quedará justificado una vez veamos la interpretación geométricade la estimación.

Las propiedades de la matriz

H

son las siguientes:

• Es idempotente:

HH

=

H

• Es simétrica:

H

T

=

H

• Tiene el mismo rango que

X

:

(k+1)

Relaciones entre las variables

Es sencillo ver que el error de predicción se puede escribir en formamatricial en términos de

H

e

Y

Y

Y

HY

I

H

Y

La expresión

, indica que la matriz

(la cual es idempotente),

transforma el vector de observaciones

en el vector de valores ajustados

(o predicciones)

H

Y

Y

ˆ Y

=

HY

Una matriz idempotente realiza una proyección, por lo que la regresión va aser una proyección.Para entender mejor cómo es esa proyección, vamos a estudiar lasrelaciones existentes entre

e

.

e, Y

Y

Interpretación geométrica

En el espacio formado por las variables, el método de mínimos cuadrados equivale aencontrar un vector en dicho espacio que esté lo más próximo posible al vector deobservaciones.

Subespacio vectorial generado por la columnas de

X

.

Es decir, por los vectores columna de las variables explicativas

Vector de observaciones

Y

e

Vector de residuos

Esp

X

Vector de valores ajustados.Está en

Esp(X)

Y

es la proyección ortogonal de

sobre dicho espacio

Y

Y

Distribución de

ˆ β

= (

X

T

X

)

−

1

X

T

Y

Le llamaremos matriz

Sabemos que el vector de observaciones

se distribuye según una normal

multivariante de mediay de matriz de varianzas covarianzas

X

β

σ

2

I

n

A

Y

Y

N

n

X

β

σ

2

I

n

β

es una combinación lineal de las componentes del vector

, así que

también se distribuye según una variable aleatoria normal.

Y

β

A continuación, calcularemos su media y matriz de varianzas y covarianzas

Distribución de

La estimación de

la hacíamos a través de la varianza residual

σ

2

De manera que, estimaremos la varianza de

mediante

β

i

N

β

i

σ

2

q

ii

ˆs

2 R

=

1

n

−

(

k

+1)

P

n i

=

e

2 i

ˆs

2 R

q

ii

La raíz cuadrada de

nos da el error estándar de

ˆs

2 R

q

ii

β

i

Se puede demostrar que:

(

n

−

k

−

1)ˆ

s

2 R

σ

2

χ

2 n

−

k

−

1

SE

β

i

p

ˆs

2 R

q

ii

s

R

q

ii

El valor de

t

va a contrastar si

, (hipóteis nula, H

0

) frente a la hipótesis

alternativa (

), es decir si el valor de este parámetro en la población es

realmente cero o no.

Contraste

t

Hemos visto que:

β

i

N

β

i

σ

2

q

ii

. Por tanto, estandarizando, se obtiene que:

ˆ β

i

−

β

i

σ

√

q

ii

N

Una variable

t

de Student con

k

grados de libertad se define así:

t

k

=

N

(

,

√

(^1) k

χ

2 k

β

i

De ser cierta esta hipótesis, entonces la variable

X

i

no influiría sobra la variable

respuesta

Y.

β

i

t

ˆβ

i

−

β

i

σ

√

q

ii

r

1

n

−

k

−

1

(

n

−

k

−

1)ˆ

s

2 R

σ

2

ˆ β

i

−

β

i

ˆs

R

√

q

ii

t

n

−

k

−

1

Intervalos de confianza

Sabemos que:

Así que, podemos afirmar que:

P

t

α

/

2

ˆ β

i

−

β

i

SE

(

ˆ β

i

)

t

α

/

2

α

P

β

i

t

α

/

2

SE

β

i

β

i

β

i

t

α

/

2

SE

β

i

α

Con confianza

,

α

β

i

β

i

t

α

/

2

SE

β

i

Cuando

n>

y

el intervalo se convierte en:

α

β

i

β

i

SE

β

i

t

ˆ β

i

−

β

i

SE

(

ˆ β

i

)

t

n

−

k

−

1

Descomposición de variabilidad

Vamos a comenzar descomponiendo la variabilidad total de Y:

V T

P

n i

=

y

i

¯y

2

V T

P

n i

=

y

i

y

2

P

n i

=

y

i

y

2

P

n i

=

e

2 i

P

n i

=

y

i

y

e

i

V T

V E

V N E

Por las ecuaciones normales, este término vale cero.

y

i

y

i

e

i

y

i

y

2

y

i

¯y

e

i

2

y

i

y

2

e

2 i

y

i

¯y

e

i