Regresión lineal. Mínimos cuadrados lineales
Estadística
Carlos Gaviria & Carlos Márquez?
?Universidad de San Buenaventura,Departamento de Ciencias Básicas
13 de agosto de 2020
Carlos Gaviria & Carlos Márquez Estadística
Prepara tus exámenes
Prepara tus exámenes y mejora tus resultados gracias a la gran cantidad de recursos disponibles en Docsity
Consigue puntos base para descargar
Gana puntos ayudando a otros estudiantes o consíguelos activando un Plan Premium
Orientación Universidad
Prepara tus exámenes
Prepara tus exámenes y mejora tus resultados gracias a la gran cantidad de recursos disponibles en Docsity
Busca documentos
Prepara tus exámenes con los documentos que comparten otros estudiantes como tú en Docsity
Busca tu universidad
Encuentra los documentos específicos para los exámenes de tu universidad
Video Cursos
Estudia con lecciones y exámenes resueltos basados en los programas académicos de las mejores universidades
Quiz
Responde a preguntas de exámenes reales y pon a prueba tu preparación
Consigue puntos base para descargar
Gana puntos ayudando a otros estudiantes o consíguelos activando un Plan Premium
Comunidad
Pregúntale a la comunidad
Pide ayuda a la comunidad y resuelve tus dudas de estudio
Ebooks gratuitos
¡Nuestros e-books salva-estudiantes!
Descarga nuestras guías gratuitas sobre técnicas de estudio, métodos para controlar la ansiedad y consejos para la tesis preparadas por los tutores de Docsity
Estadistica para dummies 3 Estadistica para dummies 3 Estadistica para dummies 3 Estadistica para dummies 3
Tipo: Ejercicios
2019/2020
1 / 57
Esta página no es visible en la vista previa
¡No te pierdas las partes importantes!
Documentos relacionados
Vista previa parcial del texto
¡Descarga Estadistica para dummies 3 y más Ejercicios en PDF de Estadística solo en Docsity!
Regresión lineal. Mínimos cuadrados lineales
Estadística
Carlos Gaviria & Carlos Márquez?
?Universidad de San Buenaventura, Departamento de Ciencias Básicas
13 de agosto de 2020
Regresión lineal. Mínimos cuadrados lineales Regresión lineal simple Regresión polinomial Regresión lineal múltiple
Modelo matemático
Basado en conceptos del Álgebra Lineal
A continuación se estudia la metodología de regresión
lineal por mínimos cuadrados lineales. Esta metodolo-
gía se estudia de una manera más elaborada en cursos
de modelos estadísticos, sin embargo, con el ánimo de
introducir algunos conceptos de esta metodología se es-
tudia en este capítulo de manera descriptiva y con base
en elementos de Álgebra Lineal.
Regresión lineal. Mínimos cuadrados lineales Regresión lineal simple Regresión polinomial Regresión lineal múltiple
Modelo matemático
Basado en conceptos del Álgebra Lineal
(^4) Bajo el contexto de dichos problemas prácticos, se llevan a cabo ciertas mediciones de
las variables involucradas en el problema y como asociado a cualquier medición existen
errores, ya sea por el aparato de medida que se usa o por las limitaciones del ser humano
que lleva a cabo este proceso, se conduce necesariamente al planteamiento de un sistema
de ecuaciones lineales no soluble, que se debe resolver para poder lograr la estimación de
las constantes que definen el modelo que resuelve el problema en cuestión.
(^5) En resumen, existen sistemas de ecuaciones lineales de la forma Ax = b que se pueden
resolver de manera exacta y existen sistemas de ecuaciones lineales que también tiene la
forma Ax = b que no tienen una solución exacta, pero que sin embargo son susceptibles de
usarse para estimar constantes que permiten construir un modelo matemático que resuelve
un problema práctico.
Regresión lineal. Mínimos cuadrados lineales Regresión lineal simple Regresión polinomial Regresión lineal múltiple
Modelo matemático
Basado en conceptos del Álgebra Lineal
Para concluir de manera formal que un sistema de ecuaciones lineales Ax = b es soluble, se usa
el siguiente resultado.
Teorema
Sean A ∈ Rm×n y b ∈ R
m
. El sistema de ecuaciones lineales Ax = b es soluble si y solo si el
vector b es una combinación lineal de las columnas de A, es decir, Ax = b es soluble si y solo si
b ∈ R(A).
Observación 1 Si A ∈ Rm×n, entonces el espacio columna de la matriz A, que se denota por
R(A), es el espacio vectorial generado por las columnas de A. En símbolos:
R(A) = gen{A
( 1 ) , A
( 2 ) , · · · , A
(n) } = {b ∈ R
m : el sistema Ax = b es soluble},
donde A
(i) representa la columna i de la matriz A.
Como se mencionó arriba, en esta sección se utiliza una técnica que permite resolver un sistema
de ecuaciones lineales Ax = b no soluble, es decir, un sistema de ecuaciones lineales Ax = b
donde b ∈ R/ (A).
Regresión lineal. Mínimos cuadrados lineales Regresión lineal simple Regresión polinomial Regresión lineal múltiple
Modelo matemático
Basado en conceptos del Álgebra Lineal
Al reemplazar estos datos en la ecuación y(t) = −
g 2
t^2 − v 0 t + y 0 , se obtiene el siguiente sistema
de ecuaciones lineales:
g 2
t
2 1
− v 0 t 1 + y 0 = y(t 1 )
g 2
t
2 2 −^ v^0 t^2 +^ y^0 =^ y(t^2 )
. . .
−
g 2
t
2 m −^ v^0 tm^ +^ y^0 =^ y(tm)
Como cada medición involucra un error, lo más probable es que este sistema de ecuaciones no
tenga solución, sin embargo, debe calcularse una estimación de g, v 0 y y 0. Podría pensarse que
para estimar g, v 0 y y 0 , bastaría con tomar tres de estas ecuaciones y resolver un sistema de
ecuaciones lineales 3 × 3, pero además de resolver un sistema de ecuaciones lineales que no
tiene solución, se agrava el problema al buscar un método que permita elegir las tres ecuaciones
entre las m dadas, que se usen para estimar las constantes g, v 0 y y 0.
Regresión lineal. Mínimos cuadrados lineales Regresión lineal simple Regresión polinomial Regresión lineal múltiple
Modelo matemático
Basado en conceptos del Álgebra Lineal
Una metodología natural sería elegir aquellas tres ecuaciones que involucren el menor error en
las mediciones del tiempo versus espacio recorrido y descartar las m−3 ecuaciones restantes, sin
embargo, esta tarea es más complicada que trabajar con todas las ecuaciones simultáneamente.
Dicho en otros términos, resolver este sistema de ecuaciones lineales es equivalente a hallar
constantes C, D y F de manera que la parábola dada por la regla de asignación:
y = Ct
2
- Dt + F,
sea la parábola que mejor se ajusta a la nube de puntos (t 1 , y(t 1 )), (t 2 , y(t 2 )),.. ., (tm, y(tm)). Si
las mediciones no tuvieran error, bastaría con tomar tres puntos de esta nube de puntos y resolver
el sistema 3×3 resultante. Dicho en otros términos, si las mediciones no tuvieran error, se tendría
un modelo determinístico, sin embargo, como con certeza se involucra un error cuando se toman
las mediciones, entonces lo que se busca es un modelo no determinístico.
Regresión lineal. Mínimos cuadrados lineales Regresión lineal simple Regresión polinomial Regresión lineal múltiple
Modelo matemático
Basado en conceptos del Álgebra Lineal
Del Cálculo se sabe que para minimizar E se deriva respecto a C, respecto a D y respecto a F, se
iguala a cero y se obtiene el siguiente sistema de ecuaciones lineales 3 × 3.
F
∑m
i= 1
1 + D
∑m
i= 1
ti + C
∑m
i= 1
t
2 i
∑m
i= 1
yi
F
∑m
i= 1
ti + D
∑m
i= 1
t
2 i +^ C^
∑m
i= 1
t
3 i =^
∑m
i= 1
tiyi
F
∑m
i= 1
t
2 i +^ D^
∑m
i= 1
t
3 i +^ C^
∑m
i= 1
t
4 i =^
∑m
i= 1
t
2 i yi
Regresión lineal. Mínimos cuadrados lineales Regresión lineal simple Regresión polinomial Regresión lineal múltiple
Modelo matemático
Basado en conceptos del Álgebra Lineal
La forma matricial de este sistema de ecuaciones lineales es la siguiente:
∑^ m
i= 1
∑m
i= 1
ti
∑m
i= 1
t
2 i
∑m
i= 1
ti
∑m
i= 1
t
2 i
∑m
i= 1
t
3 i
∑m
i= 1
t^2 i
∑m
i= 1
t^3 i
∑m
i= 1
t^4 i
F
D
C
∑^ m
i= 1
yi
∑m
i= 1
tiyi
∑m
i= 1
t^2 i
yi
En este caso se tiene que A =
∑^ m
i= 1
∑m
i= 1
ti
∑m
i= 1
t
2 i
∑m
i= 1
ti
∑m
i= 1
t
2 i
∑m
i= 1
t
3 i
∑m
i= 1
t
2 i
∑m
i= 1
t
3 i
∑m
i= 1
t
4 i
∈ R 3 × 3 , x =
F
D
C
(^) ∈ R^3 y
b =
∑^ m
i= 1
yi
∑m
i= 1
tiyi
∑m
i= 1
t
2 i
yi
∈ R
3 .
Regresión lineal. Mínimos cuadrados lineales Regresión lineal simple Regresión polinomial Regresión lineal múltiple
Modelo matemático
Basado en conceptos del Álgebra Lineal
Recuerde, un sistema de ecuaciones lineales Ax = b es soluble si y solo si el vector b es combi-
nación lineal de las columnas de A, esto es, Ax = b es soluble si y solo si b ∈ R(A), el espacio
vectorial generado por las columnas de la matriz A. Ahora, si Ax = b no es soluble, entonces
b ∈ R/ (A). El objetivo entonces es encontrar un vector b 1 ∈ R(A) tal que el sistema Ax = b 1
sea soluble y además b 1 sea el vector del espacio vectorial R(A) más cercano a b en términos
de la distancia Euclídea. El único vector que satisface estas dos condiciones es la proyección
ortogonal del vector b sobre el espacio vectorial R(A), esto se formaliza en el siguiente teorema.
Teorema
Sean A ∈ Rm×n y b ∈ R
m
. La proyección vectorial de b sobre el espacio columna de A, es el
único vector de R(A) que tiene la propiedad de que su distancia a b es menor que la distancia
de b a cualquier otro vector de R(A).
Si p = proyR(A)b, entonces por el teorema el sistema de ecuaciones lineales Ax = p es soluble
y es el más parecido a Ax = b.
Regresión lineal. Mínimos cuadrados lineales Regresión lineal simple Regresión polinomial Regresión lineal múltiple
Modelo matemático
Basado en conceptos del Álgebra Lineal
Definición (Función error)
Sea Ax ∈ R(A), b ∈ R
m
. La función Error, que se denota por E, es la función E = (F, R
n , R)
cuya gráfica está dada por la regla de asignación:
E(x) = ‖b − Ax‖,
donde b − Ax es el vector diferencia entre Ax y b. La función E mide para cada x ∈ R
n , la
distancia Euclídea entre el punto Ax de R(A) y el punto b.
(^1) El mínimo valor que toma la función E es ‖b − p‖ y este valor de E se alcanza en cada uno
de los puntos x 0 ∈ R
n tales que Ax 0 = p. En otros términos, E alcanza su mínimo valor
‖b − p‖ en x 0 si y solo si x 0 es solución de Ax = p.
(^2) Se dice que toda solución del sistema de ecuaciones lineales Ax = p es solución en términos
de mínimos cuadrados del sistema de ecuaciones lineales Ax = b. La estrategia que consiste
en hallar todos los puntos x 0 donde la función error E alcanza su mínimo valor se conoce
con el nombre de método de los mínimos cuadrados.
Regresión lineal. Mínimos cuadrados lineales Regresión lineal simple Regresión polinomial Regresión lineal múltiple
Modelo matemático
Basado en conceptos del Álgebra Lineal
Según el teorema 3, para encontrar las soluciones en términos de los mínimos cuadrados del
sistema de ecuaciones lineales Ax = b, es decir, los puntos donde la función error E de la
definición se minimiza, es suficiente resolver el sistema de ecuaciones normales AT^ Ax = AT^ b.
Si para resolver el sistema de ecuaciones lineales Ax = b en términos de los mínimos cuadrados
se debe resolver el sistema de ecuaciones normales A
T Ax = A
T b, entonces es necesario estudiar
un poco la matriz A
T A. Para lograr dicho propósito se enuncia el siguiente teorema.
Teorema
Para toda matriz A ∈ Rm×n se verifica:
(^1) AT^ A es simétrica.
(^2) El rango de AT^ A es igual al rango de A.
(^3) Si las columnas de A son linealmente independientes, entonces la matriz AT^ A es invertible.
Regresión lineal. Mínimos cuadrados lineales Regresión lineal simple Regresión polinomial Regresión lineal múltiple
Modelo matemático
Basado en conceptos del Álgebra Lineal
Ejemplo 2
Considere el ejemplo 1. El sistema de ecuaciones lineales no soluble
g 2
t^2 1
− v 0 t 1 + y 0 = y(t 1 )
g 2
t
2 2 −^ v^0 t^2 +^ y^0 =^ y(t^2 )
. . .
−
g 2
t
2 m −^ v^0 tm^ +^ y^0 =^ y(tm)
se escribe de forma matricial como
t^2 1
t 1 1
t
2 2
t 2 1
. . .
t
2 m tm^1
g 2 −v 0
y 0
y(t 1 )
y(t 2 )
. . .
y(tm)
Regresión lineal. Mínimos cuadrados lineales Regresión lineal simple Regresión polinomial Regresión lineal múltiple
Modelo matemático
Basado en conceptos del Álgebra Lineal
Ejemplo 3
Suponga que se lanza un objeto hacia arriba desde un edificio de altura y 0 metros con una velo-
cidad inicial de v 0
m s
. De la cinemática se sabe que la ley que describe el movimiento del objeto,
sin considerar la resistencia del aire, está dada por la siguiente regla de asignación:
y(t) = −
g
t
2
- v 0 t + y 0 ,
donde g es la gravedad y y(t) es la posición del objeto en el instante t respecto a la superficie
terrestre. Suponga que se han hecho las siguientes mediciones:
t(s) 1 2 3 3.5 4
y(m) 80.12 70.45 50.89 37.40 21.
Tabla 1: Datos de tiempos t versus alturas y del ejemplo 3
Regresión lineal. Mínimos cuadrados lineales Regresión lineal simple Regresión polinomial Regresión lineal múltiple
Modelo matemático
Basado en conceptos del Álgebra Lineal
Al reemplazar estos datos en la regla de asignación y(t) = −
g 2
t^2 +v 0 t+y 0 se obtiene el siguiente
sistema de ecuaciones lineales:
g 2
- v 0 + y 0 = 80. 12
g 2
- 2 v 0 + y 0 = 70. 45
9
g 2
- 3 v 0 + y 0 = 50. 89
- 5
g 2
- 5 v 0 + y 0 = 37. 40
g 2
- 4 v 0 + y 0 = 21. 57
La forma matricial de este sistema de ecuaciones lineales es la siguiente:
g 2 v 0
y 0