Download Regressione Lineare Semplice e Polimoniale and more Schemes and Mind Maps Mathematics in PDF only on Docsity!
REGRESSIONE LINEARE E POLINOMIALE
Nota una tabella di dati relativi alle osservazioni di due grandezze X e Y, è naturale formulare ipotesi su quale possa essere una ragionevole funzione che rappresenti o che approssimi la relazione tra X e Y. Il metodo dei minimi quadrati è una risposta largamente condivisa a tale problema. Di seguito si presenta inizialmente il modello più semplice di regressione, quello lineare, per trattare poi casi più complessi in cui il modello di regressione è di tipo polionomiale.
Il modello classico di regressione lineare semplice
Il modello di regressione lineare semplice suppone una relazione lineare tra x e y , ovvero
y = 1 + 2 x + e (1)
dove ß 1 e ß 2 sono i parametri della cosiddetta retta di regressione , i quali devono essere opportunamente valutati sulla base delle osservazioni ed e rappresenta un termine d’errore.
Le ipotesi del modello classico di regressione lineare semplice implicano che la yi sia costituita dalla somma di una componente deterministica ß 1 + ß 2 xi e una termine di scarto ei
yi = 1 + 2 xi + ei (2)
infatti i valori xi della variabile esplicativa sono fissati e ß 1 e ß 2 sono parametri e quindi costanti.
Per stimare i parametri ß 1 e ß 2 del modello di regressione si considera un campione costituito da n coppie di valori (x 1 , y 1 ), (x 2 , y 2 ), ..., (xn, yn), dove x 1 , x 2 , ..., xn sono i valori degli ingressi e y 1 , y 2 , ..., yn sono i valori delle osservazioni. Le osservazioni possono essere rappresentate in un grafico a dispersione come esemplificato nella Figura 1.
Figura 1. Osservazioni sul modello di regressione
Le stime sono costituite dai valori dei parametri cui corrisponde la retta che approssima al meglio i dati. A tal fine si considerano le distanze dei punti (xi, yi) dalla retta di regressione, ovvero gli scarti
ei = yi − ( 1 + 2 xi) per i = 1,2, … , n (3)
e i valori di ß 1 e ß 2 sono scelti in modo tale da minimizzare le distanze dei punti (xi, yi) dalla retta di regressione stimata. Poiché alcune distanze sono positive e altre negative, si considera la somma delle distanze al quadrato
Q( 1 , 2 ) = ∑ ni=1(y i− 1 − 2 xi)^2 (4)
Figura 2. Distanza del punto (xi, yi) dalla retta di regressione
Le stime del metodo dei minimi quadrati sono quei valori ßi che minimizzano la somma dei quadrati delle distanze, per le quali cioè si ha
Q(̂ 1 , ̂ 2 ) = min 1 , 2 Q( 1 , 2 ) (5)
Derivando si ottiene
∂Q( 1 , 2 ) ∂ 1 = −2 ∑(yi−^1 −^ ^2 xi)
n
i= ∂Q( 1 , 2 ) ∂ 1 = −2 ∑(yi−^1 −^ ^2 xi)xi
n
i=
(6)
Ponendo le derivate uguali a zero e dividendo entrambi i membri per -2 si ottengono le equazioni:
∑ 𝑛𝑖=1(yi− 1 − 2 xi) = 0
dove: y corrisponde al vettore dei dati misurati;
1 1 + 2 x rappresenta la retta di regressione;
1 e 2 rappresentano i parametri di regressione lineare (vettori colonna);
N è la lunghezza del vettore;
La (12) diventa:
ε^2 =[ y - ( 1 1 + 2 x) ]T^ [y - ( 1 1 + 2 x)] =
yT^ y - 2 yT^ x - 1 yT^ 1 + 22 xT^ x - 2 xT^ y + 2 1 xT^1 – 1 1 T^ y + 2 11 T^ x + 121 T^ 1=
yT^ y - 2 yT^ x - 1 yT^ 1 + 22 xT^ x – 2 ( xT^ y )T+ 2 1 xT^1 – 1 ( 1T^ y )T+ + 2 1 (1T^ x )T^ + 121 T^ 1 =
yT^ y -2 1 yT^1 - 2 2 yT^ x + 22 xT^ x + 12 N + 2 2 1 xT^1
I coefficienti 2 e 1 si determinano in modo da minimizzare ε^2 , ponendo a zero le derivate
parziali di ε^2 rispetto ad 2 e rispetto a 1 :
∂ ε^2 ∂ 2 = −2 yT^ x^ +^2 ^2 xT^ x^ + 2^1 xT^ 1 = 0
∂ ε^2 ∂ 1 =2 y
T (^) 1 + 2 2 xT (^) 1 + 2 1 N = 0
2 xT^ x + 1 xT^ 1 = yT^ x
2 xT^ 1 + 1 N = yT^1
|
yTx xT 1 yT 1 N
|
|
xTx xT 1 xT 1 N
|
= N y
T (^) x−( xT (^) 1)( yT (^) 1)
NxT^ x – xT^1 =^
N ∑^ kxkyk −∑^ kxk∗∑^ kyk N ∑ Nk=1 xk^2 − (∑ n i= 1 xi)^2
|
xTx yTx xT 1 yT 1
|
|
xTx xT 1 xT 1 N
|
= ( x
T (^) x)( yT (^) 1) −( yT (^) x)( xT (^) 1)
NxT^ x − xT^1 =^
∑ (^) k xk^2 ∗∑ (^) kyk− ∑ (^) k xkyk∑ (^) kxk N ∑ Nk=1 xk^2 − (∑ n i= 1 xi)^2
oppure si ricava 2 in funzione di 1 :
2 = y
T (^1) − 1 xT (^1) N
Le espressioni simboliche sembrano inguardabili, ma si possono riscrivere in una forma più leggibile. Se si indica con
- X̅ la media aritmetica di x = {xi, … , xn} cioè (^) n^1 ∑ ni=1xi
- Y̅ la media aritmetica di y = {yi, … , yn} cioè (^) n^1 ∑ ni=1yi
- X̅^2 la media aritmetica di x^2 = {xi^2 , … , xn^2 }^ cioè (^) n^1 ∑^ ni=1xi^2
- XY̅̅̅̅ la media aritmetica di xy = {xiyi, … , xnyn}^ cioè (^) n^1 ∑^ ni=1 xiyi
allora dividendo per n il sistema diventa
2 X̅̅^2 ̅^ + 1 X̅ = XY̅̅̅̅ 2 X̅ + 1 = Y̅ (13)
La seconda equazione mette in luce che il baricentro (X̅, Y̅) cioè il punto le cui coordinate sono la media delle ascisse e la media delle ordinate, appartiene alla retta di regressione, perché soddisfa l’equazione y = 1 + 2 x.
Si può ora scrivere la soluzione mediante un’espressione simbolica più semplice:
2 = XY̅̅̅̅−X̅Y̅X̅̅̅ 2 ̅ (^) −X̅ 2 (14) 1 = Y̅ − 2 X̅ (15)
Regressione lineare multipla
Nel modello di regressione semplice le variazioni delle osservazioni sono spiegate mediante una sola variabile d’ingresso. Si ottiene così un modello molto semplice che tuttavia non è sempre in grado di spiegare i fenomeni di interesse in maniera adeguata.
y 1 = β 1 + β 2 x 21 + β 3 x 31 + ⋯ βkxk1 + ε 1
y 2 = β 1 + β 2 x 22 + β 3 x 32 + ⋯ βkxk2 + ε 2
… (21)
yn = β 1 + β 2 x2n + β 3 x3n + ⋯ βkxkn + εn
Regressione polinomiale
Si propone di descrivere alcune curve di adattamento con il metodo dei minimi quadrati e di fornire un metodo iterativo per generalizzare tali funzioni a polinomi di gra do M. Spesso si può esprimere una variabile, y, come polinomiale di una seconda variabile x : y = A + Bx + C x^2 +... + Z xM^ + 𝜀 (22 ) Si supponga per esempio di avere una polinomiale di forma quadratica, y = A + Bx + C x^2 + 𝜀 (23 ) nota una serie di valori (x (^) i , y (^) i ) , i = 1,..,N per ogni xi il valore yi si ottiene dalla (23) dove
A,B,C sono ancora incognite.
La miglior s t ima per A,B,C `e data da quei valori per cui la sommatoria degli scarti quadratici ^2
(in notazione vettoriale) `e minima. Si differenzi quindi ^2 rispetto a A,B,C :
∂𝜀^2
∂A =^ ∑(2A^ −^2 yi^ +^2 Bxi^ +^ Cxi
N
i= 1 ∂𝜀^2 ∂B =^
σy^2 ∑(2Bxi
(^2) − 2 xiyi + 2 Axi + Cxi (^3) )
N
i= 1 ∂ ∂𝜀C^2 = (^) σ^1 y^2 ∑^ (2C^ xi^4 −^2 yixi
N i= 1 2 + 2 A xi (^2) + 2 Bxi (^3) ) ( 24 )
ponendo uguale a zero, omettendo gli estremi di sommatoria: ∑ yi = AN + B ∑ xi + C ∑ xi^2
∑ yixi = A ∑ xi + B ∑ xi^2 + C ∑ xi^3 ∑ yixi^2 = A ∑ xi^2 + B ∑ xi^3 + C ∑ (^) xi^4 ( 25 )
si tratta si un sistema 3x3 che in forma matriciale diventa
[
N ∑ xi ∑ xi^2 ∑ xi ∑ xi^2 ∑ xi^3 ∑ xi^2 ∑ xi^3 ∑ xi^4 ] [
A
B
C]
[
∑ yi ∑ yixi ∑ yixi^2 ]
che `e del t ip o A X = B (27)
e si pu `o risolvere in diversi modi tra c u i :
X = A−^1 B (28) Trovati i valori di A,B,C si sostituiscono nella (23). In generale volendo ricavare una polinomiale di grado M s i avranno M+1 equazioni in M+1 incog nite, la matrice A sar `a di dimensiioni (M+1 ) x (M+1 ) , i vettori B e X a v ranno lunghezza (M+1). I coefficienti della matrice da invertire e i termini noti del problema risultano quelli del sistema:
[
N ∑ xi ∑ xi^2 ⋯ ∑ xin ∑ xi ∑ xi^2 ⋯ ⋯ ∑ xin+ ∑ xi^2 ∑ xi^3 ⋯ ⋯ ∑ xin+ ⋮ ⋮ ⋮ ⋱ ⋮ ∑ xin^ ∑ xin+1^ ⋯ ⋯ ∑ xi2n^ ] [
A
B
C
Z]
[
∑ yi ∑ yixi ∑ yixi^2 ⋮ ∑ yixin]
Risolvendo tale sistema si ottengono i valori A,B,C,...,Z da sostituire nella (22), questa equazione rappresenta la regressione polinomiale di adattamento ai dati (xi,yi).
