Regressão Linear e Otimização Numérica, Slides de Aprendizagem de Máquinas

Baixe Regressão Linear e Otimização Numérica e outras Slides em PDF para Aprendizagem de Máquinas, somente na Docsity!

Regressão Linear (II)

Prof. Danilo Silva

EEL7514/EEL7513 - Tópico Avançado em Processamento de Sinais:

Introdução ao Aprendizado de Máquina

EEL / CTC / UFSC

Tópicos

I (^) Regressão linear: revisão

I (^) Método do gradiente

I (^) Normalização de atributos

Regressão Linear

I (^) Modelo de regressão linear:

ˆy = f (x) = w 0 + w 1 x 1 + · · · + wnxn = w

T x

onde

I (^) y ∈ R é o valor-alvo do qual yˆ ∈ R é uma predição

I (^) x =

[ 1 x 1 · · · xn

]T ∈ R

n+ é o vetor de atributos

I (^) w =

[ w 0 w 1 · · · wn

]T é o vetor de parâmetros

I (^) Conjunto de treinamento D = {(x(1), y(1)),... , (x(m), y(m))}

organizado em uma matriz de projeto e um vetor de rótulos

X =

— (x

(1) )

T —

. . .

— (x

(m) )

T —

 e^ y^ =

y

(1)

. . .

y

(m)

Exemplo

Exemplo

Mínimos quadrados

I (^) Função custo:

J(w) =

m

∑^ m

i=

(w

T x

(i) − y

(i) )

2

m

‖Xw − y‖

2

I (^) Gradiente:

∇J(w) =

m

X

T (Xw − y)

I (^) Solução ótima (equação normal):

w = (X

T X)

− 1 X

T y

Limitações da solução analítica

I (^) Nem todas as funções custo admitem solução analítica

I (^) Ex: regularização 1 , perda 1 (MAE), outras perdas

I (^) Calcular XT^ X pode ser computacionalmente custoso para n muito

grande: a ordem de complexidade (em número de operações) é O(mn

2 )

I (^) Solução: métodos iterativos de otimização

Introdução à Otimização

Numérica

Exemplo

Convexidade

I (^) Se J(w) é uma função convexa, então todos os pontos estacionários

são mínimos globais (i.e., a condição de 1

a ordem é suficiente)

I (^) Uma função é convexa se todo segmento de reta conectando dois

pontos no gráfico da função situa-se inteiramente acima da função

Exemplo

Exemplo

Exemplo

I (^) O gradiente indica a tangente, enquanto a hessiana indica a curvatura

I (^) Ex:

J(w) =

1 m

‖Xw − y‖

2

• λ

1 m

‖w‖

2

∇J(w) =

2 m

XT^ (Xw − y) + λ

2 m

w

2 J(w) =

2 m

X

T X + λ

2 m

I

Exemplo

Q =

[

]

Q =

[

]

Q =

[

]

J(w) =

w

T Qw, Q = Q

T =⇒ ∇

2 J(w) = Q

I (^) Os autovalores da hessiana estão associados ao grau de curvatura