Tema 6 aprendizaje automático., Diapositivas de Introducción al Aprendizaje Automático

¡Descarga Tema 6 aprendizaje automático. y más Diapositivas en PDF de Introducción al Aprendizaje Automático solo en Docsity!

APRENDIZAJE AUTOM ATICO´

Daniel Borrajo

UC3M

´Indice

1 Presentaci ´on 2 Introducci ´on 3 Generaci ´on de ´arboles y reglas 4 Regresi ´on 5 Otras t ´ecnicas 6 Aprendizaje basado en instancias y no supervisado 7 Conjuntos de clasificadores y Reglas de asociaci ´on Conjuntos de clasificadores Reglas de asociaci ´on 8 Aprendizaje por refuerzo 9 Programaci ´on L ´ogica Inductiva 10 Aprendizaje en resoluci ´on de problemas

Estad´ıstica

 

H

r r r

r b h 1 h (^4) h 3

h 2 f

Computacional

 

H

6



r r r

b h (^2) h 3

h 1 f

M ´etodos de construcci ´on de conjuntos

• (^) Manipulaci ´on de los ejemplos
  • (^) Bagging
  • (^) Comit ´es de validaci ´on cruzada
  • (^) AdaBoost (Boosting)
• Manipulaci ´on de los atributos
• Manipulaci ´on de las salidas
  • Error correcting output coding - ECOC
• Introducci ´on de aleatoriedad
  • Random forests
• Meta-Aprendizaje (meta-learning)
  • Stacking
  • (^) Combiner

Bagging [Breiman, 1996]

• Bagging = Boostrap aggregating
• Utiliza r ´eplicas del conjunto de entrenamiento con reemplazo - (^) cada r ´eplica posee alrededor de un 63.2 % de ejemplos
• (^) Los clasificadores pueden ser generados en paralelo
• Combina las decisiones de los clasificadores por voto mayoritario

Bagging

Algoritmo de Bagging

Procedimiento Bagging (E, B, T ) Conjunto de entrenamiento E Algoritmo de aprendizaje base B N ´umero de copias del conjunto de entrenamiento T

Para i = 1 hasta T E′^ = copia de E Ci = B(E′) (crea un nuevo clasificador a partir de E) Devolver clasificadores Ci

Algoritmo de Boosting

Procedimiento AdaBoostM1(E, B, T ) Conjunto de entrenamiento E Algoritmo de aprendizaje base B N ´umero de iteraciones T

• Se inicializan los pesos de la instancias por igual
• Para t = 1 hasta T ∗ se normalizan los pesos de las instancias ∗ Ct = B(pt ) (a partir de las instancias con pesos normalizados) ∗ se calcula el error sobre el conjunto de entrenamiento (ε) ∗ si ε > 12 entonces T = t − 1 y salir ∗ se calculan nuevos pesos para todas las instancias
• C∗(x) depende de los pesos obtenidos en funci ´on de ε
• Devolver clasificador C∗

Boosting

Boosting

Bosques aleatorios (Random Forests)

• (^) Aprendizaje: construir k arboles de decisi ´´ on (regresi ´on) aleatorios - (^) elegir aleatoriamente |E| ejemplos (con reemplazo) de los E originales - en cada nodo del ´arbol de decisi ´on (regresi ´on), elegir aleatoriamente m  |A| atributos - usualmente m = √ |A| - expandir el mejor atributo (de los m) - no se podan los ´arboles
• (^) Clasificaci ´on: elegir la moda de los votos de cada clasificador
• (^) Regresi ´on: media ponderada

[Breiman, 2001]

Stacking

Stacking