DEEP LEARNING REDES CONVOLUCIONALES, Guías, Proyectos, Investigaciones de Programación Informática

¡Descarga DEEP LEARNING REDES CONVOLUCIONALES y más Guías, Proyectos, Investigaciones en PDF de Programación Informática solo en Docsity!

Deep learning: Redes convolucionales

Patricio Loncomilla

1 Introducción

● (^) Los algoritmos basados en Deep Learning (como las

redes feed forward) tienen en teoría la capacidad de aproximar cualquier función

● (^) Esa propiedad teórica indica que existe una red

óptima, pero no implica que el proceso de aprendizaje sea capaz de alcanzar la configuración óptima

● (^) En la práctica las redes no funcionaban bien y los algoritmos basados en Deep Learning fueron abandonados

1. Introducción

● (^) En los últimos años, las redes deep han

revivido

● (^) Mejoras en los algoritmos y la GPU

● (^) Mucha mejor performance que los algoritmos

clásicos

2 Redes deep feedforward

● (^) Son redes que son capaces de aprender

relaciones entrada-salida a partir de una gran cantidad de ejemplos

2.1 Neuronas

● (^) La neurona consiste de un modelo lineal

seguido por una no-linealidad

● (^) Cada neurona tiene varias entradas y una

salida

2.1 Neuronas

● (^) Cada entrada es multiplicada por un peso

sináptico

● (^) Neurona determinada por pesos y no-linealidad

10

2.1 Neuronas

● (^) También hay neuronas con modelos más complejos, ej: ● (^) Long short-term memory (memory cells)

http://deeplearning.cs.cmu.edu/pdfs/Hochreiter97_lstm.pdf ●

2.2 División de los datos

● (^) El sistema se debe entrenar y probar con un

conjunto de datos

● (^) Cada dato corresponde a una entrada y una

salida

● (^) Se debe dividir el conjunto de datos en tres:

• (^) Conjunto de entrenamiento
• (^) Conjunto de validación
• (^) Conjunto de prueba

2.3 Inicialización de pesos

● (^) Antes de comenzar el entrenamiento, es

necesario elegir los pesos iniciales

● (^) Los pesos para cada neurona dependen del

número de entradas

● (^) Se usa una distribución uniforme

W ∼ U [ − √ 2 / n ¿ , √ 2 / n ¿ ]

2.4 Entrenamiento

● (^) El entrenamiento consiste en minimizar una

función de pérdida

● (^) La función de pérdida puede consistir por

ejemplo en el error de aproximación

● (^) La función de pérdida depende del problema

min L ( x , y , w )

L ( x , y , w )= E [( y − f ( x , w ))

2

]

2.4 Entrenamiento

● (^) Regularización:

● (^) Consiste en agregar términos extra a la función

de pérdida

● (^) Permite mejorar la capacidad de generalización

L (^) reg ( x , y , w )= L ( x , y , w )+ α∗| w |

2

2.4 Entrenamiento

● (^) Dropout: Consiste en desconectar un

porcentaje de las neuronas en cada iteración del entrenamiento

● (^) Mejora la generalización de la red

3 Redes convolucionales

● (^) Son redes que se usan para procesar

imágenes

● (^) Pueden aprender relaciones entrada-salida,

donde la entrada es una imagen

● (^) Estan basadas en operaciones de convolución

● (^) Tareas comunes:

• (^) Detección/categorización de objetos
• (^) Clasificación de escenas
• (^) Clasificación de imágenes en general

3 Redes convolucionales

● (^) Convolución: Consiste en filtrar una imagen

usando una máscara

● (^) Diferentes máscaras producen distintos

resultados Gaussiana