Notes sur les réseaux de neurones formels - 2° partie, Notes de Mathématiques Appliqués
Caroline_lez
Caroline_lez13 January 2014

Notes sur les réseaux de neurones formels - 2° partie, Notes de Mathématiques Appliqués

PDF (179.1 KB)
5 pages
412Numéro de visites
Description
Notes de mathématique sur les réseaux de neurones formels - 2° partie. Les principaux thèmes abordés sont les suivants: les fonctions de transfert, l'architecture de réseau.
20points
Points de téléchargement necessaire pour télécharger
ce document
Télécharger le document
Aperçu3 pages / 5
Ceci c'est un aperçu avant impression
Chercher dans l'extrait du document
Ceci c'est un aperçu avant impression
Chercher dans l'extrait du document
Aperçu avant impression terminé
Chercher dans l'extrait du document
Ceci c'est un aperçu avant impression
Chercher dans l'extrait du document
Ceci c'est un aperçu avant impression
Chercher dans l'extrait du document
Aperçu avant impression terminé
Chercher dans l'extrait du document

empiriques et à adapter en fonction des situations. Les plus courantes et les plus citées dans la

littérature sont énumérées dans la figure ci-dessous :

Tableau: 57.9 - Types de fonctions de transfert pour R.N.F.

Les trois les plus utilisées dans le domaine de l'ingénierie sont les fonctions "seuil" (a) (en

anglais "hard limit"), "linéaire" (b) et "sigmoïde" (c) comme représentées ci-dessous :

(57.97)

Comme son nom l'indique, la fonction seuil applique un seuil sur son entrée. Plus précisément,

une entrée négative ne passe pas le seuil, la fonction retourne la valeur 0 (faux), alors qu'une

entrée positive ou nulle dépasse le seuil, et la fonction retourne 1 (vrai). Il est évidant que ce

genre de fonction permet de prendre des décisions binaires (cette fonction peut aussi être

assimilée à la fonction de Heaviside pour ceux qui connaissent...).

La fonction linéaire est quant à elle très simple, elle affecte directement son entrée à sa sortie

selon la relation . Il est évidant que la sortie du neurone correspond alors à son

niveau d'activation dont le passage à zéro (l'ordonnée à l'origine) se produit lorsque .

La fonction de transfert sigmoïde est quant à définie par la relation mathématique :

(57.98)

elle ressemble soit à la fonction seuil, soit à la fonction linéaire, selon que nous somme loin ou

près de brespectivement. La fonction seuil est très non linéaire car il y a une discontinuité

lorsque . De son côté, la fonction linéaire est tout à fait linéaire. Elle ne comporte

aucun changement de pente. La sigmoïde est un compromis intéressant entre les deux

précédentes. Notons finalement que la fonction "tangente hyperbolique" est une version

symétrique de la sigmoïde.

ARCHITECTURE DE RÉSEAU

Par définition, un réseau de neurones est un maillage de plusieurs neurones, généralement

organisés en couches. Pour construire une couche de S neurones, il s'agit simplement des les

assembler comme à la figure ci-dessous :

(57.99)

Les S neurones d'une même couche sont tous branchés aux R entrées. Nous disons alors que la

couche est "totalement connectée". Un poids est associé à chacune des connexions. Nous

noterons toujours le premier indice par i et le deuxième par j (jamais l'inverse). Le premier

indice (rangée) désigne toujours le numéro de neurone sur la couche, alors que le deuxième

indice (colonne) spécifie le numéro de l'entrée. Ainsi, désigne le poids de la connexion qui

relie le neurone i à sont entrée j. L'ensemble des poids d'une couche forme donc une

matrice W de dimension :

(57.100)

Il faut bien sûr prendre en compte que nous n'avons pas nécessairement dans le cas

général (les nombres de neurones et d'entrées sont indépendants). Si nous considérons que

les S neurones forment un vecteur de neurones, alors nous pouvons créer les vecteurs :

(57.101)

Ceci nous amène à la représentation simplifiée illustrée ci-dessous :

(57.102)

Finalement, pour construire un réseau de neurones (ou PMC pour "Perceptron Multi-Couches"),

il ne suffit plus que de combiner des couches comme ci-dessous :

(57.103)

Cet exemple comporte R entrées et trois couches de neurones comptant

respectivement neurones. Dans le cas général, de nouveau ces nombres ne sont pas

nécessairement égaux. Chaque couche possède aussi sa propre matrice de poids ,

où k désigne l'indice de couche. Dans le contexte des vecteurs et des matrices relatives à une

couche, nous emploierons toujours un exposant pour désigner cet indice. Ainsi, les

vecteurs sont aussi associés à la couche k.

Il importe de remarquer dans cet exemple que les couches qui suivent la première ont comme

entrée la sortie de la couche précédente. Ainsi, nous pouvons enfiler autant de couches que

nous voulons, du moins en théorie. Nous pouvons fixer un nombre quelconque de neurones sur

chaque couche. En pratique, nous verrons plus tard qu'il n'est cependant pas souhaitable

d'utiliser trop de neurones. Notons aussi que rien ne nous empêche de changer de fonction de

transfert d'une couche à l'autre. Ainsi, dans le cas général nous n'avons pas

nécessairement .

Définition: La dernière couche est nommée "couche de sortie". Les couches qui précèdent la

couche de sortie son nommées "couches cachées".

Remarque: Les réseaux multicouches sont beaucoup plus puissants que les réseaux simples à une

seule couche bien évidemment. En utilisant deux couches, à condition d'employer une fonction

d'activation sigmoïde sur la couche cachée, nous pouvons "entraîner" un réseau à produire une

approximation de la plupart des fonctions, avec une précision arbitraire. Sauf dans de rares cas,

les réseaux de neurones formels exploitent deux ou trois couches.

Définition: "Entraîner" un réseau de neurones signifie modifier la valeur de ses poids et de ses

biais pour qu'il réalise la fonction d'entrée sortie (I/O). Nous étudierons en détails différents

algorithmes et méthodes d'approche heuristiques pour y parvenir dans différents contextes.

commentaires (0)
Aucun commentaire n'a été pas fait
Écrire ton premier commentaire
Ceci c'est un aperçu avant impression
Chercher dans l'extrait du document
Docsity n'est pas optimisée pour le navigateur que vous utilisez. Passez à Google Chrome, Firefox, Internet Explorer ou Safari 9+! Téléchargez Google Chrome