Réseaux de neurones

Objectif du chapitre

Comme vous pouvez l’imaginer, les réseaux de neurones artificiels trouvent leur origine et leur inspiration dans les neurones biologiques, notamment dans les neurones humains. En effet, en plein milieu de la seconde guerre mondiale, en 1943, Warren McCulloch et Walter Pitts proposèrent une première formalisation du neurone. Une forme plus sophistiquée de ce formalisme a été introduite en 1957 par Frank Rosenblatt avec le modèle du perceptron. Outre les limites technologiques de l’époque, en 1969, Marvin Lee Minsky et Seymour Papert démontrent les limites théoriques des classifieurs tels les réseaux de neurones à traiter les problèmes non linéaires. En conséquence de ces limites, technologiques et théoriques, les réseaux neuronaux ont été mis à l’écart pendant une bonne dizaine d’années. En 1982, John Joseph Hopfield introduit un modèle de réseaux de neurones récurrents et en 1986, le fameux modèle de perceptron multicouche basé sur la rétropropagation du gradient a été introduit par David Rumelhart. Une version similaire à ce dernier modèle a été introduite par Yann LeCun durant les années 80. Suite à ces travaux, les réseaux de neurones ont connu un nouvel engouement...

Modélisation d’un neurone artificiel

Avant toute chose, il faut savoir que les modèles de neurones artificiels ne représentent pas fidèlement le fonctionnement des neurones biologiques. En effet, ces derniers présentent des structures complexes tant au niveau d’un neurone isolé qu’au niveau des interactions interneuronales. La tâche qui consiste à étudier le fonctionnement d’un cerveau, humain ou pas, reste encore et avant tout une tâche exploratoire et difficile.

Le neurone biologique a une structure similaire à celle représentée dans la figure 8-1 suivante :

Figure 8-1 : représentation d’un neurone biologique

Cette figure montre qu’un neurone est composé essentiellement des éléments suivants :

Architecture d’un réseau de neurones

La section précédente a montré qu’un neurone artificiel reçoit en entrée des données et, après avoir opéré une transformation sur ces données, il donne en sortie un résultat. Ce résultat peut être utilisé en entrée d’un autre neurone qui à son tour produira un autre résultat. Un réseau de neurones est constitué d’un ensemble de neurones répartis sur un ensemble de couches. L’architecture d’un réseau de neurones est déterminée par la nature des liens entre ses neurones et aussi la manière dont ils sont répartis. La figure 8-3 suivante donne un exemple d’un réseau de neurones avec une couche d’entrée, deux couches cachées et une couche de sortie.

Figure 8-3 : un réseau de neurones avec deux couches cachées

De façon générale, un réseau de neurones est caractérisé par le nombre de neurones dans chaque couche, le nombre de couches, la nature des relations entre les neurones, les fonctions d’assemblage et d’activation de chaque neurone.

L’exemple donné dans la figure 8-3 correspond au modèle de réseaux de neurones avec rétropropagation qui est l’un des types de réseaux de neurones les plus...

L’algorithme de rétropropagation

Le réseau de neurones avec rétropropagation est un algorithme itératif. Les étapes principales de cet algorithme se présentent comme suit :

Entrées : - Un ensemble d'observations ;  
          - Un ensemble de résultats ; 
Avec  le résultat connu de l'observation    
          - Une fonction d'activation ; 
          - Un réseau de neurones  composé de  couches; 
Sortie : le réseau de neurones  avec les poids  ajustés.  
a) Initialisation aléatoire des poids  pour tout le réseau RN. 
b) Répété jusqu'à ce qu'un critère d'arrêt soit atteint :  
       Pour chaque couple  faire : 
 
        //Initialisation de la couche d'entrée  
        1- Affecter à chaque neurone  de la couche d'entrée la 
valeur de ( la valeur de la variable  de l'observation ) 
  
        //Propagation avant 
        2- Pour chaque couche  allant de 2 à  faire : 
             Pour chaque neurone  de la couche  faire : 
             -    
             -  , (donc  la valeur de sortie du neurone   
        //Calcul de l'erreur des neurones de la couche de sortie 
        3- Pour chaque neurone  de la couche de sortie faire : 
                
        //Propagation arrière 
        4- Pour chaque neurone  allant de  à 1 faire : 
              Pour chaque neurone  de la couche  faire :  
                 =  
        //mise-à-jour des poids du réseau 
        5- Pour chaque poids  du réseau faire : 
              

Réseau de neurones dans Azure ML

Pour illustrer l’implémentation d’un réseau de neurones dans Azure ML, nous allons utiliser le même jeu de données que celui utilisé pour la régression linéaire au chapitre La régression linéaire et polynomiale. Pour rappel, l’objectif recherché dans cet exemple est de développer un modèle qui saura prédire la pollution de l’air en ozone en fonction des variables T9, T12, T15, Ne9, Ne12, Ne15, Vx9, Vx12, Vx15 et Maxo3v (cf. chapitre La régression linéaire et polynomiale - Exemple de régression linéaire multiple).

Pour réaliser ce modèle de régression linéaire avec un réseau de neurone sur Azure ML, suivez les étapes ci-après :