Un neurone pour prédire

1957 - Le perceptron

Le perceptron, réalisé en 1957 par Frank Rosenbalt, est un algorithme d’apprentissage supervisé. Cependant, ce qui le différencie de ceux que nous avons découverts et utilisés dans le chapitre précédent c’est sa conception issue des sciences cognitives. Le perceptron sous sa forme la plus simple, avec lequel nous aurons l’occasion de faire connaissance d’ici quelques instants, est également nommé neurone formel (issu des travaux de Mc Culloch et Pitts en 1943) et a pour but de séparer des observations en deux classes (ou groupes) distinctes à condition que ces données soient linéairement séparables. Son rôle est donc de classifier.

Des données linéairement séparables

Le perceptron simple couche ou neurone formel n’est en mesure de classifier que des données linéairement séparables. Lorsque celles-ci ne le seront pas, nous utiliserons un perceptron multi-couche dont nous aurons l’occasion de découvrir les principes et le fonctionnement dans le chapitre suivant.

Comme vous le savez à présent, des données linéairement séparables sont celles pouvant être séparées par une droite. Pour modéliser simplement ce concept nous allons utiliser les fonctions logiques ET, OU et le OU Exclusif.

Si l’on considère deux éléments A et B. Si un résultat dépendant de A et de B est calculé en appliquant la logique ET (AND en anglais) pour A et B, alors :

Maintenant, si le résultat dépend de A et de B avec cette fois-ci la logique OU (OR en anglais).

Si l’on représente graphiquement ces deux cas, on constate qu’ils sont linéairement séparables.

Représentation graphique des fonctions logiques ET et OU

Considérons à présent la règle suivante...

Fonctions d’activation, rétropropagation et descente de gradient

Nous allons à présent entrer dans le détail du fonctionnement du perceptron en introduisant des notions que vous serez amené à rencontrer lorsque vous utiliserez des réseaux de neurones pour mener à bien vos projets de classification.

Les fonctions de perte (Loss function)

Là encore, ce terme vous deviendra vite familier au fur et à mesure de vos diverses expérimentations avec les réseaux de neurones.

Une fonction de perte, ou Loss function, est une fonction qui évalue l’écart entre les prédictions réalisées par le réseau de neurones et les valeurs réelles des observations utilisées pendant l’apprentissage. Plus le résultat de cette fonction est minimisé, plus le réseau de neurones est performant. Sa minimisation, c’est-à-dire réduire au minimum l’écart entre la valeur prédite et la valeur réelle pour une observation donnée, se fait en ajustant les différents poids du réseau de neurones.

Erreur = Prediction_reelle - Prediction_realisee 

La descente de gradient

La descente de gradient a déjà été abordée dans le chapitre Principaux algorithmes du Machine Learning consacré aux statistiques, mais il est sans doute important d’y revenir à présent, car il s’agit d’un concept important dans la compréhension du fonctionnement des réseaux de neurones.

L’objectif de la descente de gradient est de minimiser la fonction d’erreur en ajustant petit à petit les paramètres d’apprentissage représentés par les différents poids.

Reprenons l’image de la descente de la montagne. Vous vous situez au point le plus haut de la montagne et vous souhaitez atteindre la plaine en contrebas. Cependant, il fait nuit noire et vous n’êtes pas en mesure de voir où vous allez. Vous allez donc progresser doucement par petits pas jusqu’à atteindre le bas de la vallée.

La descente de gradient correspond à cette métaphore et se réalise par l’ajustement des différents poids du réseau de neurones jusqu’à obtenir une convergence, c’est-à-dire un minimum d’erreurs. Cet ajustement se fait par petit pas à l’aide d’un hyper paramètre appelé taux d’apprentissage (learning rate).

Le biais, un neurone particulier

Nous avons vu que le réseau de neurones est composé de neurones d’entrée, correspondant aux données d’une observation et qu’on attribue un poids à chaque entrée. Ce couple entrée/poids permet de réaliser la phase de propagation à l’aide d’une fonction d’activation.

Maintenant, si nous souhaitons "forcer" la valeur de la prédiction pour certaines valeurs d’entrée cela est possible à l’aide de ce que l’on appelle un biais.

Prenons un exemple simple dont la fonction d’activation est de type ReLU.

Imaginons le cas où notre neurone artificiel est composé de 2 entrées ayant pour valeurs 1 et 2, de 2 poids ayant pour valeurs -0,45 et 0,1 et d’une sortie.

La valeur de cette sortie est calculée comme suit :

ReLU (1*-0,45 + 2 * 0,1) = 0

En effet, la somme pondérée est égale à -0,25, mais comme nous utilisons une fonction d’activation de type ReLU mettant à zéro toute valeur négative la prédiction est égale à 0. La prédiction est donc égale à 0 %.

Maintenant, si à partir des mêmes valeurs d’entrée, nous souhaitions que la valeur de prédiction soit différente et que le neurone s’active, nous allons utiliser un biais...

Un cas pratique pour comprendre le perceptron

Nous allons à présent détailler de façon chiffrée un exemple qui nous permettra de bien comprendre les concepts vus jusqu’à présent. Mais pas de panique, les calculs ne seront pas compliqués et resteront accessibles en termes de compréhension.

Comme nous l’avons vu au début de ce chapitre, l’objectif du perceptron est de classifier les observations. Nous vous proposons de créer un modèle capable de déterminer si un étudiant, selon des critères précis, peut être reçu ou non dans une prestigieuse université : l’IA Academy.

L’admission dans cette université dépend de la réussite ou non de certains examens d’entrée. Le tableau ci-dessous regroupe différents cas d’admissions et de refus en fonction de la réussite ou non aux examens en mathématiques, informatique.

Vous l’aurez sans doute remarqué, l’admission à l’université répond à la fonction logique du ET.

1. Initialisation du perceptron

Nous allons initialiser notre perceptron avec une couche de deux neurones en entrée correspondant chacun à la réussite aux examens et un neurone de sortie qui permettra de classifier l’étudiant en tant qu’admis ou refusé dans l’université. En complément des deux neurones d’entrée, nous allons en ajouter un autre appelé biais (seuil) qui a pour but de contrôler la prédisposition du neurone à s’activer ou non et qui prendra toujours la valeur 1.

Notre perceptron est à présent prêt à apprendre.

Notons la notation particulière de chaque poids. W11, W21 et Wb. W ayant pour signification Weight (Poids) suivi du numéro du neurone et du numéro de la couche. Ainsi, W11 se lit poids du premier neurone de la première couche, W21 poids du deuxième neurone de la première couche, ainsi de suite. Wb signifiant alors poids (Weight) du biais (bias en anglais).

Neurone formel

Codons notre premier neurone formel "From Scratch"

Les précédents paragraphes demandent sans doute plusieurs lectures avant d’être totalement compris. C’est pourquoi nous allons en complément de l’exemple chiffré réalisé précédemment coder notre premier neurone formel afin de bien comprendre toute la mécanique de l’apprentissage à travers un exemple concret.

Vous êtes maintenant habitué, nous vous laissons le soin de créer un nouveau projet dans l’éditeur PyCharm et d’y ajouter un nouveau fichier script que nous nommerons perceptron.py.

Pour mener à bien le projet, nous aurons besoin des librairies matplotlib et numpy.

#------------------------------------- 
#    OBSERVATIONS ET PREDICTIONS 
#------------------------------------- 
 
observations_entrees = array([ 
                             [1, 0], 
                             [1, 1], 
                             [0, 1], 
                             [1, 0]]) 
 
 
predictions = array([[0],[1], [0],[0]]) 

#Génération des poids dans l'intervalle [-1;1] 
random.seed(1) 
borneMin = -1 
borneMax = 1 
 
w11 = (borneMax-borneMin) * random.random() + borneMin 
w21 = (borneMax-borneMin) * random.random() + borneMin 
w31 = (borneMax-borneMin) * random.random() + borneMin 

#Le biais 
biais = 1 
wb = 0 

Un neurone artificiel avec TensorFlow

Après avoir codé notre neurone artificiel de façon "artisanale", nous allons à présent voir comment utiliser le module TensorFlow pour créer ce même neurone artificiel.