Sommaire

Fonctions d’activationFonctions d’activation, r Rétropropagationétropropagation et Descente de gradientdescente de gradient

Nous allons à présent entrer dans le détail du fonctionnement du perceptron en introduisant des notions que vous serez amené à rencontrer lorsque vous utiliserez des réseaux de neurones pour mener à bien vos projets de classification.

1. La fonction d’activation

Comme nous l’avons vu lors de la présentation du neurone biologique, celui-ci s’active si un seuil de tension électrique a été dépassé. Pour notre neurone artificiel, son activation sera également déclenchée en fonction d’un seuil.

La première étape dans la détermination de l’activation ou non d’un neurone artificiel est de réaliser la somme des produits des poids synaptiques avec les valeurs d’entrées. Cette étape peut être considérée comme étant une préactivation du neurone. Une fois cette somme réalisée, nous allons utiliser une fonction d’activation qui va nous permettre de déterminer si le neurone doit s’activer ou non. Cette activation sera en fait la prédiction de notre neurone. Pour calculer cette prédiction, il existe plusieurs fonctions utilisables.

a. La fonction de seuil binaire

La première fonction qui peut nous être utile est la fonction de seuil binaire. Cette fonction ...