Le Biaisbiais, un Neuronen Neurone:biaiseurone particulier

Nous avons vu que le réseau de neurones est composé de neurones d’entrée, correspondant aux données d’une observation et qu’on attribue un poids à chaque entrée. Ce couple entrée/poids permet de réaliser la phase de propagation à l’aide d’une fonction d’activation.

Maintenant, si nous souhaitons "forcer" la valeur de la prédiction pour certaines valeurs d’entrée cela est possible à l’aide de ce que l’on appelle un biais.

Prenons un exemple simple dont la fonction d’activation est de type ReLU.

Imaginons le cas où notre neurone artificiel est composé de 2 entrées ayant pour valeurs 1 et 2, de 2 poids ayant pour valeurs -0,45 et 0,1 et d’une sortie.

La valeur de cette sortie est calculée comme suit :

ReLU (1*-0,45 + 2 * 0,1) = 0

En effet, la somme pondérée est égale à -0,25, mais comme nous utilisons une fonction d’activation de type ReLU mettant à zéro toute valeur négative la prédiction est égale à 0. La prédiction est donc égale à 0 %.

Maintenant, si à partir des mêmes valeurs d’entrée, nous souhaitions que la valeur de prédiction soit différente et que le neurone s’active, nous allons utiliser un biais qui prendra la forme d’un neurone ayant son propre poids et qui va en quelque ...