Le Biaisbiais, un Neuronen Neurone:biaiseurone particulier
Nous avons vu que le réseau de neurones
est composé de neurones d’entrée, correspondant
aux données d’une observation et qu’on attribue un poids à chaque
entrée. Ce couple entrée/poids permet
de réaliser la phase de propagation à l’aide d’une
fonction d’activation.
Maintenant, si nous souhaitons "forcer" la
valeur de la prédiction pour certaines valeurs d’entrée
cela est possible à l’aide de ce que l’on appelle un biais.
Prenons un exemple simple dont la fonction
d’activation est de type ReLU.
Imaginons le cas où notre neurone
artificiel est composé de 2 entrées ayant pour
valeurs 1 et 2, de 2 poids ayant pour valeurs -0,45 et 0,1 et d’une
sortie.
La valeur de cette sortie est calculée
comme suit :
ReLU (1*-0,45 + 2 * 0,1) = 0
En effet, la somme pondérée
est égale à -0,25, mais comme nous utilisons une fonction
d’activation de type ReLU mettant à zéro toute
valeur négative la prédiction est égale à 0.
La prédiction est donc égale à 0 %.
Maintenant, si à partir des mêmes
valeurs d’entrée, nous souhaitions que la valeur de prédiction
soit différente et que le neurone s’active, nous allons
utiliser un biais qui prendra la forme d’un neurone ayant son propre
poids et qui va en quelque ...