[et_pb_section fb_built=”1″ _builder_version=”4.9.0″ _module_preset=”default” locked=”off”][et_pb_row _builder_version=”4.9.7″ _module_preset=”default”][et_pb_column type=”4_4″ _builder_version=”4.9.7″ _module_preset=”default”][et_pb_text _builder_version=”4.9.7″ _module_preset=”default”]<\/p>\n
Par Ludivine Cr\u00e9pin, doctoresse en intelligence artificielle et auteur aux Editions ENI<\/a><\/em><\/p>\n Gr\u00e2ce \u00e0 l\u2019\u00e9volution constante et exponentielle des performances des ordinateurs, les r\u00e9seaux de neurones sont disponibles pour tous avec notamment des frameworks comme Tensorflow, Pytorch ou encore Scikit. D\u00e9velopper un outil de Machine Learning semble assez simple aujourd\u2019hui mais vous rendez-vous compte de la complexit\u00e9 qui se cache derri\u00e8re ses outils\u00a0? <\/strong><\/p>\n Eh oui, si nous regardons leurs entrailles, nous sommes en plein dans l\u2019algorithmie et la th\u00e9orie des graphes\u00a0! Je vous propose d\u2019explorer comment sont construits ces r\u00e9seaux de neurones en commen\u00e7ant par leur origine.<\/strong><\/p>\n [\/et_pb_text][et_pb_text _builder_version=”4.9.7″ _module_preset=”default”]<\/p>\n \u00a0C\u2019est en 1943 que le premier r\u00e9seau de neurones est mod\u00e9lis\u00e9 dans les travaux de McCulloch et Pitts, alors que le terme \u00ab\u00a0Intelligence Artificielle\u00a0\u00bb (1956 environ) n\u2019existait pas, ainsi que celui de \u00ab\u00a0Machine Learning\u00a0\u00bb (1959). Les anc\u00eatres de nos ordinateurs non plus d\u2019ailleurs\u2026<\/p>\n Notons que la plupart des mod\u00e9lisations des grands principes de l\u2019IA ont \u00e9t\u00e9 invent\u00e9s dans la seconde partie du XX\u00e8me, bien avant l\u2019ordinateur.<\/p>\n \u00a0Si la mod\u00e9lisation existe depuis 1943, pourquoi n\u2019avons-nous pas exploit\u00e9 les r\u00e9seaux de neurones et le machine learning bien avant les ann\u00e9es 2010\u00a0? Tout simplement car les ordinateurs ne pouvaient pas assumer l\u2019ex\u00e9cution d\u2019un tel programme. Ce sont d\u2019ailleurs ces r\u00e9seaux qui ont sorti l\u2019IA qui hibernait dans son hiver blanc depuis les ann\u00e9es 1990.<\/p>\n Au vu de la complexit\u00e9 algorithmique des r\u00e9seaux de neurones, ils demandent pour leur apprentissage des ressources assez importantes en termes de calculs et de m\u00e9moire\u00a0: m\u00e9moire vive pour supporter l\u2019ex\u00e9cution et m\u00e9moire disque pour stocker les donn\u00e9es d\u2019apprentissage qui d\u00e9passent r\u00e9guli\u00e8rement les dizaines de giga.<\/p>\n [\/et_pb_text][et_pb_image src=”https:\/\/preprod.editions-eni.fr\/blog\/wp-content\/uploads\/2024\/02\/livre3d_algorithmique.webp” alt=”Algorithmique – Les r\u00e9seaux de neurones s\u2019inspirent des neurones animaux. Un neurone naturel peut \u00eatre vulgaris\u00e9 comme une cellule qui s\u2019active ou non en fonction de l\u2019intensit\u00e9 \u00e9lectrique qu\u2019elle re\u00e7oit, un interrupteur en somme.<\/p>\n Le neurone artificiel, le perceptron, est \u00e9galement un interrupteur<\/strong>\u00a0: selon son entr\u00e9e, il active ou non sa sortie. En informatique, nous ne pouvons pas faire varier l\u2019intensit\u00e9 du courant, le courant passe (1) ou ne passe pas (0). Nous devons donc utiliser une fonction d\u2019activation pour savoir si le perceptron est activ\u00e9 selon son entr\u00e9e bool\u00e9enne.<\/p>\n [\/et_pb_text][et_pb_image src=”https:\/\/www.editions-eni.fr\/blog\/wp-content\/uploads\/2024\/03\/principe-neurone-artificiel-1.jpg” alt=”principe neurone artificiel” title_text=”principe neurone artificiel” align=”center” _builder_version=”4.9.7″ _module_preset=”default”][\/et_pb_image][et_pb_text _builder_version=”4.9.7″ _module_preset=”default”]<\/p>\n Pour illustrer le fonctionnement d\u2019un perceptron, prenons une fonction d\u2019activation simple\u00a0: un seuil avec la fonction \u00ab\u00a0heaviside\u00a0\u00bb (il en existe bien d\u2019autres mais trop complexes pour un calcul mental).<\/p>\n Un perceptron a une et une seule sortie. Chaque entr\u00e9e du perceptron peut avoir deux valeurs\u00a0: 0 ou 1. Pour correctement configurer notre perceptron, nous ajoutons des poids \u00e0 ces entr\u00e9es compris entre [-1\u00a0;1]. Pour activer le perceptron, c\u2019est-\u00e0-dire obtenir 1 en sortie, il faut que la somme pond\u00e9r\u00e9e des entr\u00e9es soit sup\u00e9rieure ou \u00e9gale au seuil fix\u00e9.<\/p>\n Pour qu\u2019un perceptron puisse apprendre, nous devons lui fournir des donn\u00e9es dont nous connaissons la sortie. Son apprentissage r\u00e9side en la d\u00e9termination de la valeur des poids des entr\u00e9es, le seuil \u00e9tant fix\u00e9.<\/p>\n <\/p>\n Prenons l\u2019exemple le plus simple\u00a0: le NON logique. Cet op\u00e9rateur est unaire donc nous aurons une seule entr\u00e9e. Si cette entr\u00e9e est activ\u00e9e, la sortie doit \u00eatre inactive et vice versa. Fixons notre seuil \u00e0 0. Nous devons trouver un multiplicateur de 1 qui nous donne un chiffre n\u00e9gatif. Nous choisissons donc -1 et cela nous arrange bien car pour l\u2019entr\u00e9e \u00e0 0, nous avons une somme pond\u00e9r\u00e9e nulle donc la sortie du perceptron est activ\u00e9e. Nous avons donc un perceptron qui a appris le NON logique.<\/p>\n [\/et_pb_text][et_pb_image src=”https:\/\/www.editions-eni.fr\/blog\/wp-content\/uploads\/2024\/03\/perceptron.jpg” title_text=”perceptron” align=”center” _builder_version=”4.9.7″ _module_preset=”default”][\/et_pb_image][et_pb_code _builder_version=”4.9.7″ _module_preset=”default”][\/et_pb_code][et_pb_code _builder_version=”4.9.7″ _module_preset=”default”][\/et_pb_code][\/et_pb_column][\/et_pb_row][et_pb_row _builder_version=”4.9.7″ _module_preset=”default”][et_pb_column type=”4_4″ _builder_version=”4.9.7″ _module_preset=”default”][et_pb_text _builder_version=”4.9.7″ _module_preset=”default” min_height=”30.8px”]<\/p>\n [\/et_pb_text][et_pb_text _builder_version=”4.9.7″ _module_preset=”default”]<\/p>\n Un perceptron peut apprendre les op\u00e9rateurs logiques de base mais d\u00e8s que nous arrivons au stade du \u00ab\u00a0OU exclusif\u00a0\u00bb, il ne suffit plus, il faut lier plusieurs perceptrons pour son apprentissage, donc utiliser un perceptron multicouche, i.e. un r\u00e9seau de neurone.<\/p>\n La couche d\u2019entr\u00e9e d\u2019un r\u00e9seau de neurones est constitu\u00e9e d\u2019autant de neurones que d\u2019entr\u00e9es possibles. Par exemple, dans le cas de l\u2019apprentissage de chiffres digitaux, il nous faut 7 entr\u00e9es, un neurone pour chaque barre possible.<\/p>\n La couche de sortie contient autant de neurones que de possibilit\u00e9s. Pour la reconnaissance des chiffres digitaux, il y aura donc na\u00efvement 10 sorties possibles, une par chiffre. Nous pouvons \u00e9galement les r\u00e9duire \u00e0 quatre neurones pour repr\u00e9senter les chiffres en binaire en sortie.<\/p>\n [\/et_pb_text][et_pb_image src=”https:\/\/www.editions-eni.fr\/blog\/wp-content\/uploads\/2024\/03\/neurones-digitaux.jpg” alt=”sch\u00e9ma neurones digitaux” title_text=”sch\u00e9ma neurones digitaux” align=”center” _builder_version=”4.9.7″ _module_preset=”default”][\/et_pb_image][et_pb_text _builder_version=”4.9.7″ _module_preset=”default”]<\/p>\n Nous remarquons que la structure utilis\u00e9e pour le r\u00e9seau de neurone est bien un graphe orient\u00e9. Les neurones sont les sommets de ce graphe et les connexions entre eux les arr\u00eates. Impl\u00e9menter un graphe quelconque rel\u00e8ve d\u2019une difficult\u00e9 largement plus grande qu\u2019impl\u00e9menter une liste ou un arbre. En effet, il n\u2019y a aucune r\u00e8gle sur les connexions des sommets, n\u2019importe quel sommet peut \u00eatre connect\u00e9 \u00e0 un autre.<\/p>\n Maintenant nous allons mod\u00e9liser un r\u00e9seau pour classifier des images avec l\u2019exemple p\u00e9dagogique, donc simple, fashion minst.<\/p>\n [\/et_pb_text][et_pb_image src=”https:\/\/www.editions-eni.fr\/blog\/wp-content\/uploads\/2024\/03\/image-vetements.jpg” alt=”image de v\u00eatements” title_text=”image de v\u00eatements” align=”center” _builder_version=”4.9.7″ _module_preset=”default”][\/et_pb_image][et_pb_text _builder_version=”4.9.7″ _module_preset=”default”]<\/p>\n Les images ont 28 pixels de hauteur et de largeur, ce qui nous fait donc 784 neurones<\/strong> d\u2019entr\u00e9es. Les donn\u00e9es permettent de trier les images en 10 classes, donc 10 neurones<\/strong> en sortie. Passer directement de 900 neurones \u00e0 10 est un peu abrupt et tr\u00e8s compliqu\u00e9 pour trouver les bons poids\u2026<\/p>\n En effet, pour d\u00e9terminer les poids de chaque neurone, le r\u00e9seau va parcourir chaque donn\u00e9e d\u2019entrainement, les unes apr\u00e8s les autres, et ce tant que les poids des neurones ne sont pas bien calibr\u00e9s.<\/p>\n [\/et_pb_text][et_pb_image src=”https:\/\/preprod.editions-eni.fr\/blog\/wp-content\/uploads\/2024\/03\/reseau-poids-neurone.webp” alt=”poids neurone dans le r\u00e9seau” title_text=”poids neurone dans le r\u00e9seau” align=”center” _builder_version=”4.9.7″ _module_preset=”default”][\/et_pb_image][et_pb_text _builder_version=”4.9.7″ _module_preset=”default”]<\/p>\n Le calcul de l\u2019erreur revient \u00e0 faire une estimation de la d\u00e9viation des poids pour obtenir les sorties attendues. Sa diffusion au sein du r\u00e9seau est appel\u00e9e la r\u00e9tropropagation du gradient <\/strong>qui oblige un parcours du graphe en sens inverse de son orientation de base, l\u2019information devant \u00eatre diffus\u00e9e des sorties vers les entr\u00e9es et non plus en sens inverse.<\/p>\n Ici je ne fais que vulgariser les structures de donn\u00e9es et les algorithmes impl\u00e9ment\u00e9s. Juste avec ces \u00e9l\u00e9ments, vous devez commencer \u00e0 entrevoir la complexit\u00e9 des r\u00e9seaux de neurones\u00a0!<\/p>\n Revenons \u00e0 nos images. Il nous faut donc utiliser des couches cach\u00e9es dans notre r\u00e9seau, sans quoi nous avons beaucoup de chance que notre r\u00e9seau n\u2019arrive jamais \u00e0 trouver un bon gradient.<\/p>\n Il n\u2019existe pas vraiment de lois math\u00e9matiques pour d\u00e9terminer le nombre de couches cach\u00e9es, ni leur nombre de neurone. Il faut faire en sorte de repr\u00e9senter un entonnoir entre la couche d\u2019entr\u00e9e et la couche de sortie.<\/p>\n Avec un r\u00e9seau assez simple en connexions locales, nous avons besoin de deux couches cach\u00e9es : la premi\u00e8re de 300 neurones ayant 784 entr\u00e9es chacun et la deuxi\u00e8me de 100 neurones ayant 300 entr\u00e9es chacun. Et finalement une couche de sortie avec 10 neurones poss\u00e9dant donc 100 entr\u00e9es chaque. Soit un graphe de 1194 sommets et 30 235 200 arr\u00eates<\/strong> juste pour apprendre des petites images pix\u00e9lis\u00e9es\u2026<\/p>\n [\/et_pb_text][et_pb_image src=”https:\/\/preprod.editions-eni.fr\/blog\/wp-content\/uploads\/2024\/03\/arbre-neurones.webp” alt=”arbre de neurones” title_text=”arbre de neurones” align=”center” _builder_version=”4.9.7″ _module_preset=”default”][\/et_pb_image][et_pb_text _builder_version=”4.9.7″ _module_preset=”default”]<\/p>\n D\u00e8s que nous d\u00e9passons le r\u00e9seau de neurones en connexions locales avec les r\u00e9seaux r\u00e9currents (RNN) ou encore les convolutifs (CNN), nous ne sommes plus sur un graphe simple mais sur un graphe complexe qui contient des boucles, les connexions entre les neurones n\u2019\u00e9tant plus seulement entre deux couches. Cela complexifie encore plus l\u2019impl\u00e9mentation, les calculs et la r\u00e9tropropagation de l\u2019erreur. Je vous laisse imaginer la complexit\u00e9 d\u2019un tel code\u2026<\/p>\n Il nous faut applaudir les d\u00e9veloppeurs de ces frameworks qui arrivent \u00e0 g\u00e9n\u00e9rer de tels graphes de mani\u00e8re totalement g\u00e9n\u00e9rique avec diff\u00e9rents types de r\u00e9seau, diff\u00e9rentes fonctions d\u2019activation, diff\u00e9rentes types de couches, diff\u00e9rentes m\u00e9triques et j\u2019en passe. Chapeau bas\u00a0!<\/p>\n Cependant seront-ils encore capables de d\u00e9velopper avec une telle qualit\u00e9 les r\u00e9seaux de demain\u00a0?<\/p>\n [\/et_pb_text][et_pb_text _builder_version=”4.9.7″ _module_preset=”default”]<\/p>\n Nous entrevoyons donc la complexit\u00e9 algorithmique des r\u00e9seaux de neurones pour leur apprentissage, sans parler des soucis de m\u00e9moire disque pour les donn\u00e9es d\u2019apprentissage. Comme il y a un d\u00e9calage entre la mod\u00e9lisation et l\u2019impl\u00e9mentation des r\u00e9seaux de neurones, il en va de m\u00eame pour les futures \u00e9volutions du Machine Learning. Une mod\u00e9lisation con\u00e7ue d\u00e9but 2000 commence \u00e0 \u00eatre impl\u00e9ment\u00e9e : les r\u00e9seaux de neurones liquides. Ce type de r\u00e9seau demande moins de neurones, donc moins de calculs, et sera peut-\u00eatre le futur du Machine Learning. Leur point fort repose sur des \u00e9quations diff\u00e9rentielles qui peuvent \u00eatre modifi\u00e9es en temps r\u00e9el apr\u00e8s l\u2019apprentissage. Tout en gardant les neurones connect\u00e9s, ces r\u00e9seaux sont \u00e9galement moins rigides sur ces connexions car elles sont al\u00e9atoires. L\u2019algorithmie et le th\u00e9orie des graphes seront toujours au c\u0153ur des r\u00e9seaux de demain, un r\u00e9seau \u00e9tant forc\u00e9ment un graphe !<\/p>\n [\/et_pb_text][\/et_pb_column][\/et_pb_row][et_pb_row _builder_version=”4.9.7″ _module_preset=”default”][et_pb_column type=”4_4″ _builder_version=”4.9.7″ _module_preset=”default”][et_pb_text _builder_version=”4.9.7″ _module_preset=”default” box_shadow_style=”preset1″]<\/p>\n Si vous voulez en savoir plus sur le sujet, consultez le dernier livre de Ludivine Cr\u00e9pin, <\/a><\/strong>[\/et_pb_text][et_pb_text _builder_version=”4.9.7″ _module_preset=”default” box_shadow_style=”preset1″]<\/p>\nUn peu d\u2019histoire<\/strong><\/h2>\n
\nTechniques fondamentales de programmation” title_text=”Livre Algorithmique – Techniques fondamentales de programmation” url=”https:\/\/www.editions-eni.fr\/livre\/algorithmique-techniques-fondamentales-de-programmation-exemples-en-python-nombreux-exercices-corriges-bts-dut-informatique-nouvelle-edition-9782409041846″ url_new_window=”on” align=”center” _builder_version=”4.9.7″ _module_preset=”default”][\/et_pb_image][et_pb_text _builder_version=”4.9.7″ _module_preset=”default”]<\/p>\nDu neurone humain au perceptron<\/strong><\/h2>\n
Du perceptron au r\u00e9seau de neurone<\/h2>\n
Et demain\u00a0?<\/strong><\/h2>\n