[et_pb_section fb_built=”1″ _builder_version=”4.16″ _module_preset=”default” locked=”off” global_colors_info=”{}”][et_pb_row _builder_version=”4.16″ _module_preset=”default” global_colors_info=”{}”][et_pb_column type=”4_4″ _builder_version=”4.16″ _module_preset=”default” global_colors_info=”{}”][et_pb_text _builder_version=”4.24.2″ _module_preset=”default” global_colors_info=”{}”]<\/p>\n
Le deep learning a r\u00e9volutionn\u00e9 le monde du traitement d’images. Dans de nombreux cas, les performances atteintes sont proches de celles d’un \u00eatre humain. Les cas d\u2019\u00e9chec existent cependant, et ils permettent d\u2019apporter un \u00e9clairage sur la mani\u00e8re dont ces mod\u00e8les fonctionnent.<\/strong><\/p>\n Etudions trois d\u2019entre eux pour voir ce qu\u2019ils nous r\u00e9v\u00e8lent sur les rouages internes des mod\u00e8les de deep learning, et sur leurs limitations<\/strong>.<\/p>\n Par Daphn\u00e9 Wallach, ing\u00e9nieure, doctoresse en Intelligence artificielle et autrice aux Editions ENI<\/a><\/em><\/p>\n [\/et_pb_text][et_pb_text _builder_version=”4.24.2″ _module_preset=”default” global_colors_info=”{}”]<\/p>\n Octobre 2020. Une \u00e9quipe de football \u00e9cossaise utilise une cam\u00e9ra \u00e9quip\u00e9e d\u2019un mod\u00e8le d\u2019intelligence artificielle pour filmer de mani\u00e8re autonome son match\u00a0; le mod\u00e8le d\u2019intelligence artificielle embarqu\u00e9 dans la cam\u00e9ra lui permet th\u00e9oriquement de suivre le ballon automatiquement.<\/p>\n Malheureusement, la cam\u00e9ra se fixe obstin\u00e9ment sur le cr\u00e2ne ras\u00e9 de l\u2019arbitre de touche, le confondant avec le ballon.<\/p>\n [\/et_pb_text][et_pb_image src=”https:\/\/www.editions-eni.fr\/blog\/wp-content\/uploads\/2024\/04\/arbitre-touche.webp” alt=”arbitre de touche” title_text=”arbitre de touche” url_new_window=”on” align=”center” _builder_version=”4.9.7″ _module_preset=”default” hover_enabled=”0″ global_colors_info=”{}” sticky_enabled=”0″][\/et_pb_image][et_pb_text _builder_version=”4.24.2″ _module_preset=”default” global_colors_info=”{}”]<\/p>\n Mettons-nous un instant \u00e0 la place du mod\u00e8le\u00a0: pour lui, ce cr\u00e2ne ras\u00e9 ressemble \u00e0 s\u2019y m\u00e9prendre \u00e0 ce qu\u2019il a appris \u00e0 reconna\u00eetre comme un ballon de football. Tous deux sont des objets sph\u00e9riques, majoritairement blancs, et qui se d\u00e9placent sur un fond de couleur verte.<\/p>\n Si ce mod\u00e8le avait vu plus de personnes avec le cr\u00e2ne ras\u00e9, cependant, il aurait appris \u00e0 reconna\u00eetre les diff\u00e9rences entre les deux. Par exemple, un cr\u00e2ne ras\u00e9 est syst\u00e9matiquement plac\u00e9 directement au-dessus d\u2019un torse humain, ce qui n\u2019est que rarement le cas d\u2019un ballon. Un ballon de football pr\u00e9sente parfois des pentagones noirs, ce qui n\u2019est jamais le cas d\u2019un cr\u00e2ne ras\u00e9. Un ballon entre parfois en collision avec un pied, ce qui n\u2019est, esp\u00e9rons-le, que tr\u00e8s rarement le cas d\u2019un cr\u00e2ne\u00a0!<\/p>\n Cette erreur n\u2019est donc pas inh\u00e9rente au deep learning\u00a0: elle est due au fait que le mod\u00e8le n\u2019a pas vu suffisamment de cr\u00e2nes ras\u00e9s pour apprendre \u00e0 les distinguer des ballons de football, et aurait pu \u00eatre \u00e9vit\u00e9e avec un jeu de donn\u00e9es plus ad\u00e9quat.<\/strong><\/p>\n [\/et_pb_text][et_pb_text _builder_version=”4.24.2″ _module_preset=”default” global_colors_info=”{}”]<\/p>\n En 2016, Amazon Web Services commercialise Rekognition, son outil de reconnaissance faciale, \u00e0 plusieurs agences des forces de l’ordre aux Etats-Unis.<\/p>\n En 2018, suite \u00e0 plusieurs controverses sur la pr\u00e9cision de cet outil, l\u2019American Civil Liberties Union (l\u2019ACLU, une organisation \u00e0 but non lucratif am\u00e9ricaine) r\u00e9alise des tests<\/a>\u00a0: les photographies des 533 membres du Congr\u00e8s des \u00c9tats-Unis sont compar\u00e9s \u00e0 une base de donn\u00e9es compos\u00e9e de 25 000 images de personnes ayant \u00e9t\u00e9 arr\u00eat\u00e9es.<\/p>\n Premi\u00e8re surprise, 28 membres du Congr\u00e8s sont identifi\u00e9s comme correspondant \u00e0 une de ces personnes, soit un taux d\u2019erreur de plus de 5%.<\/p>\n Pire, parmi ces 28 erreurs, 39% (soit 11 personnes) sont des personnes racis\u00e9es, alors qu\u2019elles ne repr\u00e9sentent que 20 % de l\u2019ensemble des membres du Congr\u00e8s. Le taux d\u2019erreur de Rekognition sur ces personnes est donc de plus de 10%.<\/p>\n [\/et_pb_text][et_pb_image src=”https:\/\/www.editions-eni.fr\/blog\/wp-content\/uploads\/2024\/04\/test-alcu.webp” alt=”Test de l alcu” title_text=”Test de l alcu” align=”center” _builder_version=”4.24.2″ _module_preset=”default” global_colors_info=”{}”][\/et_pb_image][et_pb_text _builder_version=”4.24.2″ _module_preset=”default” global_colors_info=”{}”]<\/p>\n Ces r\u00e9sultats confirment ceux d\u2019une \u00e9tude acad\u00e9mique publi\u00e9e (en anglais) la m\u00eame ann\u00e9e, et d\u00e9montrant que les algorithmes de reconnaissance faciale sont moins fiables pour les personnes racis\u00e9es que pour les personnes non racis\u00e9es<\/a>, et moins fiables pour les femmes racis\u00e9es que pour toute autre cat\u00e9gorie de personnes.<\/p>\n Comme pour le cr\u00e2ne de l\u2019arbitre confondu avec le ballon de football de l\u2019exemple pr\u00e9c\u00e9dent, ceci signifie que ces mod\u00e8les ont \u00e9t\u00e9 entra\u00een\u00e9s avec des jeux de donn\u00e9es insuffisamment vari\u00e9s.<\/p>\n Rappelons qu\u2019au moment de la publication de ces r\u00e9sultats, Rekognition (ainsi que d\u2019autres logiciels de reconnaissance faciale commercialis\u00e9s par Microsoft et IBM) \u00e9tait d\u00e9j\u00e0 utilis\u00e9 depuis deux ans par les forces de l\u2019ordre de plusieurs villes aux Etats-Unis.<\/p>\n Autrement dit, ces entreprises ont mis ces mod\u00e8les sur le march\u00e9, et les autorit\u00e9s les ont utilis\u00e9s, sans que quiconque n\u2019ait v\u00e9rifi\u00e9 s\u00e9rieusement leurs performances<\/em>.<\/p>\n Suite aux nombreuses controverses, Amazon, Microsoft et IBM ont interdit \u2013 d\u2019abord temporairement, puis de mani\u00e8re plus durable \u2013 l\u2019achat de leur logiciel pour les d\u00e9partements de police.<\/p>\n Cet exemple illustre \u00e0 quel point il est indispensable de tester les mod\u00e8les de mani\u00e8re exhaustive avant de les mettre sur le march\u00e9<\/strong>.<\/p>\n [\/et_pb_text][et_pb_code _builder_version=”4.16″ _module_preset=”default” global_colors_info=”{}”][\/et_pb_code][et_pb_code _builder_version=”4.16″ _module_preset=”default” global_colors_info=”{}”][\/et_pb_code][\/et_pb_column][\/et_pb_row][et_pb_row _builder_version=”4.16″ _module_preset=”default” global_colors_info=”{}”][et_pb_column type=”4_4″ _builder_version=”4.16″ _module_preset=”default” global_colors_info=”{}”][et_pb_text _builder_version=”4.24.2″ _module_preset=”default” min_height=”30.8px” global_colors_info=”{}”]<\/p>\n [\/et_pb_text][et_pb_text _builder_version=”4.24.2″ _module_preset=”default” global_colors_info=”{}”]<\/p>\n Les mod\u00e8les de deep learning sont entra\u00een\u00e9s sur de grands jeux de donn\u00e9es. Il est difficile de constituer un jeu ad\u00e9quat\u00a0: il doit contenir \u00e9norm\u00e9ment d\u2019images, celles-ci doivent \u00eatre vari\u00e9es, et les annotations associ\u00e9es doivent \u00eatre fiables. Les annotations repr\u00e9sentent la \u00ab\u00a0v\u00e9rit\u00e9 terrain\u00a0\u00bb que le mod\u00e8le cherche \u00e0 retrouver.<\/p>\n Pour cette raison, il est courant d\u2019entra\u00eener des mod\u00e8les sur des jeux de donn\u00e9es publics. C\u2019est d\u2019ailleurs \u00e0 la publication du premier jeu public de tr\u00e8s grande envergure, ImageNet, qu\u2019est souvent attribu\u00e9 l\u2019essor du deep learning.<\/p>\n Ces derni\u00e8res ann\u00e9es, des inqui\u00e9tudes ont \u00e9merg\u00e9 au sujet de ces jeux de donn\u00e9es publics.<\/strong> Etaient-ils suffisamment vari\u00e9s\u00a0? Dans le cas contraire, leur utilisation risquait de donner des mod\u00e8les aux performances d\u00e9grad\u00e9es pour certaines cat\u00e9gories, comme les mod\u00e8les de reconnaissance de visage ou le mod\u00e8le de suivi de ballon de football d\u00e9crits dans les paragraphes pr\u00e9c\u00e9dents. Pr\u00e9sentaient-ils d\u2019autres biais, pouvant affecter la pr\u00e9cision des mod\u00e8les les utilisant ?<\/p>\n C\u2019est dans ce contexte qu\u2019en 2017, un groupe de chercheuses et chercheurs publie un article \u00e9tudiant les biais de genre dans plusieurs jeux de donn\u00e9es couramment utilis\u00e9s<\/a>, et l\u2019effet de ces biais sur les mod\u00e8les.<\/p>\n Pour cela, deux jeux de donn\u00e9es ont \u00e9t\u00e9 \u00e9tudi\u00e9s.<\/p>\n Le premier, imSitu, est un ensemble de plus de 120\u00a0000 images, chacune associ\u00e9e \u00e0 une description de l\u2019activit\u00e9 repr\u00e9sent\u00e9e dans l\u2019image. Il est utilis\u00e9 pour entra\u00eener des mod\u00e8les pouvant d\u00e9crire en d\u00e9tail l\u2019activit\u00e9 repr\u00e9sent\u00e9e dans une image. \u00a0<\/p>\n [\/et_pb_text][et_pb_image src=”https:\/\/www.editions-eni.fr\/blog\/wp-content\/uploads\/2024\/04\/im-situ.webp” alt=”Six images de imSitu, et les annotations associ\u00e9es.” title_text=”Six images de imSitu, et les annotations associ\u00e9es.” align=”center” _builder_version=”4.24.2″ _module_preset=”default” global_colors_info=”{}”][\/et_pb_image][et_pb_text _builder_version=”4.24.2″ _module_preset=”default” global_colors_info=”{}”]<\/p>\n Le second, MS-COCO, contient 328\u00a0000 images, chacune associ\u00e9e au contour des objets pr\u00e9sents dans cette image. Il est utilis\u00e9 pour l\u2019entra\u00eenement de mod\u00e8les de classification et de segmentation.<\/p>\n [\/et_pb_text][et_pb_image src=”https:\/\/www.editions-eni.fr\/blog\/wp-content\/uploads\/2024\/04\/ms-coco.webp” alt=”Dix-huit images de MS-COCO, et les annotations associ\u00e9es” title_text=”Dix-huit images de MS-COCO, et les annotations associ\u00e9es” align=”center” _builder_version=”4.24.2″ _module_preset=”default” global_colors_info=”{}”][\/et_pb_image][et_pb_text _builder_version=”4.24.2″ _module_preset=”default” global_colors_info=”{}”]<\/p>\n Cet article a d\u00e9montr\u00e9 qu\u2019une grande proportion des activit\u00e9s et objets pr\u00e9sents dans ces deux jeux de donn\u00e9es est fortement li\u00e9e \u00e0 un genre plut\u00f4t qu\u2019\u00e0 un autre.<\/p>\n Ainsi, les images li\u00e9es aux activit\u00e9s \u00ab\u00a0cuisiner\u00a0\u00bb, \u00ab\u00a0laver\u00a0\u00bb et \u00ab\u00a0faire les courses\u00a0\u00bb dans imSitu repr\u00e9sentent tr\u00e8s majoritairement des femmes. Les activit\u00e9s \u00ab\u00a0conduire\u00a0\u00bb, \u00ab\u00a0tirer un coup de fusil\u00a0\u00bb et \u00ab\u00a0mener\u00a0\u00bb repr\u00e9sentent tr\u00e8s majoritairement des hommes. De plus, la majorit\u00e9 des images repr\u00e9sentent des hommes.<\/p>\n Les images de MS-COCO repr\u00e9sentent elles aussi majoritairement des hommes. Et, comme les activit\u00e9s dans imSitu, plusieurs objets sont fortement li\u00e9s \u00e0 un genre plut\u00f4t qu\u2019un autre. Les objets utilis\u00e9s en cuisine, comme \u00ab\u00a0couteau\u00a0\u00bb, \u00ab\u00a0fourchette\u00a0\u00bb, et \u00ab\u00a0cuill\u00e8re\u00a0\u00bb, sont plus fr\u00e9quemment associ\u00e9s \u00e0 des femmes. Les objets de loisir, comme \u00ab\u00a0raquette de tennis\u00a0\u00bb, \u00ab\u00a0bateau\u00a0\u00bb, ou \u00ab\u00a0snowboard\u00a0\u00bb, sont majoritairement associ\u00e9s \u00e0 des hommes.<\/p>\n Plus grave encore, cette \u00e9tude a montr\u00e9 que ces biais \u00e9taient amplifi\u00e9s par les mod\u00e8les. <\/strong><\/p>\n Ainsi, un mod\u00e8le entra\u00een\u00e9 sur imSitu pr\u00e9dit plus fr\u00e9quemment qu\u2019une personne en train de cuisiner est une femme, plut\u00f4t qu\u2019un homme. Dans les donn\u00e9es d\u2019entra\u00eenement, en effet, il y a 33% plus de femmes que d’hommes dans des images relatives \u00e0 la cuisine. Cependant, le mod\u00e8le pr\u00e9dit 68% plus fr\u00e9quemment que cette personne est une femme plut\u00f4t qu’un homme.<\/p>\n Pendant l\u2019entra\u00eenement, les mod\u00e8les de deep learning s’appuient g\u00e9n\u00e9ralement sur le contexte pour am\u00e9liorer leur pr\u00e9diction moyenne. Pour d\u00e9tecter si une personne est un homme ou une femme, par exemple, si le visage est trop petit dans l’image, alors regarder les objets plac\u00e9s autour de la personne est certainement plus fiable. C\u2019est ainsi que les biais pr\u00e9sents dans les images sont non seulement propag\u00e9s, mais amplifi\u00e9s, dans les mod\u00e8les entra\u00een\u00e9s.<\/p>\n Cette amplification des biais a \u00e9t\u00e9 retrouv\u00e9e pour toutes les activit\u00e9s et tous les objets des deux jeux de donn\u00e9es.<\/p>\n Ainsi, si vous entra\u00eenez un mod\u00e8le sur un jeu de donn\u00e9es public, votre mod\u00e8le souffrira tr\u00e8s probablement de biais. Il vous appartient donc de tester ses performances de mani\u00e8re exhaustive, afin de v\u00e9rifier si ce biais est probl\u00e9matique pour votre application.<\/p>\n [\/et_pb_text][\/et_pb_column][\/et_pb_row][et_pb_row _builder_version=”4.16″ _module_preset=”default” global_colors_info=”{}”][et_pb_column type=”4_4″ _builder_version=”4.16″ _module_preset=”default” global_colors_info=”{}”][et_pb_text _builder_version=”4.24.2″ _module_preset=”default” box_shadow_style=”preset1″ global_colors_info=”{}”]<\/p>\nUne cam\u00e9ra intelligente confond le ballon de foot qu\u2019elle doit suivre avec le cr\u00e2ne ras\u00e9 de l\u2019arbitre<\/strong><\/h2>\n
L\u2019algorithme de reconnaissance faciale d\u2019Amazon est tr\u00e8s performant\u2026 sauf pour les personnes racis\u00e9es<\/h2>\n
Les mod\u00e8les de classification amplifient le biais pr\u00e9sent dans les donn\u00e9es d\u2019entra\u00eenement<\/h2>\n