Révolution de modèles d'apprentissage profond en traitement d'images
Structure du livre
Langue utilisée pour les termes techniques

Intelligence artificielle et apprentissage profond

Objectifs du chapitre
Définitions de l'intelligence artificielle, apprentissage automatique et apprentissage profond
1. 1. Intelligence artificielle
2. 2. Apprentissage automatique
3. 3. Apprentissage profond
Fonctionnement général d'un modèle d'apprentissage
1. 1. Processus d’apprentissage et ingrédients
2. 2. Processus général de résolutiond’un problème en apprentissage profond
3. 3. Types de problèmes en traitement d’images
Bref historique de l’intelligence artificielle et de l'apprentissage profond
1. 1. Naissance de l’intelligence artificielle
2. 2. Apprentissage automatique
3. 3. Grandes ruptures de 2011
Promesses, limites et risques
1. 1. Apports de l’intelligence artificielle pour le traitement d’images
2. 2. Limites et risques de l’intelligence artificielle
  1. a. Vision idéalisée des prouesses possibles
  2. b. Bonnes pratiques souvent peu connues et appliquées
  3. c. Généralisabilité limitée
  4. d. Performances limitées par les donnéesd’entraînement
3. 3. Questions éthiques
4. 4. Impact carbone et consommation d’eau
Conclusion

Outils indispensables à la pratique

Objectifs de ce chapitre
Ordinateurs et cartes graphiques
1. 1. GPU et CPU
2. 2. Taille de la mémoire vive
3. 3. Investir dans un ordinateur performant ou réalisertous les calculs sur des plateformes déportées ?
Jeux de données ouverts
1. 1. Fondamentaux d’un jeu de données d’entraînement
2. 2. Avantages d’utiliser un jeu de données ouvert
3. 3. Ensembles de référence
  1. a. Iris
  2. b. MNIST
  3. c. CIFAR-10
  4. d. Cats vs dogs
  5. e. ImageNet
  6. f. COCO
4. 4. Où trouver d’autres ensembles de données ?
Langages, librairies et frameworks
1. 1. Python
2. 2. Librairies spécifiques
3. 3. Frameworks pour l’apprentissage profond
4. 4. TensorFlow, Keras et TensorBoard
  1. a. Keras
  2. b. TensorBoard
5. 5. Jupyter notebook et Google Colab
  1. a. Jupyter notebook
  2. b. Google Colab
Comment utiliser les exemples de ce livre ?
1. 1. Ouvrir les exemples de ce livre dans Google Colab
2. 2. Ouvrir les exemples de ce livre localement
  1. a. Récupérer le code
  2. b. S’assurer que Python est installé, l’installerle cas échéant
  3. c. Créer un environnement virtuel
  4. d. Activer l’environnement virtuel
  5. e. Installer Jupyter Notebook
  6. f. Installer TensorFlow
  7. g. Ouvrir et exécuter un notebook
Conclusion

Classifieurs linéaires

Objectifs du chapitre
Vocabulaire et notations
1. 1. Étiquettes
2. 2. Caractéristiques
3. 3. Exemples
4. 4. Modèle
Modèle paramétrique du classifieur linéaire
1. 1. Définition du modèle
2. 2. Interprétation d’un classifieurlinéaire comme une mise en correspondance avec un motif
3. 3. Interprétation d’un classifieurlinéaire comme un ensemble de plans de séparation
Étapes de l’entraînement
Séparation des données
1. 1. Principe
2. 2. Proportions
3. 3. Validation croisée
4. 4. Types de séparation
  1. a. Séparation aléatoire
  2. b. Séparation stratifiée
  3. c. Séparation groupée
5. 5. Mise en œuvre de la séparation desdonnées avec la bibliothèque scikit-learn
  1. a. Validation croisée
  2. b. Séparation aléatoire
  3. c. Séparation stratifiée
  4. d. Séparation groupée
Optimisation des paramètres
1. 1. Fonction-coût
  1. a. Erreur quadratique moyenne
  2. b. Softmax et entropie croisée
  3. c. Entropie croisée binaire
2. 2. Descente de gradient
  1. a. Définition
  2. b. Descente de gradient stochastique et par lots
Métriques permettant d'évaluer un modèle de classification
1. 1. Classification binaire
  1. a. Matrice de confusion
  2. b. Justesse
  3. c. Sensibilité et spécificité,précision et rappel
  4. d. Score F1
  5. e. Courbe précision-rappel
  6. f. Courbe ROC
2. 2. Classification multiclasse
De l’apprentissage automatique aux réseaux de neurones
1. 1. Sélection automatique des caractéristiques
2. 2. Ajout de non-linéarité
Exemple pratique : entraîner un classifieur linéaire à distinguer les chats des chiens
Conclusion

Réseaux de neurones profonds

Objectifs du chapitre et prérequis
Neurone formel
1. 1. Définition du neurone formel
2. 2. Neurone formel comme la généralisationdes classifieurs linéaires
3. 3. Neurone formel comme la modélisation d’unneurone biologique
Réseaux de neurones profonds
1. 1. Fonctionnement d’un réseau de neurones profond
2. 2. Intérêt des réseaux deneurones profonds
3. 3. Spécifier un réseau de neuronesdans Keras
Étapes de l'apprentissage des réseaux de neurones profonds
Optimisation des poids
1. 1. Descente de gradient
2. 2. Calcul du gradient
3. 3. Descente de gradient par rétropropagation
4. 4. Inconvénients de la descente de gradient
5. 5. Variantes de la descente de gradient
  1. a. Descente de gradient avec inertie
  2. b. AdaGrad
  3. c. RMSProp
  4. d. ADAM
6. 6. Optimiser les poids dans TensorFlow avec Keras
  1. a. Compilation du modèle
  2. b. Entraînement du modèle
  3. c. Surveiller le processus d’entraînement avecTensorBoard
Fonctions d’activation
1. 1. Caractéristiques des fonctions d’activation
2. 2. Fonctions d’activation courantes
3. 3. Spécifier une fonction d’activation dansKeras
Surapprentissage
1. 1. Définition
2. 2. Détection du surapprentissage par visualisationde la courbe d’apprentissage
3. 3. Quatre pistes pour limiter le surapprentissage
  1. a. Augmentation de la quantité de données
  2. b. Diminution de la complexité du modèle
  3. c. Interruption prématurée de l’entraînement
  4. d. Extinction de neurones
Sélection des hyperparamètres
1. 1. Différents types d’hyperparamètres
2. 2. Ordre et stratégie de sélectiondes hyperparamètres
3. 3. Sélection du taux d’apprentissage
  1. a. Diagnostic du taux d’apprentissage d’aprèsla courbe d’apprentissage
  2. b. Stratégie de sélection du taux d’apprentissage
  3. c. Décroissance du taux d’apprentissage
4. 4. Sélection des hyperparamètres enpratique
5. 5. Sélection automatique des hyperparamètres
De la création à l'entraînement d'un réseau de neurones profond avec Keras
Conclusion

Réseaux de neurones à convolution

Objectifs du chapitre et prérequis
Motivation, historique et applications des réseaux de neurones à convolution
1. 1. Motivation
2. 2. Historique
  1. a. Structure inspirée par le fonctionnementdu cortex visuel
  2. b. Du premier réseau aux réseaux deneurones modernes
  3. c. Réseaux modernes
Fonctionnement détaillé de chaque type de couche
1. 1. Architecture générale d’un réseaude neurones à convolution
2. 2. Couches de convolution
  1. a. Fonctionnement d’un filtre de convolution
  2. b. Signification de la convolution
  3. c. Valeurs aux bords
  4. d. Images couleur
  5. e. Définition du pas d’un filtre de convolution
  6. f. Organisation des filtres de convolution dans la couchede convolution
  7. g. Ajouter une couche de convolution à un modèleséquentiel dans Keras
  8. h. Couche de convolution en résumé
3. 3. Couche d’activation
  1. a. Principe
  2. b. Ajouter une couche d’activation à un modèleséquentiel dans Keras
4. 4. Couches d’agrégation
  1. a. Principe
  2. b. Ajouter une couche d’agrégation à unmodèle séquentiel dans Keras
5. 5. Couche d’extinction de neurones
  1. a. Principe
  2. b. Ajouter une couche d’extinction de neurones dans Keras
6. 6. Couche de normalisation par lots
  1. a. Principe
  2. b. Ajouter une couche de normalisation par lots dans Keras
7. 7. Couche complètement connectée
  1. a. Principe
  2. b. Ajouter une couche complètement connectéedans Keras
8. 8. Résumé des différents typesde couches
9. 9. Architecture classique d’un réseaude neurones
10. 10. Interprétation d’un réseau convolutionnel
Étapes de l'apprentissage des réseaux de neurones convolutionnels
Sélection des hyperparamètres
1. 1. Liste des hyperparamètres et stratégiede sélection
2. 2. Choix de la structure du réseau
  1. a. Facteur de sous-échantillonnage et nombrede couches
  2. b. Taille des filtres
3. 3. Choix de la taille de lot
Prétraitement des images
1. 1. Augmentation de données
2. 2. Normalisation
Mise en pratique : créer et entraîner un réseau de neurones avec Tensorflow et Keras
Conclusion

Bonnes pratiques pour l'entraînement

But du chapitre et prérequis
Objectifs des bonnes pratiques
Améliorer la performance
1. 1. Avant toute chose, définir la performancenécessaire
2. 2. Tour d’horizon des actions à mener lorsquele réseau ne présente pas les performances attendues
3. 3. Vérification de l’implémentation :bonnes pratiques et surapprentissage programmé
4. 4. Gestion des classes déséquilibrées
5. 5. Surveiller et limiter le surapprentissage
6. 6. Utiliser des ensembles de modèles
7. 7. Comment choisir le réseau le plus performant?
Encourager la généralisabilité
Assurer la reproductibilité de l'entraînement
Limiter le biais
1. 1. Définition et origine des biais
2. 2. Des jeux de données biaisés pardéfaut
3. 3. Une amplification des biais présents dansles données d’entraînement
4. 4. Anticiper les biais éventuels
5. 5. Limiter les biais anticipés avant l’entraînement
6. 6. Détecter et corriger les biais éventuelsdu modèle entraîné
7. 7. Comment faire s’il est impossible de construire unjeu de données non biaisé ?
Impact carbone et consommation d'eau de l'apprentissage profond
1. 1. Impact grandissant
2. 2. Questionner l’utilité du modèleavant son développement, et à chaque étape
3. 3. Limiter la consommation électrique
4. 4. Sensibiliser les protagonistes à l’impactcarbone de l’apprentissage profond
Conclusion

Adapter un réseau existant

Objectifs du chapitre et prérequis
Apprentissage par transfert
1. 1. Principe et motivation
2. 2. Fonctionnement détaillé
3. 3. Où trouver des modèles pré-entraînés ?
4. 4. Comment choisir quel modèle utiliser ?
  1. a. Deux critères de choix : la complexité etla précision
  2. b. Sources d’informations pour la complexité etla performance sur le jeu de données original
Réseaux classiques
1. 1. AlexNet
  1. a. Architecture
  2. b. Amélioration des performances d’AlexNet :augmentation de données et ensemble de modèles
2. 2. VGG
  1. a. Réseaux plus profonds
  2. b. Architecture de VGG
  3. c. Différences entre AlexNet et VGG et motivations
3. 3. GoogLeNet
  1. a. Présentation générale
  2. b. Module d’inception
  3. c. Agrégation par moyennage global
  4. d. Classifieurs auxiliaires
  5. e. Architecture globale
  6. f. Autres versions
4. 4. ResNet
  1. a. Révolution de la profondeur
  2. b. Connexions résiduelles
  3. c. Architecture de ResNet
  4. d. InceptionResNet
  5. e. DenseNet
5. 5. EfficientNet
  1. a. Présentation générale
  2. b. Mise à l’échelle combinée
  3. c. Blocs résiduels inversés
  4. d. Architecture d’EfficientNet-B0
6. 6. Comparaison des performances
Exercice pratique : améliorer notre classifieur de chats et chiens
Conclusion

Détection

But du chapitre et prérequis
Définition de la détection et spécificités
1. 1. Définition de la détection
2. 2. Apport de l’apprentissage profond pour la détection
3. 3. Spécificités de la détection
Métriques de la détection
1. 1. Indice de Jaccard
2. 2. Vrais et faux positifs, faux négatifs
3. 3. Précision, rappel et score F1
4. 4. Courbe de rappel de précision et moyennede la précision moyenne
5. 5. Images par seconde
6. 6. Résumé des métriques dela détection
Ingrédients généraux des réseaux de détection
1. 1. Localisation et classification
2. 2. Représentation des détections
  1. a. Ancres
  2. b. Images matricielles
3. 3. Fonctions-coût
  1. a. Format général
  2. b. Fonction-coût de localisation
  3. c. Fonction-coût de classification
Réseaux basés sur la proposition de régions
1. 1. Premières versions
2. 2. Faster R-CNN
  1. a. Architecture générale
  2. b. Réseau de base
  3. c. Détection
  4. d. Suppression des régions non optimales
  5. e. Réseau de convolution basé sur lesrégions
  6. f. Suppression des régions non optimales
  7. g. Entraînement et fonction-coût
3. 3. Performances et coût de calcul
Réseaux en une seule passe basés sur des ancres
1. 1. YOLO
  1. a. Principe général
  2. b. Boîtes englobantes préliminaires
  3. c. Couches de détection
  4. d. Détection multiéchelle
  5. e. Architecture complète du réseau
  6. f. Sortie du réseau
  7. g. Post-traitement
  8. h. Fonction-coût
  9. i. Limitations
  10. j. Autres versions
  11. k. YOLOv7
2. 2. SSD
  1. a. Présentation
  2. b. Architecture globale
  3. c. Fonction-coût
3. 3. RetinaNet
  1. a. Perte focale
  2. b. Architecture de RetinaNet
Réseaux en une seule passe n'utilisant pas d'ancres
1. 1. Problèmes des ancres
2. 2. CenterNet
  1. a. Représentation de la vérité terrain
  2. b. Architecture
  3. c. Fonctions de perte
  4. d. Performance du réseau
3. 3. FCOS
Comparaison des réseaux de détection
1. 1. Récapitulatif des réseaux rencontrés
2. 2. Comparaison des performances
3. 3. Comment choisir un réseau de détection ?
API de détection d'objet de TensorFlow
Conclusion

Segmentation

But du chapitre et prérequis
Segmentation sémantique, d'instances et panoptique
1. 1. Différents types de segmentation
2. 2. Apport de l’apprentissage profond pour la segmentation
3. 3. Difficultés de la segmentation
Métriques de la segmentation
1. 1. Justesse
2. 2. Indice de Jaccard
3. 3. Coefficient de Dice
4. 4. Vrais positifs, faux positifs et faux négatifs
5. 5. Précision, rappel et score F1
6. 6. Résumé des différentesmétriques
Fonctions-coût
1. 1. Erreur de classification
  1. a. Entropie croisée
  2. b. Perte de Dice
2. 2. Erreur de détection
Segmentation sémantique par U-Net
1. 1. Architecture
  1. a. Contraction et expansion
  2. b. Connexions
  3. c. Types de couches
2. 2. Suréchantillonnage
  1. a. Suréchantillonnage par convolution transposée
  2. b. Remplissage
  3. c. Pas
  4. d. Gestion de la profondeur
  5. e. Effets d’échiquier
3. 3. Dimensions et détails
4. 4. Architectures dérivées de U-Net
5. 5. nnU-Net
Segmentation d’instances
1. 1. Mask R-CNN
  1. a. Rappel de l’architecture de Faster R-CNN
  2. b. Architecture de Mask R-CNN
  3. c. Fonction-coût
  4. d. Avantages et limites
2. 2. YOLACT
  1. a. Rappel de l’architecture de YOLO
  2. b. Principe de YOLACT
  3. c. Séparation de la segmentation en deux opérationsplus simples
  4. d. Réseau de pyramide de caractéristiques
  5. e. Architecture globale
  6. f. Fonction-coût
  7. g. Avantages et limites
Segmentation panoptique
1. 1. Principe global
2. 2. EfficientPS
  1. a. Principe
  2. b. Fusion des segmentations sémantique et d’instances
3. 3. Défis de la segmentation panoptique
Choisir et trouver un modèle de segmentation
Exercice pratique : implémentation, entraînement et application de U-Net
Conclusion

Applications spécifiques

But du chapitre et prérequis
Des réseaux très polyvalents
Amélioration d'images
1. 1. Principe de la restauration d’images
2. 2. Principe général de la restaurationd’images avec des réseaux de neurones convolutionnels
3. 3. Fonctions-coût
  1. a. Erreur quadratique moyenne
  2. b. Erreur moyenne absolue
  3. c. Indice de similarité structurale
Régression
1. 1. Définition de la régression et exemplesd’applications
2. 2. Fonctionnement
Utilisation d'informations hétérogènes
1. 1. Applications
2. 2. Concaténation directe des informations
3. 3. Concaténation des caractéristiquesissues des images et des autres informations
4. 4. Ajout d’un canal à l’image
Conclusion

Ouvrir la boîte noire

But du chapitre et prérequis
Pourquoi ouvrir la boîte noire ?
Visualiser directement le modèle entraîné
1. 1. Poids des filtres
2. 2. Cartes d’activation
Réduire la dimension de la représentation latente de l'image
1. 1. Représentation latente de l’image
2. 2. Réduction de dimension par t-SNE
3. 3. Visualisation des représentations latentesavec t-SNE
Visualiser les pixels importants
1. 1. Occlusion
2. 2. LIME
3. 3. Grad-CAM
4. 4. Gradients intégrés
5. 5. Autres méthodes de déterminationdes pixels importants
Visualiser les modèles de classe ou de neurone
1. 1. Visualisation de modèle de classe
2. 2. Visualisation de modèle de neurone
Explicabilité des réseaux de segmentation et de détection
1. 1. Prévalence des méthodes d’explicabilité pourla classification
2. 2. Visualisation du fonctionnement du réseauencodeur
3. 3. Visualisation des pixels importants
  1. a. Visualisation des pixels importants pour la segmentation
  2. b. Explicabilité des réseaux de détection
Bibliothèques et paquets pour l'explicabilité
Exemple d'utilisation de la bibliothèque tf_explain
Conclusion

Maintenance après déploiement du modèle

But du chapitre et prérequis
Dérive du modèle
Causes de la baisse de performance
1. 1. Modification des images
2. 2. Modification des étiquettes
3. 3. Biais
Détecter et quantifier la dérive
1. 1. Surveillance des images
  1. a. Inspection visuelle
  2. b. Distance de Fréchet
  3. c. Appliquer la distance de Fréchet en pratique
  4. d. Entraînement d’un classifieur binaire
  5. e. Conclusion à propos de la surveillance desimages
2. 2. Surveillance des prédictions
  1. a. Surveillance de la répartition des classesprédites
  2. b. Comparaison de la distribution des prédictions à leurdistribution attendue
3. 3. Surveillance de la performance
4. 4. Conclusion sur la détection de la dériveglobale
5. 5. Surveillance spécifique du biais
Corriger ou compenser la dérive
1. 1. Réentraînement périodique
2. 2. Modèles spécifiques
Conclusion

Intelligence artificielle responsable

But du chapitre et prérequis
Sept principes majeurs de l'IA responsable
Régulation officielle pour le futur proche
1. 1. AI Act
2. 2. Produits interdits
3. 3. Produits réglementés
4. 4. Autres produits
Facteur humain et contrôle humain
Robustesse technique et sécurité
1. 1. Robustesse technique
2. 2. Sécurité
Respect de la vie privée et gouvernance des données
Transparence
Diversité, non-discrimination et équité
Bien-être sociétal et environnemental
Responsabilisation
Conclusion

Conclusion

Ce que vous avez appris
Pour aller plus loin
1. 1. S’entraîner sur des cas pratiques
2. 2. Élargir ses connaissances théoriques
3. 3. Se tenir au courant des dernières avancéesthéoriques et pratiques

29/04/2024Version en ligne

Les livres représentent une grande source d'information pour comprendre les notions qui nous intéressent

Anonyme

29/02/2024Version papier

Un professionnel s'attend à plus de détail sur l'algorithmique. Cela reste un bel exposé de concepts. Idéal pour ceux qui survolent le sujet mais de peu d'utilité pour ceux qui ont les mains dans le cambouis.

02/02/2024Version papier

bon ouvrage, bien rédige et intérressant et didactique