Ce support présente à des personnes non Data Scientists, et sans connaissances particulières en mathématiques, la méthodologie du Machine Learning, ses concepts, ses principaux algorithmes et l'implémentation de ceux-ci en Python avec Scikit-learn.

Il commence par une présentation du Machine Learning puis de la méthode CRISP où chaque phase est détaillée avec ses différentes étapes. Les premiers chapitres s’intéressent donc aux phases de Data Understanding (ou compréhension des données) et de Data Preparation (préparation des données). Dans le premier sont présentés des analyses statistiques de datasets, que cela soit sous forme numérique ou graphique. Dans le deuxième sont vues les principales techniques utilisées pour la préparation des données, avec leur rôle et des conseils sur leur utilisation.

Ensuite, plusieurs chapitres sont dédiés chacun à une tâche de Machine Learning : la classification, la régression, avec le cas particulier de la prédiction, ainsi que le clustering et plus globalement l’apprentissage non supervisé. Pour chaque tâche qui est présentée sont successivement détaillés les critères d’évaluation, les concepts derrière les principaux algorithmes puis leur implémentation avec Scikit-learn.

Pour illustrer les différents chapitres, les techniques et algorithmes présentés sont appliqués sur des datasets souvent utilisés : Iris (classification de fleurs), Boston (prévision de prix de vente d’appartements) et Titanic (prévision de la chance de survie des passagers du bateau). Le code Python est commenté et disponible en téléchargement (sous la forme de notebooks Jupyter) sur le site www.editions-eni.fr.

Téléchargements

• Des fichiers complémentaires (3 049 Ko)

Présentation du livre

1. 1. Pourquoi un livre sur le Machine Learning ?
2. 2. Python et Scikit-learn : les raisons du choix
3. 3. À qui s'adresse ce livre ?
4. 4. Organisation du livre et éléments en téléchargement
5. 5. Datasets utilisés dans ce livre
   1. 5.1 Iris de Fisher, 1936
   2. 5.2 Titanic, 1994
   3. 5.3 Boston, 78

Le Machine Learning : vue d'ensemble

1. 1. Un peu de vocabulaire
2. 2. Les métiers de la data
3. 3. La croissance du Machine Learning
4. 4. Formes d'apprentissage et tâches de ML
   1. 4.1 Apprentissage supervisé
      1. 4.1.1 Classification
      2. 4.1.2 Classification : le cas des images
      3. 4.1.3 Régression
      4. 4.1.4 Prévision
   2. 4.2 Apprentissage non supervisé
      1. 4.2.1 Clustering
      2. 4.2.2 Réduction de dimensions
      3. 4.2.3 Système de recommandations
      4. 4.2.4 Associations
   3. 4.3 Apprentissage par renforcement
      1. 4.3.1 Comportements
      2. 4.3.2 Jeux et stratégies
   4. 4.4 Apprentissage semi-supervisé
   5. 4.5 Synthèse des différentes formes d'apprentissage et tâches
5. 5. Méthodologie CRISP-DM
   1. 5.1 Vue d’ensemble
   2. 5.2 Business Understanding
   3. 5.3 Data Understanding
      1. 5.3.1 Carte d'identité du dataset
      2. 5.3.2 Description des champs
      3. 5.3.3 Statistiques descriptives
   4. 5.4 Data Preparation
   5. 5.5 Modeling
   6. 5.6 Evaluation
   7. 5.7 Deployment

La pile technologique en Python

1. 1. Les outils de la Data Science
   1. 1.1 Les outils intégrés
   2. 1.2 L'auto ML
   3. 1.3 Les outils de développement
2. 2. Langage Python
   1. 2.1 Présentation
   2. 2.2 Brève présentation de R
   3. 2.3 Python ou R ?
   4. 2.4 Python 2 vs Python 3
3. 3. Jupyter
   1. 3.1 Caractéristiques de Jupyter
   2. 3.2 Avantages de Jupyter pour la Data Science
   3. 3.3 Installation et utilisation de Jupyter
4. 4. Librairies de Machine Learning
   1. 4.1 NumPy
   2. 4.2 Pandas
   3. 4.3 Matplotlib
   4. 4.4 Scikit-learn
5. 5. Bibliothèques de Deep Learning

Chargement et analyse des données

1. 1. La phase de Data Understanding
2. 2. Chargement des données
3. 3. Création de la carte d'identité du dataset
4. 4. Description des champs
   1. 4.1 Gestion des types
   2. 4.2 Détection des données manquantes
5. 5. Statistiques descriptives sur les champs
   1. 5.1 Types de données
   2. 5.2 Analyse des données numériques
   3. 5.3 Graphiques sur les données numériques
      1. 5.3.1 Histogramme
      2. 5.3.2 Nuage de points
      3. 5.3.3 Boîtes à moustaches
   4. 5.4 Analyse sur les données catégorielles
   5. 5.5 Graphiques sur les données catégorielles
   6. 5.6 Autres données
   7. 5.7 Analyse croisée des données
      1. 5.7.1 Entre des variables numériques
      2. 5.7.2 Entre des variables numériques et une variable catégorielle
      3. 5.7.3 Entre des variables catégorielles

Préparation des données

1. 1. La phase de Data Preparation
2. 2. Limiter les données
   1. 2.1 Supprimer des colonnes
   2. 2.2 Supprimer des enregistrements
3. 3. Séparer les datasets
   1. 3.1 Proportion Entraînement/Test
   2. 3.2 Séparation aléatoire
   3. 3.3 Séparation stratifiée
4. 4. Traiter les données manquantes
5. 5. Préparer les attributs numériques
   1. 5.1 Validation des données
      1. 5.1.1 Validation sémantique des données
      2. 5.1.2 Validation statistique des données
   2. 5.2 Feature engineering
   3. 5.3 Discrétisation
      1. 5.3.1 Intervalles égaux
      2. 5.3.2 Répartition par quantile
      3. 5.3.3 Répartition manuelle
   4. 5.4 Normalisation
      1. 5.4.1 Normalisation min-max
      2. 5.4.2 Normalisation standard
      3. 5.4.3 Normalisation robuste
      4. 5.4.4 Comparaison
6. 6. Préparer les catégories
   1. 6.1 Validation des données
   2. 6.2 Modification des catégories
      1. 6.2.1 Ordonner ou réordonner des catégories
      2. 6.2.2 Modifier la liste des catégories
   3. 6.3 Quantification
7. 7. Les données particulières
   1. 7.1 Préparer les dates
      1. 7.1.1 Le format datetime64
      2. 7.1.2 Extraire des composantes
      3. 7.1.3 Gérer les écarts
   2. 7.2 Préparer les chaînes de caractères
      1. 7.2.1 Préparer les chaînes
      2. 7.2.2 Effectuer une recherche dans les chaînes
      3. 7.2.3 Extraire des sous-chaînes
      4. 7.2.4 Autres méthodes
8. 8. Automatiser la préparation
   1. 8.1 Création de pipelines de traitement
   2. 8.2 Paramètres des opérations et code Pandas
   3. 8.3 Pipelines avec Scikit-learn
      1. 8.3.1 Création d'un Transformer
      2. 8.3.2 Utilisation des Transformer
      3. 8.3.3 Inconvénients de Scikit-learn
   4. 8.4 Autres possibilités

Modélisation et évaluation

1. 1. Phase de modélisation
2. 2. Création d'un ensemble de validation
3. 3. Préparation des datasets
   1. 3.1 Dataset Iris
   2. 3.2 Dataset Titanic
   3. 3.3 Dataset Boston
4. 4. Création des modèles
   1. 4.1 Processus itératif
   2. 4.2 Création d'un modèle en Scikit-learn
   3. 4.3 Évaluation d'un modèle
   4. 4.4 Validation croisée
   5. 4.5 Sauvegarde et chargement d'un modèle
5. 5. Amélioration des modèles (fine-tuning)
   1. 5.1 Optimisation des hyperparamètres
   2. 5.2 Application en Scikit-learn
   3. 5.3 Sur- et sous-apprentissage
6. 6. Méthodes ensemblistes
   1. 6.1 Bagging
   2. 6.2 Boosting
   3. 6.3 Stacking

Algorithmes de classification

1. 1. La tâche de classification
   1. 1.1 Définition
   2. 1.2 Exemples de cas pratiques
   3. 1.3 Préparation spécifique des données
2. 2. Évaluation des modèles
   1. 2.1 Matrices de confusion
      1. 2.1.1 Cas de la classification binaire
      2. 2.1.2 Cas de la classification multiclasse
   2. 2.2 Indicateurs dérivés de la matrice de confusion
      1. 2.2.1 Accuracy
      2. 2.2.2 Rappel et précision
      3. 2.2.3 F1-score
      4. 2.2.4 Sensibilité et spécificité
   3. 2.3 La courbe ROC et l'AUC
      1. 2.3.1 Prédiction et probabilité
      2. 2.3.2 Taux de vrais et faux positifs
      3. 2.3.3 Courbe ROC
      4. 2.3.4 Aire sous la courbe (AUC)
   4. 2.4 Choix des indicateurs d'évaluation
3. 3. Les arbres de décision et algorithmes dérivés
   1. 3.1 Arbres de décision
      1. 3.1.1 Sortie de l'arbre
      2. 3.1.2 Choix du point de coupure
      3. 3.1.3 Critères d'arrêt
      4. 3.1.4 Exploitation de l'arbre
   2. 3.2 Random Forests
   3. 3.3 XGBoost (eXtreme Gradient Boosting)
4. 4. K-Nearest Neighbors
5. 5. Logistic Regression
   1. 5.1 Régression logistique binaire
   2. 5.2 Régression logistique polytomique
   3. 5.3 Application avec Scikit-learn
6. 6. Naive Bayes
   1. 6.1 Principe général
   2. 6.2 Calcul des différentes probabilités
   3. 6.3 Application avec Scikit-learn
7. 7. Support Vector Machine
   1. 7.1 Présentation générale
      1. 7.1.1 Marge et support vector
      2. 7.1.2 Kernels
      3. 7.1.3 Avantages
   2. 7.2 Application avec Scikit-learn

Algorithmes de régression

1. 1. La tâche de régression
   1. 1.1 Définition
   2. 1.2 Exemples de cas pratiques
   3. 1.3 Préparation spécifique des données
2. 2. Entraînement et évaluation des modèles
   1. 2.1 Notion d'erreurs
   2. 2.2 Indicateurs dérivés de la mesure d'erreurs
      1. 2.2.1 Erreur absolue moyenne
      2. 2.2.2 Erreur quadratique moyenne
      3. 2.2.3 Racine de l'erreur quadratique moyenne
      4. 2.2.4 Coefficient de détermination et variance expliquée
      5. 2.2.5 Autres indicateurs
   3. 2.3 Choix des indicateurs d'évaluation
3. 3. Utilisation des algorithmes de classification
   1. 3.1 Principe général
   2. 3.2 Arbres de décision et algorithmes dérivés
      1. 3.2.1 Arbres de décision
      2. 3.2.2 Random Forest
      3. 3.2.3 XGBoost
   3. 3.3 K-plus proches voisins (KNN)
   4. 3.4 SVM
4. 4. Régression linéaire et variantes
   1. 4.1 Régression linéaire
   2. 4.2 Application dans Scikit-learn
   3. 4.3 Problème de la colinéarité
   4. 4.4 Ridge Regression
   5. 4.5 Régression Lasso
5. 5. Régression polynomiale
   1. 5.1 Principe
   2. 5.2 Régression polynomiale et Scikit-learn
6. 6. Cas particulier de la prédiction
   1. 6.1 Prédiction et séries temporelles
   2. 6.2 Préparation des données
   3. 6.3 Application en Scikit-learn
   4. 6.4 Utilisation de modèles spécifiques
      1. 6.4.1 Limites de l'approche en régression linéaire
      2. 6.4.2 Algorithmes dédiés aux séries temporelles

Algorithmes d’apprentissage non supervisés

1. 1. Les tâches en apprentissage non supervisé
2. 2. Clustering
   1. 2.1 Définition
   2. 2.2 Exemples de cas pratiques
   3. 2.3 Algorithmes basés sur les distances
      1. 2.3.1 Principe de l'algorithme K-Means
      2. 2.3.2 Implémentation avec Scikit-learn
      3. 2.3.3 Variantes de l'algorithme K-Means
   4. 2.4 Algorithmes basés sur la densité
      1. 2.4.1 Principe général
      2. 2.4.2 Implémentation de DBSCAN en Scikit-learn
      3. 2.4.3 Variante de DBSCAN : OPTICS
3. 3. Réduction des dimensions
   1. 3.1 Définition
   2. 3.2 Exemples de cas pratiques
   3. 3.3 Détection des axes principaux
   4. 3.4 Création de nouveaux axes
      1. 3.4.1 Principal Component Analysis (PCA)
      2. 3.4.2 Linear Discriminant Analysis (LDA)
4. 4. Systèmes de recommandation
   1. 4.1 Définition
   2. 4.2 Principales approches
      1. 4.2.1 Modèles basés sur la popularité
      2. 4.2.2 Modèles basés sur le contenu (content-based filtering)
      3. 4.2.3 Modèles basés sur les autres utilisateurs
      4. 4.2.4 Méthodes hybrides
5. 5. Association
   1. 5.1 Définition
   2. 5.2 Évaluation des algorithmes
      1. 5.2.1 Le support
      2. 5.2.2 L'indice de confiance
      3. 5.2.3 Le lift
   3. 5.3 Algorithme "APriori"
      1. 5.3.1 Étape 1 : réalisation des comptages des ensembles
      2. 5.3.2 Étape 2 : création et test des règles

Évaluation et déploiement

1. 1. Phase d'évaluation
   1. 1.1 Principe global
   2. 1.2 Évaluation métier des résultats
   3. 1.3 Revue du processus
   4. 1.4 Étapes suivantes
2. 2. Phase de déploiement
   1. 2.1 Planification du déploiement
   2. 2.2 Monitoring et maintenance
   3. 2.3 Rapport final et documentation
3. 3. Déploiement et MLOps
   1. 3.1 Retours sur le DevOps
   2. 3.2 Apparition du MLOps
   3. 3.3 Tâches couvertes par le MLOps
   4. 3.4 Critères de choix

Conclusion

1. 1. Le Machine Learning, une compétence-clé
2. 2. Mener un projet jusqu'au bout
3. 3. Au-delà de la méthodologie
4. 4. Expérimentation et expérience
5. 5. Pour aller plus loin
8. Index