Le test en mode Agile

Présentation

L'Agilité dans les projets se généralise et le testeur comprend vite qu'il faut penser le test différemment pour que les mises en production du produit puissent se faire régulièrement à un rythme parfois soutenu. Dans ce livre, l'auteur donne au lecteur, au travers de nombreux exemples, anecdotes, références bibliographiques et illustrations, les connaissances fondamentales pour appréhender l'état d'esprit du test agile et les pratiques du test qui en découlent.

Chaque chapitre, même le plus technique, intéressera autant le DSI dans son virage vers l'Agilité, que le testeur qui ressent le besoin de s'adapter à ce nouveau mode de développement ou encore les développeurs ou autres membres d'une équipe Agile qui doivent s'adapter pour fournir un logiciel de qualité.
Après quelques rappels sur l'agilité et sur les principes et techniques du test, un chapitre est entièrement consacré à l'état d'esprit du test agile. Puis, au fil des pages, l'auteur met l'accent sur l'importance de la connaissance du métier et de la connaissance technique pour réaliser des tests en mode agile. Le lecteur est également amené à étudier la problématique de ce qui est produit par les tests (anomalies et rapports des sessions de test) ainsi que la notion de tests non fonctionnels.

Pour finir, comme il est souvent nécessaire d'adapter l'organisation complète d'une équipe pour faciliter le test agile, un chapitre montre quels sont les facteurs qui permettent une amélioration plus profonde du test au travers de l'organisation autour du projet.

Quizinclus dans
la version en ligne !

Testez vos connaissances à l'issue de chaque chapitre
Validez vos acquis

Table des matières

Avant-propos

1. Une transformation digitale
2. Pourquoi ce livre ?
3. À qui est destiné ce livre ?
1. 3.1 Cas n°1 - C’était mieux avant !
2. 3.2 Cas n°2 - Comment puis-je améliorer mon agilité dans mes tests ?
3. 3.3 Cas n°3 - Mon équipe veut passer au DevOps, quels sont mes besoins de tests ?
4. 3.4 Cas n°4 - Je suis dans une équipe agile en « Fast IT » et tout le monde code et teste
4. Comment lire ce livre ?
5. Qui suis-je ?

Quelques rappels

1. Introduction
2. Les 4 valeurs de l’agile - Rappel du Manifeste Agile
3. Les 7 principes du test - Rappel ISTQB
1. 3.1 Les tests montrent la présence de défauts
2. 3.2 Les tests exhaustifs sont impossibles
3. 3.3 Tester tôt
4. 3.4 Regroupement des défauts
5. 3.5 Paradoxe du pesticide
6. 3.6 Les tests dépendent du contexte
7. 3.7 Illusion de l’absence de défaut
4. Techniques de test de base
1. 4.1 Partitionnement de classes d’équivalences et valeurs limites
2. 4.2 Heuristique CORRECT
3. 4.3 Table de décision
  1. 4.3.1 Approche analytique
  2. 4.3.2 Heuristique - Test n-wise
4. 4.4 Transitions d’états
5. Le Cycle de vie logiciel
1. 5.1 Projet à l’échelle d’une seule équipe SCRUM
  1. 5.1.1 Scrum en quelques lignes
  2. 5.1.2 Sprint Refinement Meeting (grooming)
  3. 5.1.3 Sprint planning
  4. 5.1.4 Daily Scrum Meeting
  5. 5.1.5 Sprint Review
  6. 5.1.6 Rétrospective
  7. 5.1.7 Réflexions sur les rétrospectives
2. 5.2 Projet à l’échelle de plusieurs équipes
  1. 5.2.1 Cas de frameworks agiles existants
  2. 5.2.2 Point de vue du modèle SAFe
  3. 5.2.3 Point de vue du modèle Spotify
  4. 5.2.4 Point de vue Less
  5. 5.2.5 Point de vue DAD - « Disciplined Agile Delivery »
  6. 5.2.6 Point de vue Scrum@Scale - S@S
3. 5.3 Approche Composant vs Fonctionnalité

L’état d’esprit

1. Introduction - Exemple de l’industrie du textile
1. 1.1 Contrôle des ballots
2. 1.2 Contrôle pendant le tissage
3. 1.3 Amélioration du procédé de tissage
4. 1.4 Le test agile
2. État d’esprit Lean
1. 2.1 Le Lean, les origines de l’agile
2. 2.2 Quelques pratiques Lean utiles au test
  1. 2.2.1 Kanban
  2. 2.2.2 Juste à Temps - « Just in time »
  3. 2.2.3 5S
  4. 2.2.4 Intégrer la qualité dès la conception
  5. 2.2.5 Le First Pass Yield : faire bon du 1er coup !
  6. 2.2.6 Analyse de cause racine
  7. 2.2.7 Petits stocks, régularité des flux
3. 2.3 Manifeste du test agile
  1. 2.3.1 Tester pendant le sprint
  2. 2.3.2 Prévenir les bugs
  3. 2.3.3 Comprendre ce que l’on doit tester
  4. 2.3.4 Concevoir un meilleur système
  5. 2.3.5 L’équipe est responsable de la qualité du produit

Versant métier

1. Introduction
2. Définition du Prêt (DoR)
3. Clarté d’une US
4. Test des US
1. 4.1 Ingénierie des critères d’acceptation des US
  1. 4.1.1 Définition du Terminé (DoD)
  2. 4.1.2 BDD, Gherkin et ATDD
2. 4.2 Préparation de la revue d’US ou d’Epic
3. 4.3 Revue de définition des US
  1. 4.3.1 Affinement des US
  2. 4.3.2 Approche « Los Très Amigos »
  3. 4.3.3 Visite guidée
4. 4.4 Revue de réalisation de l'US
5. Le Produit
6. La valeur métier
1. 6.1 Modèle MoSCoW
2. 6.2 Diagramme de Kano
3. 6.3 Priorisations complexes (Weighted Shortest Job First - WSJF)
7. Production des spécifications
1. 7.1 Cas des exigences et spécifications
2. 7.2 Cas des US
  1. 7.2.1 Le rôle de chacun
  2. 7.2.2 Le récit utilisateur
3. 7.3 Cas des Epics
  1. 7.3.1 Les Features - les Fonctionnalités
  2. 7.3.2 Les Capabilities
  3. 7.3.3 Les Epics du Portfolio

Versant industriel du test

1. Introduction
2. Stratégie de test
1. 2.1 Vision académique de la stratégie de test
2. 2.2 Catégories d’approches
3. 2.3 Tester tôt
4. 2.4 Approche par le risque
  1. 2.4.1 Caractérisation du niveau de risque
  2. 2.4.2 Principe du Risk-Based Testing - RBT
  3. 2.4.3 Granularité
  4. 2.4.4 Niveau « données de tests »
  5. 2.4.5 Niveau « scénarios de tests »
  6. 2.4.6 Niveau « exigence de tests »
  7. 2.4.7 Niveau « campagnes de tests »
  8. 2.4.8 Exemple de gestion des campagnes de tests de régression
  9. 2.4.9 Périmètre vs Qualité et objectifs de test
5. 2.5 Heuristique pour une stratégie de test
6. 2.6 Context-Driven Testing (CDT) - Test Piloté par le Contexte
  1. 2.6.1 Valeur d’une pratique dépendante du contexte
  2. 2.6.2 Les Best Practices
  3. 2.6.3 Les gens qui travaillent ensemble
  4. 2.6.4 Prédictibilité des projets
  5. 2.6.5 Résolution du problème
  6. 2.6.6 Le challenge intellectuel
  7. 2.6.7 Esprit critique
3. Tests systèmes et bout-en-bout
1. 3.1 Organisation des tests scénarisés
2. 3.2 Ingénierie des Tests systèmes/bout-en-bout
3. 3.3 Campagne de test
  1. 3.3.1 Planification
  2. 3.3.2 Monitoring et Contrôle
  3. 3.3.3 Clôture
4. 3.4 Tests de régression
  1. 3.4.1 Smoke tests
  2. 3.4.2 Campagnes prédéfinies par le risque
  3. 3.4.3 Campagnes prédéfinies par thème
  4. 3.4.4 Check-list
4. Tests exploratoires
1. 4.1 Préparation des tests exploratoires
  1. 4.1.1 La charte
  2. 4.1.2 La zone de recherche
  3. 4.1.3 L’état d’esprit - Technique de la Persona
  4. 4.1.4 Les moyens d’une session de TE
  5. 4.1.5 Session de TE avec Intervenants Externes
2. 4.2 Session de Test exploratoire
3. 4.3 Fin de Session de Test exploratoire
5. Ingénierie des Tests de recette
1. 5.1 Préparation de la recette
2. 5.2 Cas des certifications et des tests réglementaires
6. Stratégies de gestion des anomalies
1. 6.1 Loi de Pareto
2. 6.2 Taxonomie des erreurs
  1. 6.2.1 Quelques chiffres de l’industrie
  2. 6.2.2 Bugs ou parasites ?
  3. 6.2.3 Quels types de bugs ?
3. 6.3 La dette technique
  1. 6.3.1 Mesurer la dette
  2. 6.3.2 Attitudes face à la dette
7. Rôles
8. Reporting
1. 8.1 Généralités
2. 8.2 Contenu d’un rapport
9. Stratégies Données et Environnements de tests
1. 9.1 Clonage des données de production
2. 9.2 Gestion des données de test
  1. 9.2.1 Génération des données
  2. 9.2.2 Optimisation des tests par les valeurs
  3. 9.2.3 Génération aléatoire des valeurs nominales
  4. 9.2.4 Approche combinatoire aléatoire
  5. 9.2.5 Generative Adversarial Network - GAN
  6. 9.2.6 Minimisation des données
  7. 9.2.7 Anonymisation des données
  8. 9.2.8 Cas des données sujettes à la péremption
  9. 9.2.9 Dictionnaire de données
  10. 9.2.10 Isolation des données
  11. 9.2.11 Synthèse
3. 9.3 Reprise de données

Tests non fonctionnels

1. Introduction
2. Tests de sécurité
1. 2.1 Généralités sur les tests de sécurité
2. 2.2 Orientations en termes de sécurité
3. 2.3 Principes
  1. 2.3.1 Séparation
  2. 2.3.2 Contrôle
  3. 2.3.3 Étapes pour définir un test de sécurité
  4. 2.3.4 Technique de tests pour les OpSec
  5. 2.3.5 Types d’anomalies
  6. 2.3.6 Activités à contrôler
4. 2.4 Organisation des tests de sécurité
  1. 2.4.1 Modèle par jalons
  2. 2.4.2 Correspondance entre sécurité et activités compatibles agile
  3. 2.4.3 Vision SEAP
  4. 2.4.4 Approche par le risque
  5. 2.4.5 Modèle Microsoft SDL
  6. 2.4.6 Modèle PASTA
  7. 2.4.7 Vision Coveros
  8. 2.4.8 Security Cards
5. 2.5 Quelques techniques de tests
  1. 2.5.1 Analyse de sécurité pour les exigences
  2. 2.5.2 Analyse de failles de sécurité sur le design et le code
  3. 2.5.3 Tests de pénétration
  4. 2.5.4 Détection d’intrusion
  5. 2.5.5 Intégration de la sécurité dans une approche DevOps
  6. 2.5.6 Analyse de patch & applications sur la production
3. Tests d’utilisabilité
1. 3.1 Le test du Magicien d’Oz
2. 3.2 L’Experience Map
3. 3.3 Retours des utilisateurs en production
4. 3.4 Accessibilité
  1. 3.4.1 Intérêt de l’accessibilité
  2. 3.4.2 Comprendre les recommandations
  3. 3.4.3 Certification et pénalités
4. Tests de charges
5. Tests de migration ou reprise de données
1. 5.1 Généralités sur les Migrations
2. 5.2 Migrations impliquant la reprise des données
  1. 5.2.1 Classification des données
  2. 5.2.2 Migration de type Big Bang
  3. 5.2.3 Migration au fil de l’eau
  4. 5.2.4 Outillage de la migration
3. 5.3 Phase finale de la migration - le décommissionnement
6. Tests de tolérance aux pannes
1. 6.1 Facteurs de défaillance
  1. 6.1.1 L’Information
  2. 6.1.2 La disponibilité
  3. 6.1.3 La compensation
  4. 6.1.4 La stabilisation
2. 6.2 Conception
  1. 6.2.1 N+1
  2. 6.2.2 Fail fast
  3. 6.2.3 Paxos
  4. 6.2.4 Raft
3. 6.3 Reprise de fonctionnement
  1. 6.3.1 Définition des tests de reprise de fonctionnement
  2. 6.3.2 Préparation des tests de reprise de fonctionnement
  3. 6.3.3 Exécution des tests de reprise de fonctionnement
7. Tests d’exploitabilité
8. Tests de traçabilité
1. 8.1 Périmètre
2. 8.2 La vérification
9. Tests de sûreté de fonctionnement

Versant technique du test

1. Introduction
2. Test de conception et de code
1. 2.1 Préparation des tests pour la conception et le code
  1. 2.1.1 Responsabilité collective
  2. 2.1.2 Préparation de la revue de conception et de code
  3. 2.1.3 Tests Unitaires
  4. 2.1.4 Pair programming
2. 2.2 Revue de conception et de code
  1. 2.2.1 Inspection
  2. 2.2.2 Méthode B
3. 2.3 Software Craftsmanship
3. Ingénierie des tests d’intégration
1. 3.1 Approche Big Bang
2. 3.2 Approche Top-down
3. 3.3 Approche Bottom-up
4. 3.4 Approche Sandwich
5. 3.5 Autres approches
  1. 3.5.1 Intégration par Collaboration
  2. 3.5.2 Intégration au Backbone
  3. 3.5.3 Intégration à fréquence élevée
  4. 3.5.4 Intégration de Services Distribués
  5. 3.5.5 Intégration Continue
4. Stratégies d’automatisation
1. 4.1 Difficultés d’automatisation des tests
2. 4.2 Plateformes techniques de test
  1. 4.2.1 Application web
  2. 4.2.2 Automatisation des tests pour applications web
  3. 4.2.3 Automatisation des tests pour navigateurs graphiques pour ordinateur personnel
  4. 4.2.4 Automatisation des tests pour navigateurs textuels
  5. 4.2.5 Application mobile
  6. 4.2.6 Des plateformes au secours du problème de portabilité
  7. 4.2.7 Application native pour ordinateur personnel
3. 4.3 Le cornet de glace des tests automatisés
4. 4.4 Élaboration des scripts de tests
  1. 4.4.1 Automatisation des tests de composants
  2. 4.4.2 Automatisation des tests d’intégration
  3. 4.4.3 Automatisation des tests fonctionnels
  4. 4.4.4 Compétences de programmation
  5. 4.4.5 Approche par mots-clés
  6. 4.4.6 Model-Based Testing - MBT
  7. 4.4.7 Priorisation pour l’automatisation
  8. 4.4.8 Qui automatise ?
5. 4.5 Répétabilité des scripts
6. 4.6 Robustesse des scripts
  1. 4.6.1 Concept de Jidoka
  2. 4.6.2 Insensibilité aux bruits - Objectif du script
  3. 4.6.3 Les Faux-Positifs
7. 4.7 Maintenabilité des scripts
  1. 4.7.1 Design pattern Page Object
  2. 4.7.2 Objets métier
  3. 4.7.3 Design pattern ScreenPlay
  4. 4.7.4 Framework des tests automatiques
8. 4.8 Exécution des scripts
  1. 4.8.1 Exécution en aveugle
  2. 4.8.2 Reporting d’exécution
5. Environnement technique du test
1. 5.1 Alpha Testing et Beta Testing
2. 5.2 Projet DevOps
  1. 5.2.1 Culture et généralités
  2. 5.2.2 Processus d’Intégration Continue (PIC)
  3. 5.2.3 Observabilité
  4. 5.2.4 Patterns & antipatterns organisationnels
  5. 5.2.5 Feature Flipping
  6. 5.2.6 Notion de Conteneur
  7. 5.2.7 Stratégie Shift Right
  8. 5.2.8 Outils

Facteurs de succès

1. Introduction
2. Le Contexte organisationnel
1. 2.1 Le Management 3.0
2. 2.2 Holacratie
3. 2.3 Et quoi d’autre ?
3. Vue globalo-locale
1. 3.1 Point de vue de la régression
2. 3.2 Lien entre les anomalies
3. 3.3 Point de vue de l’humeur
4. 3.4 En résumé
4. Culture générale
1. 4.1 Gestion de la connaissance comme enjeux du test
2. 4.2 Vouloir apprendre
3. 4.3 Repérage de la connaissance
4. 4.4 Actualisation de la connaissance
5. 4.5 Préservation de la connaissance
  1. 4.5.1 La Solution Intent
  2. 4.5.2 La CMDB d’ITIL
  3. 4.5.3 Généralités sur les outils
6. 4.6 Valorisation de la connaissance
  1. 4.6.1 Mise en avant d’un document
  2. 4.6.2 Mesure de la compétence acquise
7. 4.7 Partage de la connaissance
  1. 4.7.1 Généralités sur la documentation
  2. 4.7.2 Modélisation Agile
  3. 4.7.3 État d’esprit du modélisateur Agile
  4. 4.7.4 La notion de « Ba - »
5. Ce qui fait l’âme du Testeur
1. 5.1 Ceux qui testent
  1. 5.1.1 Le Pragmatique
  2. 5.1.2 Le Joueur
  3. 5.1.3 Le Méthodique
  4. 5.1.4 L’Empirique
  5. 5.1.5 Le relationnel
  6. 5.1.6 Changement des mentalités
2. 5.2 Passion et motivation intrinsèque
3. 5.3 La confiance
  1. 5.3.1 La confiance en une version
  2. 5.3.2 La confiance comme attribut du Leadership
4. 5.4 Biais cognitifs et test
  1. 5.4.1 L’intuition du Testeur
  2. 5.4.2 Biais de confirmation
  3. 5.4.3 Dissonance cognitive chez le Testeur
  4. 5.4.4 Effet de cadrage
  5. 5.4.5 Corrélation illusoire
  6. 5.4.6 Raisonnement fallacieux
  7. 5.4.7 Illusions cognitives
  8. 5.4.8 Identification de motifs à partir du vide
5. 5.5 Pensée critique
6. 5.6 Créativité
7. 5.7 Le Leadership
8. 5.8 Les valeurs du Testeur Agile

Annexes

Bibliographie
Index

Auteur

Christophe MOUSTIEREn savoir plus

Christophe MOUSTIER débute son voyage dans le monde du développement logiciel dans les années 1980 et transforme ensuite sa passion en une profession, d’abord comme développeur certifié Java puis comme chef de projet. Il commence à travailler avec les méthodes agiles dans une startup dès 2001 avec l’Extreme Programming et, depuis 2006, il s’intéresse plus particulièrement à la problématique du test et l'insertion de bonnes pratiques à l'échelle de l'entreprise. Aujourd’hui expert dans le domaine du test logiciel, il intervient dans de nombreuses entreprises pour les aider à changer leur vision du test et du rôle de chacun dans cette activité du développement logiciel.