La validation des données migrées

Ce chapitre a pour but d’expliquer le déroulement du processus de Certification Statique, dont les principaux objectifs sont les suivants :

validation des travaux de migration de données et de fiabilisation ;
préparation à l’identification des contrôles de certification qui seront effectués lors des Bascules.

Cette certification est dite statique car il s’agit de valider les données migrées sans qu’aucune transformation n’ait été effectuée sur les données, en opposition à la Certification Dynamique, où les données migrées vont être utilisées par des transactions temps réel et par des programmes batch (susceptibles de les modifier).

Le schéma suivant positionne la Certification Statique et la Certification Dynamique dans le process de migration :

Le schéma montre le parallélisme entre les opérations menées sur les traitements et celles menées sur les données :

spécifications fonctionnelles et détaillées pour les traitements, et spécifications des règles de migration de données ;
réalisation des programmes ;
tests : homologation des traitements et Certification Statique des données.

Ce n’est que lorsque la plate-forme applicative et les données...

Identification des contrôles de certification

La Certification Statique comporte deux types de contrôles :

des contrôles de masse (contrôles quantitatifs) ;
des contrôles sur échantillon (contrôles qualitatifs).

1. Les contrôles de masse

Les contrôles de masse permettent la validation des règles de migration établies lors de leur spécification.

Ils consistent en la vérification du transfert effectif de l’intégralité des données (en volume) à migrer dans le cadre de la règle définie.

Pour bien montrer l’importance de ces contrôles, visualisons le schéma de correspondance (mapping) entre les données source et les données cible :

Deux types de correspondance sont représentés :

Plusieurs données de la source dans des structures différentes peuvent être regroupées en une seule structure sur la cible.

Exemple : la table cible 1 est alimentée à partir de données des tables source 1, 2 et 3.

Inversement, les données d’une structure de la source peuvent alimenter les données de plusieurs structures cibles.

Exemple : les données de la table source 1 alimentent les tables cible 1, 2 et 3.

De plus, certaines règles peuvent permettre un filtrage des données source (par exemple : on ne reprendra pas les clients n’ayant...

Déroulement des tests

Le schéma suivant représente les opérations à mener pour mettre en œuvre la Certification Statique :

1. Préparation des tests

Il s’agit de définir précisément et de façon exhaustive les contrôles (quantitatifs et qualitatifs) qui permettront de certifier que les données migrées sont conformes aux règles spécifiées.

Il est recommandé de recenser tous les tests en même temps que les spécifications.

Il est en effet plus facile, lors de l’écriture d’une règle de spécification d’alimentation d’une donnée cible, de définir le contrôle et les informations associées qui permettront de valider la règle.

L’expérience montre que l’on a tendance à identifier les contrôles de Certification Statique en décalé par rapport aux spécifications des règles.

Dans ce cas, il est beaucoup plus difficile de se replonger dans les dossiers de spécifications, d’autant que généralement, la personne effectuant ce travail n’est pas celle qui les a rédigés.

Dans cette étape de préparation, il faut également recenser tous les éléments nécessaires pour effectuer les contrôles, à savoir :

les états standards donnant les compteurs source/cible ;
les états qui devront être construits pour récupérer des compteurs spécifiques ;
les compteurs fournis par les programmes de migration ;
les copies d’écrans source visualisant les informations qui devront être comparées avec les données migrées ;
tous les documents disponibles pour assurer les contrôles.

Chaque contrôle est formalisé dans une fiche reprenant :

son nom et son identifiant ;
le lot de certification auquel il est rattaché ;
les éléments de la source nécessaires au contrôle ;
les éléments de la cible nécessaires au contrôle ;
les données du processus de migration (compteurs, paramétrage...) ;
les références de la règle et du dossier de spécifications auxquelles se rapporte le contrôle ;
la description du contrôle.

Pour...

Suivi du chantier

1. Tableau de suivi de la Certification Statique

Le processus de contrôle doit être suivi précisément pour permettre :

de connaître la prévision de passage des contrôles ;
de suivre le déroulement effectif par rapport à la prévision ;
de connaître le résultat des contrôles.

Le tableau ci-dessous donne une idée du type de tableau de suivi de la Certification Statique :

Il est important de faire figurer une courbe prévisionnelle (Nb de tests prévus) qui permet de suivre l’écart entre cette prévision et la réalité d’exécution des contrôles.

S’il existe un écart (très souvent, le nombre de contrôles réalisés est inférieur à la prévision), une analyse des causes de l’écart doit être menée afin de mettre en œuvre toutes les actions nécessaires pour retrouver un rythme de contrôles conforme.

De même, si le nombre de contrôles conformes est très inférieur au nombre de contrôles exécutés, il faut rapidement effectuer une analyse et déclencher les actions adéquates. Ce cas de figure montre en général que la qualité des développements des programmes de reprise n’est pas bonne.

Une courbe des contrôles OK trop proche...

Outil de contrôle des compteurs de masse

Les contrôles de masse définis plus haut peuvent être conséquents.

Lorsque le Système d’Information est important, leur nombre oblige à les suivre dans un outil.

L’avantage de ce type de suivi est de mettre à disposition, au moment de la Bascule, les compteurs pour effectuer des contrôles intermédiaires.

La durée d’une Bascule étant longue, il est intéressant de pouvoir contrôler le bon déroulement du process, sans attendre la fin.

L’outil proposé a été développé sous Access et permet de gérer tout le processus associé aux compteurs de masse.

1. Construction des compteurs

La première fonctionnalité de l’outil permet d’enregistrer les compteurs.

En se basant sur les spécifications des règles, on identifie les contrôles de masse que l’on doit effectuer.

Ces contrôles de masse nécessitent la mise en place de compteurs sur les données source et cible.

a. Enregistrement des compteurs

Les compteurs source ou cible sont créés à partir de cette fonctionnalité.

On sélectionne la table pour laquelle on veut créer un compteur et l’on accède à l’écran qui visualise les compteurs existant pour cette table.

On peut ensuite ajouter de nouveaux compteurs.

Le nom du compteur est libre, mais il est judicieux de mettre en place une normalisation des noms.

Par exemple, on peut nommer les compteurs par Nom de la table.CPTnn, où nn est un numéro incrémenté de 01 à 99.

On peut prendre l’option que le compteur n° 01 sera toujours le nombre d’occurrences (ou de lignes) de la table à laquelle le compteur est associé.

Autre exemple de compteurs sur données cible :

Dans cet exemple :

Le compteur CPT01 correspond au nombre d’occurrences de la table.
Le compteur CPT02 comptabilise le nombre d’occurrences par codes de l’offre produit.
Le compteur CPT03 comptabilise les occurrences par société.
etc.

b. Construction des règles de contrôles

Une fois les compteurs source et cible enregistrés pour un contrôle, on va construire la règle spécifiant le contrôle que l’on veut réaliser....