Blog ENI : Toute la veille numérique !
🐠 -25€ dès 75€ 
+ 7 jours d'accès à la Bibliothèque Numérique ENI. Cliquez ici
Accès illimité 24h/24 à tous nos livres & vidéos ! 
Découvrez la Bibliothèque Numérique ENI. Cliquez ici
  1. Livres et vidéos
  2. Migration de données
  3. Les outils
Extrait - Migration de données D'un Système d'Information à l'autre : la démarche complète (2e édition)
Extraits du livre
Migration de données D'un Système d'Information à l'autre : la démarche complète (2e édition) Revenir à la page d'achat du livre

Les outils

Introduction

Le lecteur aura pu constater à la lecture des chapitres précédents qu’il est fait régulièrement référence à des outils, développés sous Access, permettant de mettre en œuvre la démarche de migration.

Ce chapitre présente l’ensemble de ces outils qui permettent de gérer le mieux possible tout le process de migration.

Seule la phase de réalisation n’a pas été outillée, car :

  • Il existe sur le marché de nombreux outils performants (essentiellement des ETL) permettant de programmer les règles de migration.

  • Même si les outils développés permettraient d’y inclure la programmation des règles, Access n’est pas suffisamment performant pour traiter des bases de données volumineuses.

Dans ce chapitre, on trouve le positionnement des différents outils dans la démarche de migration, avec leur fonctionnement :

  • la gestion des tables de paramétrage et des tables de transcodification ;

  • les spécifications des règles ;

  • la Certification Statique avec les contrôles de masse et les contrôles qualitatifs ;

  • le chronogramme de bascule et le suivi des opérations de bascule ;

  • le suivi du projet sur les points suivants :

  • budget ;

  • avancement des différentes phases de la migration de données ;

  • questions/décisions....

Positionnement des outils dans la démarche

Il est essentiel de comprendre que les outils viennent en support de la démarche et non pas l’inverse.

C’est-à-dire qu’il faut d’abord s’approprier la démarche pour ensuite mettre en place les outils.

C’est ce qui a été fait ici en reprenant la démarche décrite tout au long de cet ouvrage.

On retrouve sur le schéma suivant le positionnement des outils.

images/DP015-01.png

Les fonctionnalités décrites en A et B sont regroupées dans un même outil.

Gestion des tables de paramétrage et de transcodification

images/DP015-02.png

Première fonction de l’outil, la gestion des tables de paramétrage cible.

images/DP015-03.png
images/DP015-04.png

Les tables de paramétrage du système cible identifiées dans l’outil sont celles utilisées lors des contrôles spécifiés dans les règles de migration.

Elles sont ajoutées dans l’outil au fil des spécifications et chaque table est caractérisée par un code et un libellé, avec un indicateur de validité de la table (permet de repérer si une table est en cours de construction sur la cible).

Deuxième fonction de l’outil, la gestion des tables de transcodification.

Ce sont des tables utilisées lors de la reprise de données pour convertir les valeurs des données d’une table source en une autre valeur dans la cible.

images/DP015-05.png
images/DP015-06.png

On retrouve pour une table source la liste de toutes les valeurs, avec en correspondance les valeurs de la table cible, en précisant le nombre d’occurrences concernées pour chaque valeur.

Un indicateur de validation permet de suivre l’avancement de la définition des correspondances.

Pour chacune des valeurs de la source, il est prévu de pouvoir modifier le lien avec une valeur cible (Maj. Lien).

images/DP015-07.png

On sélectionne ensuite la valeur de la donnée cible que l’on veut associer à la valeur de la donnée...

Spécifications des règles

La spécification des règles est intégrée dans un outil commun avec le suivi.

images/DP015-08.png

Pour la partie spécifications des règles, plusieurs fonctionnalités sont accessibles :

  • Catalogue des données cible

  • Catalogue des données source

  • Spécifications détaillées des règles

  • Recherches de données dans les dictionnaires cible et source

  • Rubriques non migrées

  • Restitutions (dossier de spécifications)

1. Catalogue des données cible

Cette fonctionnalité permet de visualiser les données cible, qui sont organisées par lots, avec la possibilité de ne sélectionner que les tables migrées :

images/DP015-09.png
images/DP015-10.png

Chaque table est caractérisée par son nom, son libellé, une version, un top migration, et avec éventuellement le nom du fichier d’origine donnant la description de la table.

On peut modifier les informations de chacune des tables :

images/DP015-11.png

On a également accès à la liste des rubriques de la table :

images/DP015-12.png

Avec un complément d’informations éventuel pour chaque rubrique :

images/DP015-13.png

2. Catalogue des données source

Cette fonctionnalité permet de visualiser les données source, ainsi que les rubriques de chacune des tables :

images/DP015-14.png
images/DP015-15.png

Pour chaque table, on peut obtenir la liste des rubriques :

images/DP015-16.png

3. Spécifications détaillées des règles

Une fois les catalogues de données...

Suivi de projet

Les fonctionnalités présentées ci-après permettent de suivre l’avancement du projet avec :

  • les estimations de charges (budget) ;

  • la saisie du consommé ;

  • l’avancement en nombre de rubriques ;

  • le suivi en nombre de jours pour les phases de spécifications, réalisation et certification statique ;

  • le suivi global en nombre de jours.

images/DP015-39.png

La méthode d’estimation des charges de migration est explicitée dans le chapitre Étude initiale.

On rappelle que la première approche se base sur le nombre de rubriques cible à migrer, en ne prenant que les rubriques dites « fonctionnelles ».

Une fois les tables cible décrites dans l’outil, cette fonctionnalité détermine automatiquement un budget en nombre de jours, avec la répartition par phase :

images/DP015-40.png

Avec le détail pour chacune des tables d’un lot :

images/DP015-41.png

Pour avoir un budget complet, il est nécessaire d’avoir un périmètre des données renseignées complet, ce qui n’est pas toujours le cas au démarrage.

Dans ce cas, il est conseillé d’enregistrer, pour chaque lot non détaillé, une prévision du nombre de rubriques fonctionnelles. Cette approche permet d’avoir une première idée du budget, qui sera affiné au fur et à mesure que l’on inclut dans l’outil...

Certification Statique : contrôles de masse

Les données migrées doivent être contrôlées par comparaison entre des compteurs de données cible et des compteurs de données source.

Plusieurs opérations doivent être effectuées, pour chaque table cible, dans l’ordre indiqué :

  • Identification des compteurs cible.

  • Pour chacun des compteurs, identification des compteurs source et des compteurs de migration.

  • Construction des contrôles entre compteurs cible et compteurs source.

images/DP015-52.png

Première opération, l’enregistrement d’un compteur :

images/DP015-53.png

La table sélectionnée peut être soit une table cible, soit une table source.

Pour chaque table (cible ou source), on enregistre les compteurs que l’on souhaite calculer, avec un nom et un libellé.

Il est présenté ici un outil qui permet d’exécuter, à la demande, la requête qui calcule la valeur de chacun des compteurs spécifiés.

Le nom de la requête est enregistré avec le compteur auquel elle est associée.

Cette requête est développée sous Access (dans l’outil) en se connectant sur les bases support des tables (cible et source). Les temps d’exécution des requêtes de comptage sous Access sont de quelques minutes pour 1 million de lignes.

On verra plus loin que l’intérêt...

Certification Statique : contrôles qualitatifs

Le deuxième type de contrôles à effectuer dans le cadre de la Certification Statique concerne les contrôles dits « qualitatifs ». C’est-à-dire que l’on doit s’assurer que les données reprises l’ont été correctement, en suivant les règles de migration.

Par exemple, il faut s’assurer que l’adresse d’un client est structurée de manière réglementaire, avec, positionnés dans des zones bien précises, le numéro, le type et le nom de rue, le code postal et la ville.

Ces contrôles vont être exécutés sur un échantillon de données.

Il est coutume de demander à la MOA (qui maîtrise le métier) de sélectionner dans le système source des échantillons de données qui présentent une caractéristique particulière et pour lesquels il est opportun d’effectuer les contrôles de reprise.

L’outil présenté ici s’appuie sur un système d’information gérant les données caractérisant les entreprises.

On a identifié une liste d’entreprises, avec leur numéro SIREN, pour lesquelles on va comparer les données cible avec les données source.

images/DP015-61.png

Pour une entreprise, le système...

Chronogramme de bascule

Le process de bascule nécessite de définir les tâches qui vont être déroulées en préparation de la bascule, pendant la fenêtre de bascule et en postbascule.

images/DP015-63.png

Vu le nombre de tâches qui sont généralement à mettre en œuvre, il est indispensable de gérer le chronogramme de bascule (ou chrono) dans un outil.

On peut utiliser Excel, mais l’outil suivant, développé sous Access, offre plus de possibilités.

Première fonctionnalité de l’outil, la construction du chronogramme :

images/DP015-64.png
images/DP015-65.png

Chaque tâche de bascule est enregistrée dans le chronogramme avec les informations suivantes :

  • Un numéro d’ordre, qui permet de suivre la logique séquentielle des tâches. On remarquera que devant ce numéro est ajoutée une lettre qui permet de distinguer les tâches classiques (« T ») des jalons (« J »), qui marquent les séparations des principales étapes du process de bascule.

  • Son positionnement dans le process de bascule, en référence à la date J (date de bascule).

  • Le niveau de la tâche (de 0 à 4), permettant d’effectuer un regroupement des tâches plus ou moins fin.

  • La tour de contrôle qui a la responsabilité du suivi de la tâche (centrale, production, études ou MOA). Une tâche...