Les grandes solutions de gestion de données

Le Data Warehouse

Le Data Warehouse, appelé aussi entrepôt de données, répond clairement à des besoins d’analyse de données (Analytics). On parle ici de décisionnel, a contrario des applications ou plateformes d’échanges de données comme le Data Hub qui ont davantage une vocation de gestion de données opérationnelles (données chaudes). La différence est notable puisque l’objectif d’un tel stockage d’information est de permettre à des utilisateurs d’analyser des données froides (stables) afin qu’ils en déduisent des tendances, qu’ils comprennent des évènements passés, et pourquoi pas, effectuent des prédictions.

L’entrepôt de données porte plutôt bien son nom puisqu’il a pour vocation de stocker dans un espace géant les données stratégiques qui vont faire l’objet d’une analyse ultérieure. On va donc y copier de manière régulière les données opérationnelles et ainsi constituer un historique de données accessible. La conséquence immédiate est que cet entrepôt va croître en volume et d’ailleurs c’est cette accumulation de données qui va faire sa richesse. Une autre réelle caractéristique du Data Warehouse est que l’on n’y modifie jamais les données qui y sont insérées. En réalité, on ne fait qu’y ajouter des informations. Jamais on n’effectuera de suppression physique dans la base de données, on préférera effectuer par exemple une suppression...

Le Data Lake

Un lac de données (ou Data Lake) est un espace de stockage généralisé dans l’entreprise. Sa vocation est de permettre l’agrégation de données de tout type, à tout moment et sans réelles limites. Un Data Lake doit donc permettre et faciliter l’ingestion et le stockage de tout type de données, qu’elles soient structurées, semi ou non structurées. Il doit donc être très flexible et l’immédiate conséquence à cette condition est de ne pas imposer de modélisation.

Pas de schéma de stockage ni d’uniformisation des données donc, les flux de données entrants se contentent de déposer leurs données dans le lac de données. La phase d’intégration est donc grandement simplifiée d’un point de vue contrôle mais elle doit faire face à la contrainte de volume en revanche. De plus, le Data Lake doit proposer aux utilisateurs bon nombre d’outils pour trouver, traiter et transformer a posteriori l’information souvent brute qui a est déposée.

Le véritable revers de la médaille d’une telle flexibilité est que le lac de données peut rapidement devenir chaotique. En effet, sans une rigueur stricte de catalogage des données entrantes, le lac de données peut très vite contenir des données en double, incohérentes, voire pire totalement inconnues (ou du moins dont plus personne ne connaît le sens ou même l’origine). C’est aussi pour cela que les solutions sont bien souvent très outillées en matière d’analyse de...

Le référentiel (MDM)

Le Data Hub

Le Data Hub a - comme son nom le suggère - pour fonction de faciliter les échanges de données entre plusieurs systèmes disparates à des fins opérationnelles et pourquoi pas décisionnelles (a contrario d’initiatives uniquement décisionnelles). C’est donc un service global et centralisé d’interconnexion des données de l’entreprise. Certains définissent le Data Hub comme une zone de stockage de données virtuelle, c’est en réalité bien plus que cela car le Data Hub doit pouvoir aussi gérer les échanges à différentes latences entre des applications ou systèmes qui n’ont pas été conçus pour partager des informations.

Les échanges de données étant opérationnels, cela signifie qu’ils sont nombreux et moins volumineux. Cela implique aussi que les temps de réponse (parfois temps réel) sont un aspect important de ce type de plateforme. Initialement, les grandes solutions de Data Hub ne géraient (pour l’instant) que les données structurées ou semi-structurées, mais avec l’avènement du Big Data, c’est une caractéristique qui évolue et il n’est plus rare de trouver un Data Hub en amont d’un Data Lake par exemple.

L’EDI

Les EDI (Échange de Données Informatisées ou Electronic Data Interchange) sont des solutions qui ont été conçues pour que des entreprises différentes puissent échanger des données. Le besoin est donc très loin d’être nouveau et les premières solutions d’EDI ont vu le jour dans les années 1980, voire même avant. Mais ce qui a fait (et continue de faire) leur succès est la notion de standard qui y est bien souvent apposée.