Sommaire

État de la solution

Azure Data Factory n’est pas le successeur de SSIS que certains voudraient voir. Porté par les possibilités offertes par le Cloud, les paradigmes sont différents. Séparation du traitement (Compute) et du stockage, symbiose avec des services extérieurs tels qu’Azure Function, Logic Apps, Azure Key Vault, Azure DevOps sont au cœur de l’architecture d’Azure Data Factory. Si la version 1 de l’outil manquait cruellement de flexibilité et d’outillage, la version 2 combinée avec l’arrivée des Data Flow surpasse de loin son cousin lointain.

L’absence d’intégration au sein de Visual Studio peut de prime abord heurter, mais cela est la garantie de mises à jour régulières au sein du portail Azure qui facilite le déploiement régulier de nouvelles fonctionnalités. De plus, le développement hors ligne n’aurait d’intérêt que s’il était possible de l’exécuter localement, sur un émulateur par exemple et cela ne semble pas prévu.

Avec Mapping Data Flow, un niveau de flexibilité jamais égalé est à portée de main, schéma flexible avec la possibilité de gérer les colonnes dynamiquement, supporter des volumes de données gigantesques et cela, surtout, sans lignes de code. Certes, la technologie est récente et soufre encore de nombreuses limitations.

Wrangling Data Flow ...