1. Supports de cours
  2. Azure Data Factory - Intégrez vos données avec le service serverless d'Azure

Azure Data Factory Intégrez vos données avec le service serverless d'Azure

  • Accès illimité 24h/24, 7J/7
  • Tous les livres en ligne, les vidéos et les cours enregistrés ENI
  • Plus de 10 nouveautés livres et vidéos chaque mois
  • Les nouveautés disponibles le jour de leur sortie
  • Accès 100% en ligne
  • En stock
  • Expédié en 24h00
  • Livraison à partir de 0,01 €
  • Version en ligne offerte
  • 1 h d'accès gratuit à tous nos livres et vidéos pour chaque commande
  • Accessible immédiatement
  • Version HTML
  • Accès illimité 24h/24, 7J/7

Présentation

Préface de Emilie Beau, Cloud Solution Architect Data & AI chez Microsoft

Ce livre sur Azure Data Factory (dans sa version V2 de 2018) s'adresse principalement aux développeurs qui souhaitent mettre en œuvre dans leurs applications des solutions d'intégration de données industrialisées et normées, en respectant les bonnes pratiques de l'outil.

L'auteur commence par présenter les grands concepts d'Azure Data Factory avant de détailler les différentes activités liées aux données (activité de flux de données, activité de traitement, activité de flux de contrôle…). L'auteur met également l'accent sur les Data Flow, véritable révolution au sein des outils d'intégration dans le Cloud, permettant de réaliser des transformations de données graphiquement ou via Power Query.

Dans la suite du livre, il donne les explications nécessaires sur les premiers pipelines, sur l'utilisation du portail Azure, du SDK C# ou encore des templates ARM pour développer efficacement avec Azure Data Factory. Des notions plus avancées sur le développement sont également décrites au travers de différentes approches de l'architecture Data Warehouse. Puis, un chapitre est consacré à l'administration et à la supervision d'Azure Data Factory.

Pour finir, l'auteur présente la notion d'intégration continue permettant au lecteur de capitaliser au maximum sur l'approche DevOps au cœur de l'utilisation d'Azure Data Factory, tout en ayant conscience des subtilités liées à la fois aux architectures cloud et à la modernisation des architectures de données.

Pour illustrer les notions étudiées, l'auteur s'appuie sur un exemple détaillé d'alimentation d'entrepôt et de lac de données, ainsi que sur de nombreux cas d'usages courants tels que l'envoi d'e-mails ou l'actualisation de modèles Analysis Services. Les sources des exemples sont disponibles en téléchargement sur le site www.editions-eni.fr.



Quizinclus dans
la version en ligne !
  • Testez vos connaissances à l'issue de chaque chapitre
  • Validez vos acquis

Table des matières

  • Introduction à ADF
    • 1. Cloud et ETL
    • 2. Architectures
      • 2.1 Architecture SSIS PaaS
      • 2.2 Architecture Data Warehouse
        • 2.2.1 Approche ELT
        • 2.2.2 Approche ETL
      • 2.3 Architecture Data Lake
      • 2.4 Autres architectures
    • 3. Positionner ADF et SSIS
  • Concepts ADF
    • 1. Présentation générale
    • 2. Correspondance SSIS - ADF
    • 3. Outils de développement
      • 3.1 Portail Azure Data Factory
      • 3.2 SDK .NET
      • 3.3 Azure PowerShell
      • 3.4 Modèle Azure Resource Manager
      • 3.5 API REST
    • 4. Azure Data Factory
      • 4.1 Création du service
      • 4.2 Gestion des droits
    • 5. Services liés
    • 6. Integration Runtimes
      • 6.1 Azure Integration Runtimes
      • 6.2 Integration Runtimes Auto-Hébergé
        • 6.2.1 Installation d'un IR Auto-Hébergé
        • 6.2.2 Partage d'un IR Auto-Hébergé
        • 6.2.3 Haute disponibilité et Scalabilité
        • 6.2.4 Diagnostics
      • 6.3 SSIS Integration Runtimes
    • 7. Jeu de données
    • 8. Activité
    • 9. Pipeline
    • 10. Déclencheur
      • 10.1 Déclencheur sur planification
      • 10.2 Déclencheur sur intervalle
      • 10.3 Déclencheur sur évènement
    • 11. Support des connecteurs
      • 11.1 Connecteurs Azure
      • 11.2 Connecteurs Base de données
      • 11.3 Connecteurs NoSQL
      • 11.4 Connecteurs Fichiers
      • 11.5 Connecteurs génériques
      • 11.6 Connecteurs Services et Applications
      • 11.7 Connecteurs de service de traitement
  • Activités et Data Flows en détail
    • 1. Introduction
    • 2. Activité de flux de données
      • 2.1 Copy Data
      • 2.2 Mapping Data Flow
      • 2.3 Delete
    • 3. Activité de traitement
      • 3.1 Batch Service
      • 3.2 Databricks
        • 3.2.1 Notebook
        • 3.2.2 Jar
        • 3.2.3 Python
      • 3.3 Data Lake Analytics
      • 3.4 HDInsight
        • 3.4.1 Hive
        • 3.4.2 Map Reduce
        • 3.4.3 Pig
        • 3.4.4 Spark
      • 3.5 Machine Learning
        • 3.5.1 ML Batch Execution
        • 3.5.2 ML Update Resource
    • 4. Activité de flux de contrôle
      • 4.1 Général
        • 4.1.1 Append Variable
        • 4.1.2 Set Variable
        • 4.1.3 Validation
        • 4.1.4 Azure Function
        • 4.1.5 Execute Pipeline
        • 4.1.6 Execute SSIS Package
        • 4.1.7 Get Metadata
        • 4.1.8 Lookup
        • 4.1.9 Stored Procedure
        • 4.1.10 Web
        • 4.1.11 WebHook
        • 4.1.12 Wait
      • 4.2 Iterations & Conditionals
        • 4.2.1 Filter
        • 4.2.2 ForEach
        • 4.2.3 If Condition
        • 4.2.4 Until
  • Data Flow
    • 1. Introduction aux Data Flow
    • 2. Mapping Data Flow
      • 2.1 Source et destination
        • 2.1.1 Source
        • 2.1.2 Sink
      • 2.2 Multiples inputs/outputs
        • 2.2.1 New Branch
        • 2.2.2 Join
        • 2.2.3 Conditional Split
        • 2.2.4 Union
        • 2.2.5 Lookup
        • 2.2.6 Exists
      • 2.3 Schema modifier
        • 2.3.1 Derived Column
        • 2.3.2 Aggregate
        • 2.3.3 Surrogate Key
        • 2.3.4 Select
        • 2.3.5 Pivot
        • 2.3.6 Window
      • 2.4 Row modifier
        • 2.4.1 Filter
        • 2.4.2 Sort
        • 2.4.3 Alter Row
      • 2.5 Expression
        • 2.5.1 Mathématique
        • 2.5.2 Agrégations
        • 2.5.3 Texte
        • 2.5.4 Date/Temps
        • 2.5.5 Type
        • 2.5.6 Opérateur logique
        • 2.5.7 Opérateur de comparaison
        • 2.5.8 Hachage
        • 2.5.9 Politique de mise à jour
        • 2.5.10 Sélection de colonnes
        • 2.5.11 Autre
      • 2.6 Configuration avancée
        • 2.6.1 Optimize
        • 2.6.2 Inspect
        • 2.6.3 Data Preview
    • 3. Wrangling Data Flow
      • 3.1 Initialisation
      • 3.2 Interface Power Query
        • 3.2.1 Liste des requêtes
        • 3.2.2 Menu des transformations
        • 3.2.3 Étapes
        • 3.2.4 Formule
        • 3.2.5 Prévisualisation
  • Développement ADF
    • 1. Les bases
      • 1.1 Convention de nommage
        • 1.1.1 Azure Data Factory
        • 1.1.2 Pipeline
        • 1.1.3 Service lié et jeu de données
        • 1.1.4 Activité
        • 1.1.5 Mapping Data Flow
    • 2. Premiers pipelines
      • 2.1 Integration Runtimes Auto-Hébergé
      • 2.2 Utilisation du portail Azure
        • 2.2.1 Création d'un IR Auto-Hébergé
        • 2.2.2 Copie de données
        • 2.2.3 Débogage
        • 2.2.4 Planification
      • 2.3 Utilisation du SDK C#
        • 2.3.1 Prérequis
        • 2.3.2 Le client Data Factory Management
        • 2.3.3 Création d'une Azure Data Factory
        • 2.3.4 Création d'un IR Auto-Hébergé
        • 2.3.5 Création des services liés
        • 2.3.6 Création des jeux de données
        • 2.3.7 Création du pipeline de copie
        • 2.3.8 Déclenchement et planification
      • 2.4 Utilisation de Template ARM
        • 2.4.1 Prérequis
        • 2.4.2 Création d'une Azure Data Factory
        • 2.4.3 Création d'un IR Auto-Hébergé
        • 2.4.4 Création des services liés
        • 2.4.5 Création des jeux de données
        • 2.4.6 Création du pipeline de copie
        • 2.4.7 Déclenchement et planification
      • 2.5 Utilisation de PowerShell
        • 2.5.1 Prérequis
        • 2.5.2 Création d'une Azure Data Factory
        • 2.5.3 Création d'un IR Auto-Hébergé
        • 2.5.4 Création des services liés
        • 2.5.5 Création des jeux de données
        • 2.5.6 Création du pipeline de copie
        • 2.5.7 Déclenchement et planification
      • 2.6 Quel outil choisir ?
  • Administration et supervision
    • 1. Administration d’Azure Data Factory
      • 1.1 Droits
      • 1.2 Identité managée
      • 1.3 Gestion des environnements
        • 1.3.1 Services liés
        • 1.3.2 Déclencheur
      • 1.4 Integration Runtimes
    • 2. Supervision Azure Data Factory
      • 2.1 Portail Azure
        • 2.1.1 Tableau de bord
        • 2.1.2 Exécution de pipeline
      • 2.2 Azure Monitor
        • 2.2.1 Les métriques
        • 2.2.2 Journaux
        • 2.2.3 Alertes
      • 2.3 Azure Data Factory Analytics
      • 2.4 Integration Runtimes
        • 2.4.1 Azure
        • 2.4.2 Auto-Hébergé
        • 2.4.3 SSIS
    • 3. Gestion des coûts
      • 3.1 Orchestration
      • 3.2 Exécution
      • 3.3 Data Flow
      • 3.4 Opérations
      • 3.5 Pipelines inactifs
  • Développement avancé
    • 1. Présentation du chapitre
    • 2. Les Templates
    • 3. Architecture Data Warehouse
      • 3.1 Cas d'étude
        • 3.1.1 Contexte
        • 3.1.2 Architecture
        • 3.1.3 Mise en place de l'environnement
        • 3.1.4 Accès aux données On-Premise
      • 3.2 Approche ELT
        • 3.2.1 Chargement SQL
        • 3.2.2 Chargement CSV
        • 3.2.3 Chargement Excel
        • 3.2.4 Chargement API HTTP
        • 3.2.5 Traitements des données
        • 3.2.6 Gestion des erreurs
      • 3.3 Approche ETL avec Mapping Data Flow
        • 3.3.1 Integration Runtimes partagé
        • 3.3.2 Collecte des données
        • 3.3.3 Dimension géographie
        • 3.3.4 Dimension client (SCD 2)
      • 3.4 Approche ETL avec Wrangling Data Flow
        • 3.4.1 Introduction
        • 3.4.2 Collecte des données
        • 3.4.3 Dimension géographie
      • 3.5 Planification
      • 3.6 ETL ou ELT, quelle approche choisir ?
    • 4. Cas d'utilisation divers
      • 4.1 Gestion de ressource Azure
        • 4.1.1 Authentification AAD
        • 4.1.2 Actualisation SSAS
        • 4.1.3 Démarrage et pause de SQLDW
        • 4.1.4 Authentification MSI
      • 4.2 Envoyer des e-mails depuis Azure Data Factory
        • 4.2.1 Logic App d'envoi de mail
        • 4.2.2 Envoi d’e-mails depuis ADF
  • Intégration continue
    • 1. Présentation CI/CD et Azure DevOps
    • 2. Configuration d'un dépôt de code
    • 3. Développement dans un contexte GIT
    • 4. Déploiement continu
  • Conclusion
    • 1. Développement Azure Data Factory
    • 2. État de la solution
    • 3. Perspective d'avenir
    • Index

Auteur

Charles-Henri SAUGETEn savoir plus

Charles-Henri Sauget intervient depuis plusieurs années sur des projets Data Platform, de mise en place d'ETL ou d'architecture Azure. Dans ce cadre, il est amené à mettre en œuvre des solutions d'intégration de données. Son expérience de terrain, sa reconnaissance en tant que Microsoft MVP (Most Valuable Professional) Data Platform, ainsi que ses nombreuses contributions en plus de son activité de consulting (formations professionnelles ou en universités, conférences) permettent de proposer aux lecteurs un livre complétement opérationnel sur la mise en œuvre d'Azure Data Factory. L'expérience de terrain des auteurs ainsi que leurs nombreuses contributions en plus de leur activité de consulting (formations professionnelles ou en universités, conférences) permettent de proposer aux lecteurs un livre complétement opérationnel sur la mise en œuvre de projets SSIS.

Caractéristiques

  • Niveau Confirmé à Expert
  • Nombre de pages 412 pages
  • Parution octobre 2019
    • Livre (broché) - 17 x 21 cm
    • ISBN : 978-2-409-02118-3
    • EAN : 9782409021183
    • Ref. ENI : EPAZDF
  • Niveau Expert
  • Parution octobre 2019
    • HTML
    • ISBN : 978-2-409-02119-0
    • EAN : 9782409021190
    • Ref. ENI : LNEPAZDF

Téléchargements

En complétant ce formulaire, vous acceptez d'être contacté afin de recevoir des informations sur nos produits et services ainsi que nos communications marketing. Vous aurez la possibilité de vous désabonner de nos communications à tout moment. Pour plus d'informations sur notre politique de protection des données, cliquez ici.
  • Des fichiers complémentaires (41,5 Mo)