Blog ENI : Toute la veille numérique !
En raison d'une opération de maintenance, le site Editions ENI sera inaccessible le mardi 10 décembre, en début de journée. Nous vous invitons à anticiper vos achats. Nous nous excusons pour la gêne occasionnée
En raison d'une opération de maintenance, le site Editions ENI sera inaccessible le mardi 10 décembre, en début de journée. Nous vous invitons à anticiper vos achats. Nous nous excusons pour la gêne occasionnée
  1. Livres et vidéos
  2. Azure Data Factory - Intégrez vos données avec le service serverless d'Azure

Azure Data Factory Intégrez vos données avec le service serverless d'Azure

Informations

Livraison possible dès le 09 décembre 2024
  • Livraison à partir de 0,01 €
  • Version en ligne offerte pendant 1 an
Livres rédigés par des auteurs francophones et imprimés à Nantes

Caractéristiques

  • Livre (broché) - 17 x 21 cm
  • ISBN : 978-2-409-02118-3
  • EAN : 9782409021183
  • Ref. ENI : EPAZDF

Informations

  • Consultable en ligne immédiatement après validation du paiement et pour une durée de 10 ans.
  • Version HTML
Livres rédigés par des auteurs francophones et imprimés à Nantes

Caractéristiques

  • HTML
  • ISBN : 978-2-409-02119-0
  • EAN : 9782409021190
  • Ref. ENI : LNEPAZDF
Préface de Emilie Beau, Cloud Solution Architect Data & AI chez Microsoft Ce livre sur Azure Data Factory (dans sa version V2 de 2018) s'adresse principalement aux développeurs qui souhaitent mettre en œuvre dans leurs applications des solutions d'intégration de données industrialisées et normées, en respectant les bonnes pratiques de l'outil. L'auteur commence par présenter les grands concepts d'Azure Data Factory avant de...
Consulter des extraits du livre en ligne Aperçu du livre papier
  • Niveau Confirmé à Expert
  • Nombre de pages 412 pages
  • Parution octobre 2019
  • Niveau Expert
  • Parution octobre 2019
Préface de Emilie Beau, Cloud Solution Architect Data & AI chez Microsoft

Ce livre sur Azure Data Factory (dans sa version V2 de 2018) s'adresse principalement aux développeurs qui souhaitent mettre en œuvre dans leurs applications des solutions d'intégration de données industrialisées et normées, en respectant les bonnes pratiques de l'outil.

L'auteur commence par présenter les grands concepts d'Azure Data Factory avant de détailler les différentes activités liées aux données (activité de flux de données, activité de traitement, activité de flux de contrôle…). L'auteur met également l'accent sur les Data Flow, véritable révolution au sein des outils d'intégration dans le Cloud, permettant de réaliser des transformations de données graphiquement ou via Power Query.

Dans la suite du livre, il donne les explications nécessaires sur les premiers pipelines, sur l'utilisation du portail Azure, du SDK C# ou encore des templates ARM pour développer efficacement avec Azure Data Factory. Des notions plus avancées sur le développement sont également décrites au travers de différentes approches de l'architecture Data Warehouse. Puis, un chapitre est consacré à l'administration et à la supervision d'Azure Data Factory.

Pour finir, l'auteur présente la notion d'intégration continue permettant au lecteur de capitaliser au maximum sur l'approche DevOps au cœur de l'utilisation d'Azure Data Factory, tout en ayant conscience des subtilités liées à la fois aux architectures cloud et à la modernisation des architectures de données.

Pour illustrer les notions étudiées, l'auteur s'appuie sur un exemple détaillé d'alimentation d'entrepôt et de lac de données, ainsi que sur de nombreux cas d'usages courants tels que l'envoi d'e-mails ou l'actualisation de modèles Analysis Services. Les sources des exemples sont disponibles en téléchargement sur le site www.editions-eni.fr.



Quizinclus dans
la version en ligne !
  • Testez vos connaissances à l'issue de chaque chapitre
  • Validez vos acquis



Découvrez nos formations Microsoft Azure éligibles au CPF en cliquant ici. Formation 100% financée, selon vos droits !

Téléchargements

Introduction
  1. Préface
  2. Avant-propos
Introduction à ADF
  1. Cloud et ETL
  2. Architectures
    1. 1. Architecture SSIS PaaS
    2. 2. Architecture Data Warehouse
      1. a. Approche ELT
      2. b. Approche ETL
    3. 3. Architecture Data Lake
    4. 4. Autres architectures
  3. Positionner ADF et SSIS
Concepts ADF
  1. Présentation générale
  2. Correspondance SSIS - ADF
  3. Outils de développement
    1. 1. Portail Azure Data Factory
    2. 2. SDK .NET
    3. 3. Azure PowerShell
    4. 4. Modèle Azure Resource Manager
    5. 5. API REST
  4. Azure Data Factory
    1. 1. Création du service
    2. 2. Gestion des droits
  5. Services liés
  6. Integration Runtimes
    1. 1. Azure Integration Runtimes
    2. 2. Integration Runtimes Auto-Hébergé
      1. a. Installation d’un IR Auto-Hébergé
      2. b. Partage d’un IR Auto-Hébergé
      3. c. Haute disponibilité et Scalabilité
      4. d. Diagnostics
    3. 3. SSIS Integration Runtimes
  7. Jeu de données
  8. Activité
  9. Pipeline
  10. Déclencheur
    1. 1. Déclencheur sur planification
    2. 2. Déclencheur sur intervalle
    3. 3. Déclencheur sur évènement
  11. Support des connecteurs
    1. 1. Connecteurs Azure
    2. 2. Connecteurs Base de données
    3. 3. Connecteurs NoSQL
    4. 4. Connecteurs Fichiers
    5. 5. Connecteurs génériques
    6. 6. Connecteurs Services et Applications
    7. 7. Connecteurs de service de traitement
Activités et Data Flows en détail
  1. Introduction
  2. Activité de flux de données
    1. 1. Copy Data
    2. 2. Mapping Data Flow
    3. 3. Delete
  3. Activité de traitement
    1. 1. Batch Service
    2. 2. Databricks
      1. a. Notebook
      2. b. Jar
      3. c. Python
    3. 3. Data Lake Analytics
    4. 4. HDInsight
      1. a. Hive
      2. b. Map Reduce
      3. c. Pig
      4. d. Spark
    5. 5. Machine Learning
      1. a. ML Batch Execution
      2. b. ML Update Resource
  4. Activité de flux de contrôle
    1. 1. Général
      1. a. Append Variable
      2. b. Set Variable
      3. c. Validation
      4. d. Azure Function
      5. e. Execute Pipeline
      6. f. Execute SSIS Package
      7. g. Get Metadata
      8. h. Lookup
      9. i. Stored Procedure
      10. j. Web
      11. k. WebHook
      12. l. Wait
    2. 2. Iterations & Conditionals
      1. a. Filter
      2. b. ForEach
      3. c. If Condition
      4. d. Until
Data Flow
  1. Introduction aux Data Flow
  2. Mapping Data Flow
    1. 1. Source et destination
      1. a. Source
      2. b. Sink
    2. 2. Multiples inputs/outputs
      1. a. New Branch
      2. b. Join
      3. c. Conditional Split
      4. d. Union
      5. e. Lookup
      6. f. Exists
    3. 3. Schema modifier
      1. a. Derived Column
      2. b. Aggregate
      3. c. Surrogate Key
      4. d. Select
      5. e. Pivot
      6. f. Window
    4. 4. Row modifier
      1. a. Filter
      2. b. Sort
      3. c. Alter Row
    5. 5. Expression
      1. a. Mathématique
      2. b. Agrégations
      3. c. Texte
      4. d. Date/Temps
      5. e. Type
      6. f. Opérateur logique
      7. g. Opérateur de comparaison
      8. h. Hachage
      9. i. Politique de mise à jour
      10. j. Sélection de colonnes
      11. k. Autre
    6. 6. Configuration avancée
      1. a. Optimize
      2. b. Inspect
      3. c. Data Preview
  3. Wrangling Data Flow
    1. 1. Initialisation
    2. 2. Interface Power Query
      1. a. Liste des requêtes
      2. b. Menu des transformations
      3. c. Étapes
      4. d. Formule
      5. e. Prévisualisation
Développement ADF
  1. Les bases
    1. 1. Convention de nommage
      1. a. Azure Data Factory
      2. b. Pipeline
      3. c. Service lié et jeu de données
      4. d. Activité
      5. e. Mapping Data Flow
  2. Premiers pipelines
    1. 1. Integration Runtimes Auto-Hébergé
    2. 2. Utilisation du portail Azure
      1. a. Création d’un IR Auto-Hébergé
      2. b. Copie de données
      3. c. Débogage
      4. d. Planification
    3. 3. Utilisation du SDK C#
      1. a. Prérequis
      2. b. Le client Data Factory Management
      3. c. Création d’une Azure Data Factory
      4. d. Création d’un IR Auto-Hébergé
      5. e. Création des services liés
      6. f. Création des jeux de données
      7. g. Création du pipeline de copie
      8. h. Déclenchement et planification
    4. 4. Utilisation de Template ARM
      1. a. Prérequis
      2. b. Création d’une Azure Data Factory
      3. c. Création d’un IR Auto-Hébergé
      4. d. Création des services liés
      5. e. Création des jeux de données
      6. f. Création du pipeline de copie
      7. g. Déclenchement et planification
    5. 5. Utilisation de PowerShell
      1. a. Prérequis
      2. b. Création d’une Azure Data Factory
      3. c. Création d’un IR Auto-Hébergé
      4. d. Création des services liés
      5. e. Création des jeux de données
      6. f. Création du pipeline de copie
      7. g. Déclenchement et planification
    6. 6. Quel outil choisir??
Administration et supervision
  1. Administration d’Azure Data Factory
    1. 1. Droits
    2. 2. Identité managée
    3. 3. Gestion des environnements
      1. a. Services liés
      2. b. Déclencheur
    4. 4. Integration Runtimes
  2. Supervision Azure Data Factory
    1. 1. Portail Azure
      1. a. Tableau de bord
      2. b. Exécution de pipeline
    2. 2. Azure Monitor
      1. a. Les métriques
      2. b. Journaux
      3. c. Alertes
    3. 3. Azure Data Factory Analytics
    4. 4. Integration Runtimes
      1. a. Azure
      2. b. Auto-Hébergé
      3. c. SSIS
  3. Gestion des coûts
    1. 1. Orchestration
    2. 2. Exécution
    3. 3. Data Flow
    4. 4. Opérations
    5. 5. Pipelines inactifs
Développement avancé
  1. Présentation du chapitre
  2. Les Templates
  3. Architecture Data Warehouse
    1. 1. Cas d’étude
      1. a. Contexte
      2. b. Architecture
      3. c. Mise en place de l’environnement
      4. d. Accès aux données On-Premise
    2. 2. Approche ELT
      1. a. Chargement SQL
      2. b. Chargement CSV
      3. c. Chargement Excel
      4. d. Chargement API HTTP
      5. e. Traitements des données
      6. f. Gestion des erreurs
    3. 3. Approche ETL avec Mapping Data Flow
      1. a. Integration Runtimes partagé
      2. b. Collecte des données
      3. c. Dimension géographie
      4. d. Dimension client (SCD 2)
    4. 4. Approche ETL avec Wrangling Data Flow
      1. a. Introduction
      2. b. Collecte des données
      3. c. Dimension géographie
    5. 5. Planification
    6. 6. ETL ou ELT, quelle approche choisir??
  4. Cas d'utilisation divers
    1. 1. Gestion de ressource Azure
      1. a. Authentification AAD
      2. b. Actualisation SSAS
      3. c. Démarrage et pause de SQLDW
      4. d. Authentification MSI
    2. 2. Envoyer des e-mails depuis Azure Data Factory
      1. a. Logic App d’envoi de mail
      2. b. Envoi d’e-mails depuis ADF
Intégration continue
  1. Présentation CI/CD et Azure DevOps
  2. Configuration d'un dépôt de code
  3. Développement dans un contexte GIT
  4. Déploiement continu
Conclusion
  1. Développement Azure Data Factory
  2. État de la solution
  3. Perspective d'avenir
Auteur : Charles-Henri  SAUGET

Charles-Henri SAUGET

Charles-Henri Sauget intervient depuis plusieurs années sur des projets Data Platform, de mise en place d'ETL ou d'architecture Azure. Dans ce cadre, il est amené à mettre en œuvre des solutions d'intégration de données. Son expérience de terrain, sa reconnaissance en tant que Microsoft MVP (Most Valuable Professional) Data Platform, ainsi que ses nombreuses contributions en plus de son activité de consulting (formations professionnelles ou en universités, conférences) permettent de proposer aux lecteurs un livre complétement opérationnel sur la mise en œuvre d'Azure Data Factory. L'expérience de terrain des auteurs ainsi que leurs nombreuses contributions en plus de leur activité de consulting (formations professionnelles ou en universités, conférences) permettent de proposer aux lecteurs un livre complétement opérationnel sur la mise en œuvre de projets SSIS.
En savoir plus

Nos nouveautés

voir plus