1. Livres et vidéos
  2. SQL Server Integration Services 2017 - Mise en oeuvre d'un projet ETL avec SSIS

SQL Server Integration Services 2017 Mise en oeuvre d'un projet ETL avec SSIS

  • En stock
  • Expédié en 24h00
  • Livraison à partir de 0,01 €
  • Version en ligne offerte pendant 1 an
  • 1 h d'accès gratuit à tous nos livres et vidéos pour chaque commande
  • Accessible immédiatement
  • Version HTML
  • Accès illimité 24h/24, 7J/7
  • Accès illimité 24h/24, 7J/7
  • Tous les livres en ligne, les vidéos et les cours enregistrés ENI
  • Plus de 10 nouveautés livres et vidéos chaque mois
  • Les nouveautés disponibles le jour de leur sortie
  • Accès 100% en ligne

Présentation

Ce livre sur SSIS 2017 s'adresse autant aux développeurs qui débutent avec SQL Server Integration Services et qui sont à la recherche d'informations sur l'utilisation de la plateforme, qu'à ceux en quête de bonnes pratiques leur permettant de parfaire leurs connaissances. Néanmoins, le lecteur devra disposer de bonnes bases sur le langage SQL, sur le fonctionnement d'une base de données, sur l'administration Azure ou encore sur la gestion des serveurs Windows.

Le livre se concentre sur les éléments de SSIS réellement utiles dans la mise en place de projets ETL afin de rendre le lecteur plus efficace dans ses recherches et ses développements. Il est à la fois un guide théorique sur l'utilisation des composants de SSIS et un recueil de bonnes pratiques de développement, issues de l'expérience significative des auteurs dans ce domaine.

Les deux premiers chapitres présentent SSIS dans sa globalité au travers des grands principes de l'ETL, ainsi que les nouveautés apportées par la version 2017, notamment l'intrication avec la plateforme Azure. Les auteurs s'attachent ensuite à présenter les composants les plus utilisés dans les projets décisionnels, à la fois dans le Flux de Contrôle et le Flux de Données, et détaillent un exemple d'implémentation d'un lot SSIS. Les patterns les plus récurrents et ceux offrant de bonnes performances et utilisant de bonnes pratiques de conception sont également étudiés. Avec un chapitre sur les concepts de développement avancés, le lecteur trouvera une boîte à outils pour la résilience des développements (points de contrôle, transactions). Les tâches post-développement comme l'administration, le déploiement, la journalisation ou encore la sécurité sont ensuite détaillées.

Pour finir, les deux derniers chapitres sont consacrés à l'optimisation des packages via le paramétrage des aspects serveurs et au développement de ses propres composants SSIS.

À chaque chapitre est associé un projet SSDT ainsi que des jeux de données (CSV, base de données SQL…) afin de fournir un maximum d'exemples concrets. Ces éléments sont en téléchargement sur le site www.editions-eni.fr.


Les chapitres du livre :
Avant-propos – Introduction à SSIS – Nouveautés SSIS – Les bases de l'ETL – Concepts de développement avancés – Déploiement et administration – Notions avancées et optimisations – Bases de la programmation de composants



Quizinclus dans
la version en ligne !
  • Testez vos connaissances à l'issue de chaque chapitre
  • Validez vos acquis

Table des matières

  • Introduction à SSIS
    • 1. Présentation de SSIS
      • 1.1 Concepts ETL et ELT
      • 1.2 Architecture
      • 1.3 Les éditions SQL Server
    • 2. Installation et outils
      • 2.1 Installation de SSIS
        • 2.1.1 Installation étape par étape de SSIS
        • 2.1.2 Installation en ligne de commande de SSIS
        • 2.1.3 Finalisation de l'installation
      • 2.2 Installation des outils de développement
  • Nouveautés SSIS
    • 1. Introduction
    • 2. Installation et administration
      • 2.1 Installation sur Linux
      • 2.2 Installation distribuée (Scale Out)
        • 2.2.1 Architecture générale
        • 2.2.2 Installation d'un nœud Master
        • 2.2.3 Installation d'un Worker
        • 2.2.4 Configuration et surveillance du cluster
      • 2.3 Support Always-On de la base SSISDB
      • 2.4 Nouveau rôle SSIS_logreader
      • 2.5 Personnalisation du niveau de journalisation
      • 2.6 Support d'Always Encrypted
      • 2.7 Déploiement incrémental des packages
      • 2.8 Choix de la version de déploiement
    • 3. Composants et tâches
      • 3.1 Les tâches Cloud
        • 3.1.1 Tâche Azure Blob Download Task
        • 3.1.2 Tâche Azure Blob Upload Task
        • 3.1.3 Tâche Azure HDInsight Create Cluster
        • 3.1.4 Tâche de suppression d'un cluster Azure HDInsight
        • 3.1.5 Tâche Hive Azure HDInsight
        • 3.1.6 Tâche Azure HDInsight Pig
        • 3.1.7 Tâche de chargement Azure SQL Data Warehouse (DW)
        • 3.1.8 Tâche de système de fichiers Azure Data Lake Store
      • 3.2 Nouveaux énumérateurs Foreach
        • 3.2.1 Énumérateur HDFS
        • 3.2.2 Énumérateur ADLS
        • 3.2.3 Énumérateur Azure Blob
      • 3.3 Composants Cloud de flux de données
        • 3.3.1 Source Azure Blob
        • 3.3.2 Destination Azure Blob
        • 3.3.3 Source Azure Data Lake Store
        • 3.3.4 Destination Azure Data Lake Store
      • 3.4 Les composants Big Data
        • 3.4.1 Tâche du système de fichiers Hadoop
        • 3.4.2 Tâche Hadoop Hive
        • 3.4.3 Tâche Hadoop Pig
        • 3.4.4 Composant source de fichier HDFS
        • 3.4.5 Composant destination de fichier HDFS
      • 3.5 Les autres composants
        • 3.5.1 Composant de publication de flux de données
        • 3.5.2 Distributeur de données équilibrées
        • 3.5.3 Les parties de package
        • 3.5.4 Déploiement SSIS dans Azure
  • Les bases de l’ETL
    • 1. Présentation et installation de la solution de développement de ce livre
    • 2. Les bases avant une première implémentation
      • 2.1 Généralités
      • 2.2 Le flux de contrôle : généralités
        • 2.2.1 Définition
        • 2.2.2 Le concepteur de flux de contrôle
      • 2.3 Le flux de données : généralités
        • 2.3.1 Objectifs
        • 2.3.2 Le concepteur de flux de données
      • 2.4 Contraintes de précédence versus Pipeline
        • 2.4.1 Contraintes de précédence
        • 2.4.2 Pipeline : les bases
      • 2.5 Gestionnaires de connexions
        • 2.5.1 Définition
        • 2.5.2 Configuration d'un gestionnaire de connexions pour base de données
        • 2.5.3 Configuration d'un gestionnaire de connexions vers des fichiers plats
      • 2.6 Les variables
    • 3. Première implémentation
      • 3.1 Conteneurs
        • 3.1.1 Principes de fonctionnement
        • 3.1.2 Conteneur de boucles ForEach
        • 3.1.3 Conteneur de boucles For
        • 3.1.4 Portée et cloisonnement
      • 3.2 Les expressions
        • 3.2.1 Générateur d'expression
        • 3.2.2 Les bases de la syntaxe
        • 3.2.3 Expressions et gestionnaire de connexions
      • 3.3 Extraire les données : composants source
        • 3.3.1 Composant Source du fichier plat (Flat File Source)
        • 3.3.2 Composant Source OLE DB
        • 3.3.3 Éditeur avancé des composants source
      • 3.4 Transformer les données
        • 3.4.1 Colonne dérivée (Derived column)
        • 3.4.2 Composant Recherche (Lookup)
        • 3.4.3 Composant Transformation du cache
      • 3.5 Charger les données : composants destination
      • 3.6 Entrée et sortie des composants
        • 3.6.1 Définition
        • 3.6.2 Fractionnement conditionnel
        • 3.6.3 Éditeur du chemin d'accès au flux de données
      • 3.7 Les types de données sur SSIS
    • 4. Patterns de développement
      • 4.1 Éviter le composant Tri
      • 4.2 Éviter le composant OLE DB Command
        • 4.2.1 Configuration du composant OLE DB Command
        • 4.2.2 Configuration de la Tâche d'exécution de requêtes SQL
      • 4.3 Jointure SQL versus composant Jointure de fusion
        • 4.3.1 Composant Jointure de fusion (Merge Join)
        • 4.3.2 Composant Fusionner
      • 4.4 Stocker temporairement des données
        • 4.4.1 En base de données
        • 4.4.2 Destination de fichier brut
      • 4.5 Pattern Ignorer l'échec pour le composant Recherche
        • 4.5.1 Composant Unir tout
        • 4.5.2 Ignorer l'échec et colonne dérivée
      • 4.6 Lot SSIS Parent-Enfant
        • 4.6.1 Référence du projet
        • 4.6.2 Référence externe
  • Concepts de développement avancés
    • 1. Gestion de la qualité et du changement dans les données
      • 1.1 Data Quality Services (DQS)
        • 1.1.1 Considérations sur DQS
        • 1.1.2 Nettoyage DQS
      • 1.2 CDC
        • 1.2.1 Qu'est-ce que le CDC ?
        • 1.2.2 Mise en place du CDC
    • 2. Interactions avec SQL Server et SSAS
      • 2.1 Insertion en bloc
      • 2.2 Tâches de maintenance et de transfert d'objets de la base de données
      • 2.3 Tâches relatives à SQL Server Analysis Services (SSAS)
        • 2.3.1 Tâche de traitement Analysis Services
        • 2.3.2 Tâche d’exécution de DDL Analysis Services
        • 2.3.3 Tâche de requête de Data Mining
    • 3. Checkpoints
      • 3.1 Principe général
        • 3.1.1 Cas d'usage classique
        • 3.1.2 Mise en place
        • 3.1.3 Lien entre échec et création de checkpoint
        • 3.1.4 Fonctionnement
      • 3.2 Limitations
        • 3.2.1 Conteneurs mal gérés
        • 3.2.2 Mauvaise gestion du parallélisme
        • 3.2.3 Gestionnaires d’évènements
      • 3.3 Conclusion
    • 4. Transactions
      • 4.1 Principe des transactions
        • 4.1.1 A.C.I.D.
        • 4.1.2 Transactions distribuées
        • 4.1.3 Cas du DTC en réseau
      • 4.2 Mise en place d’une transaction MSDTC dans SSIS
        • 4.2.1 TransactionOption pour activer les transactions
        • 4.2.2 IsolationLevel pour gérer l’interaction avec les autres transactions
        • 4.2.3 Comportement à l’exécution
        • 4.2.4 Analyse des problèmes
        • 4.2.5 Conseils de design de Control Flow dans un cas transactionnel
      • 4.3 Utilisation de transactions natives
        • 4.3.1 BEGIN/ROLLBACK/COMMIT
        • 4.3.2 Implémentation avec des Execute SQL Task et RetainSameConnection
        • 4.3.3 Bonnes pratiques
      • 4.4 Conclusion
  • Déploiement et administration
    • 1. Introduction
    • 2. Le catalogue SSISDB
      • 2.1 Configuration du catalogue
      • 2.2 Rapports de supervision
    • 3. Les objets du catalogue SSIS
      • 3.1 Dossier
      • 3.2 Environnement
      • 3.3 Projet
        • 3.3.1 Les fichiers de déploiement ISPAC
        • 3.3.2 Déployer à l'aide de l'assistant
        • 3.3.3 Déployer en T-SQL
        • 3.3.4 Déployer en PowerShell
        • 3.3.5 Configuration de projet
      • 3.4 Package
        • 3.4.1 Exécution de package
        • 3.4.2 Planification de package
    • 4. La sécurité
      • 4.1 Sécurité niveau SSISDB
      • 4.2 Sécurité niveau dossier
      • 4.3 Sécurité niveau Projet
      • 4.4 Sécurité niveau Environnement
  • Notions avancées et optimisations
    • 1. Introduction
    • 2. Les fondements du flux de données
      • 2.1 La mémoire tampon (buffer)
      • 2.2 Execution Tree et threading
      • 2.3 Les types de composants
      • 2.4 Incidences sur les performances
    • 3. Mesure des performances et diagnostic
      • 3.1 Utilisation des journaux SSISDB
      • 3.2 Utilisation de rapport SSIS
      • 3.3 Journalisation personnalisée
      • 3.4 Utilisation du moniteur de performance
    • 4. Des packages performants
      • 4.1 Utilisation des moteurs relationnels
      • 4.2 Particularités sur les Lookup
      • 4.3 Particularités de Fusion et Jointure de fusion
  • Bases de la programmation de composants
    • 1. Introduction
      • 1.1 Pourquoi développer un nouveau composant ?
      • 1.2 Possibilités offertes par les composants personnalisés
    • 2. Pour bien démarrer
      • 2.1 Quelques notions avant de commencer
      • 2.2 Éléments à installer sur le poste de développement
      • 2.3 Configurer un projet de bibliothèque
    • 3. Exemple d’une tâche de flux de contrôle
      • 3.1 Tâche personnalisée d’envoi d'e-mail
      • 3.2 Rappels sur les composants disponibles
      • 3.3 Héritage et métadonnées
      • 3.4 Vérification de déploiement
      • 3.5 Ajouter des propriétés de configuration
      • 3.6 Implémenter la validation
      • 3.7 La méthode Initialize
      • 3.8 Réaliser un traitement
      • 3.9 Gestionnaire de connexions personnalisées
      • 3.10 Interface utilisateur du gestionnaire de connexions
    • 4. Log Provider, ouverture, logging et fermeture du log
      • 4.1 Création d’un Log Provider
      • 4.2 Interface utilisateur du Log Provider
    • 5. Énumérer sur toute collection avec un ForEachEnumerator
      • 5.1 Création d’un ForEachEnumerator
      • 5.2 Interface utilisateur du ForeachEnumerator
    • 6. Sources, destinations et transformations personnalisées
      • 6.1 Cas d’usage
      • 6.2 Préparation de la solution
      • 6.3 Développement de composant source
    • 7. Débogage
      • 7.1 Débogage des composants personnalisés
      • 7.2 Débogage de l’interface graphique
      • Index

Auteurs

Charles-Henri SAUGETEn savoir plus

Charles-Henri Sauget intervient depuis plusieurs années sur des projets Data Platform, de mise en place d'ETL ou d'architecture Azure. Dans ce cadre, il est amené à mettre en œuvre des solutions d'intégration de données. Son expérience de terrain, sa reconnaissance en tant que Microsoft MVP (Most Valuable Professional) Data Platform, ainsi que ses nombreuses contributions en plus de son activité de consulting (formations professionnelles ou en universités, conférences) permettent de proposer aux lecteurs un livre complétement opérationnel sur la mise en œuvre d'Azure Data Factory. L'expérience de terrain des auteurs ainsi que leurs nombreuses contributions en plus de leur activité de consulting (formations professionnelles ou en universités, conférences) permettent de proposer aux lecteurs un livre complétement opérationnel sur la mise en œuvre de projets SSIS.

François JEHLEn savoir plus

Romuald Coutaud, Patrice Harel et François Jehl, consultants experts sur les outils Microsoft de Business Intelligence, interviennent régulièrement sur la mise en œuvre de solutions décisionnelles tant d’un point de vue architecture que déploiement ou développement. François Jehl est reconnu Microsoft MVP (Most Valuable Professional) sur SQL Server.

Leur activité de conseil, à forte valeur ajoutée, enrichit une réelle expérience terrain et leur permet de proposer aux lecteurs un livre complètement opérationnel sur la mise en œuvre de projets SSIS.

Patrice HARELEn savoir plus

Patrice Harel et Charles-Henri Sauget interviennent sur des projets Data Platform depuis plus de 10 ans. Dans ce cadre, ils sont amenés à mettre en place des projets intégrant SQL Server Integration Services. Charles-Henri Sauget est reconnu Microsoft MVP (Most Valuable Professional) Data Platform.

L'expérience de terrain des auteurs ainsi que leurs nombreuses contributions en plus de leur activité de consulting (formations professionnelles ou en universités, conférences) permettent de proposer aux lecteurs un livre complétement opérationnel sur la mise en œuvre de projets SSIS.

Romuald COUTAUDEn savoir plus

Romuald Coutaud, Patrice Harel et François Jehl, consultants experts sur les outils Microsoft de Business Intelligence, interviennent régulièrement sur la mise en œuvre de solutions décisionnelles tant d’un point de vue architecture que déploiement ou développement. François Jehl est reconnu Microsoft MVP (Most Valuable Professional) sur SQL Server.

Leur activité de conseil, à forte valeur ajoutée, enrichit une réelle expérience terrain et leur permet de proposer aux lecteurs un livre complètement opérationnel sur la mise en œuvre de projets SSIS.

Caractéristiques

  • Niveau Expert
  • Nombre de pages 379 pages
  • Parution août 2018
    • Livre (broché) - 17 x 21 cm
    • ISBN : 978-2-409-01489-5
    • EAN : 9782409014895
    • Ref. ENI : EP17SSIS
  • Niveau Expert
  • Parution août 2018
    • HTML
    • ISBN : 978-2-409-01490-1
    • EAN : 9782409014901
    • Ref. ENI : LNEP17SSIS

Téléchargements

En complétant ce formulaire, vous acceptez d'être contacté afin de recevoir des informations sur nos produits et services ainsi que nos communications marketing. Vous aurez la possibilité de vous désabonner de nos communications à tout moment. Pour plus d'informations sur notre politique de protection des données, cliquez ici.
  • Des fichiers complémentaires_Chap2_à_7 (37,2 Mo)
  • Des fichiers complémentaires_Chap2_Demo (35,1 Mo)
  • Des fichiers complémentaires_Chap2_Demo2 (35,1 Mo)