1. Livres et vidéos
  2. Open Data - Consommation, traitement, analyse et visualisation de la donnée publique

Open Data Consommation, traitement, analyse et visualisation de la donnée publique

  • Accès illimité 24h/24, 7J/7
  • Tous les livres en ligne, les vidéos et les cours enregistrés ENI
  • Plus de 10 nouveautés livres et vidéos chaque mois
  • Les nouveautés disponibles le jour de leur sortie
  • Accès 100% en ligne
  • En stock
  • Expédié en 24h00
  • Livraison à partir de 0,01 €
  • Version en ligne offerte
  • 1 h d'accès gratuit à tous nos livres et vidéos pour chaque commande
  • Accessible immédiatement
  • Version HTML
  • Accès illimité 24h/24, 7J/7

Présentation

Né aux Etats-Unis, le mouvement Open Data consiste à ouvrir informatiquement au public les données issues de l'administration, dans le but de favoriser la transparence de l'action politique mais aussi de participer au développement économique par la création de nouveaux usages. En France, de nombreux portails sont disponibles, du niveau communal au niveau national, depuis quelques années.

Les données publiées sur les sites Open Data français sont très diverses. Elles sont parfois propres, parfois quasi-inutilisables. Elles peuvent être exposées par une API tellement bien faite que son usage est intuitif, ou à l'inverse fournies sous un format abscons et inutilisable sans une phase intense de nettoyage. Elles peuvent porter une richesse d'information énorme ou se révéler extrêmement décevantes à l'usage, de par leur manque de fraîcheur ou de précision.

Face à cette variété folle, ce livre ne vous spécialisera dans aucune technologie ni aucune approche d'analyse ou de visualisation, mais vous mettra le pied à l'étrier sur de nombreuses techniques très différentes de consommation, de façon que vous soyez prêts à tirer de l'information de n'importe quel type de données. D'Excel à QlikView en passant par Tableau ; de Power Query à Open Refine en passant par Wrangler ; de PowerPivot à R Studio en passant par OpenStreetMap, vous naviguerez dans de nombreux usages de la donnée ouverte et saurez au final choisir l'outil qui vous est le mieux adapté pour nettoyer, analyser ou visualiser la donnée Open Data.

En plus de cette approche très pratique de la consommation de données ouvertes, ce livre vous expliquera les fondamentaux de l'approche Open Data, vous informera sur la façon dont les collectivités locales produisent cette donnée, et vous aidera, que vous soyez consommateur ou même producteur, à éviter les pièges des formats. À l'issue de la lecture, votre meilleure connaissance du mouvement, des standards et des outils vous permettra d'aborder un futur où l'Open Data sera de plus en plus importante pour les citoyens.


Les chapitres du livre :
Le mouvement Open Data – Consommer des flux Open Data – Créer des rapports – Analyser de la donnée – Exposer de la donnée publique – Usages futurs

Table des matières

  • Le mouvement Open Data
    • 1. L'approche Open Data
      • 1.1 Principes
      • 1.2 Objectifs
        • 1.2.1 Transparence
        • 1.2.2 Valorisation économique
        • 1.2.3 Service rendu aux citoyens
        • 1.2.4 Valorisation interne
        • 1.2.5 La face cachée de l'Open Data
    • 2. Historique du mouvement
      • 2.1 Débuts internationaux
        • 2.1.1 États-Unis
        • 2.1.2 Royaume-Uni
      • 2.2 Premiers essaimages en France
        • 2.2.1 Contexte législatif
        • 2.2.2 Les villes pionnières
      • 2.3 Mise en place au niveau national
      • 2.4 Massification
        • 2.4.1 Diffusion des portails
        • 2.4.2 Aspect légal
        • 2.4.3 Accompagnement associatif
    • 3. Premiers résultats
      • 3.1 Applications
      • 3.2 Mobilité
      • 3.3 Capteurs
      • 3.4 Usage interne
      • 3.5 Premiers échecs
      • 3.6 Premiers succès
    • 4. Utilisations de la donnée publique
      • 4.1 Centralité de l'usage
      • 4.2 Restriction des formats
      • 4.3 Caractéristiques désirables d'un portail Open Data
      • 4.4 Questions supplémentaires sur la donnée ouverte
  • Consommer des flux Open Data
    • 1. Trouver des flux
      • 1.1 Data.gouv.fr
      • 1.2 Marchés de données
      • 1.3 Sites des collectivités
      • 1.4 Demander des flux
    • 2. Principes de consommation
      • 2.1 Les questions à se poser
      • 2.2 Le choix du bon outil
    • 3. Filtrage de données avec Power Query
      • 3.1 Installation de Power Query
        • 3.1.1 Téléchargement
        • 3.1.2 Activation du module
      • 3.2 Téléchargement d'un jeu de données à filtrer
      • 3.3 Manipulation du jeu de données dans Power Query
        • 3.3.1 Chargement et filtre des données
        • 3.3.2 Gestion de l'erreur de format
        • 3.3.3 Exploitation de la requête
      • 3.4 Approche alternative par utilisation de l'URL
      • 3.5 Affichage des résultats
    • 4. Affinage des données avec OpenRefine
      • 4.1 Installation d'OpenRefine
      • 4.2 Récupération du jeu de données
      • 4.3 Chargement du jeu de données
      • 4.4 Gestion de l'encodage HTML
      • 4.5 Recherche sur mot-clé avec raffinement des mots
      • 4.6 Filtrage sur les places de marché
      • 4.7 Modification de valeurs
      • 4.8 Utilisation de l'histogramme de fréquence
      • 4.9 Retour sur la modification de valeurs
      • 4.10 Exporter les données
    • 5. Manipulation de données structurées avec Wrangler
      • 5.1 Utilisation de l'ancêtre Data Wrangler
        • 5.1.1 Récupération de données brutes
        • 5.1.2 Lancement de Data Wrangler
        • 5.1.3 Restructuration des lignes
        • 5.1.4 Extraction des données
        • 5.1.5 Export des données
      • 5.2 Installation de Trifacta Wrangler
      • 5.3 Retravailler des données avec Trifacta Wrangler
        • 5.3.1 Choix de la source de données
        • 5.3.2 Création d'une source de données
        • 5.3.3 Analyse des histogrammes de colonnes
        • 5.3.4 Gestion de la première ligne
        • 5.3.5 Suppression des lignes vides
        • 5.3.6 Extraction du nom de l'état
        • 5.3.7 Recopie du nom de l'état
        • 5.3.8 Suppression des titres
        • 5.3.9 Changement du nom des colonnes
        • 5.3.10 Pivot inversé sur les données
        • 5.3.11 Export des données
        • 5.3.12 Export du script
    • 6. Recomposition de données déstructurées avec Power Query
      • 6.1 Le bon outil n'est pas toujours celui qu'on croit
      • 6.2 Récupération du jeu de données déstructuré
      • 6.3 Envoi dans Power Query
      • 6.4 Découpage des données
      • 6.5 Typage
      • 6.6 Suppression des lignes vides
      • 6.7 Extraction de la valeur de l'état
      • 6.8 Duplication de la valeur de l'état
      • 6.9 Suppression des lignes de début de blocs
      • 6.10 Opération de pivot
      • 6.11 Renommage des colonnes
      • 6.12 Renommage des étapes
      • 6.13 Exécution de la requête
      • 6.14 Affichage d'un graphique
      • 6.15 Correction de l'erreur
    • 7. Les limites de la restructuration de données
    • 8. Autres fonctionnalités des outils
      • 8.1 Power Query
        • 8.1.1 Retour sur un classeur
        • 8.1.2 Autres transformations
        • 8.1.3 Fusion de requêtes
        • 8.1.4 Affichage du script
        • 8.1.5 Autres sources
      • 8.2 Trifacta Wrangler
        • 8.2.1 Outils avancés
        • 8.2.2 Gestion des données multi-valuées
        • 8.2.3 Pour aller encore plus loin
      • 8.3 OpenRefine
        • 8.3.1 Gestion avancée des facettes
        • 8.3.2 Manipulations de lignes
        • 8.3.3 Manipulations de colonnes
        • 8.3.4 Mécanisme de réconciliation
  • Créer des rapports
    • 1. Visualiser rapidement de la donnée
      • 1.1 Installer Qlik Sense
      • 1.2 Récupérer des données de population
      • 1.3 Démarrer Qlik Sense
      • 1.4 Ajouter des données
      • 1.5 Créer une feuille d'analyse de l'évolution démographique
      • 1.6 Ajouter une feuille d'analyse sur la répartition par sexe
      • 1.7 Manipulation des feuilles
      • 1.8 Plus loin avec Qlik Sense
    • 2. Croiser des données pour plus de puissance
      • 2.1 Installation de QlikView
      • 2.2 Préparation des données pour l'analyse
      • 2.3 Intégration des données dans QlikView
      • 2.4 Mise en place du lien entre les sources
      • 2.5 Affichage et manipulation des données
      • 2.6 Ajout de statistiques
      • 2.7 Mise en place d'un histogramme
      • 2.8 Création d'un tableau
    • 3. Aborder la dataviz
      • 3.1 Concepts de dataviz
      • 3.2 Exemple de règle de représentation conforme
      • 3.3 Installation de Tableau
      • 3.4 Description de l'exemple
        • 3.4.1 Présentation des sources
        • 3.4.2 Préparation des données
      • 3.5 Création d'un classeur Tableau
      • 3.6 Liaison des sources de données
      • 3.7 Suppression des informations inutiles
      • 3.8 Feuille d'analyse des répartitions de votes
        • 3.8.1 Création de la feuille
        • 3.8.2 Description du cas d'usage
        • 3.8.3 Conception de la feuille
      • 3.9 Feuille d'affichage des écarts
      • 3.10 Feuille d'analyse de l'abstention
      • 3.11 Feuille d'analyse de la régionalisation du vote
      • 3.12 Regroupement dans un tableau de bord
    • 4. Une autre approche de la dataviz
      • 4.1 Installation de Power BI Desktop
      • 4.2 Recherche des données
      • 4.3 Intégration des données depuis l'API
      • 4.4 Affichage du budget primitif
      • 4.5 Manipuler les données
      • 4.6 Publication de l'analyse
    • 5. Cartographier la donnée
      • 5.1 Sélection des données
      • 5.2 Nettoyage des données
      • 5.3 Création de la couche dans Google Maps
      • 5.4 Ajout d'un second calque
      • 5.5 Plus loin avec les cartes
    • 6. Traiter des réseaux de données
      • 6.1 Spécificité des réseaux de données
      • 6.2 Récupération de données
      • 6.3 Installation de Gephi
      • 6.4 Création d'un diagramme de réseau
      • 6.5 Export du diagramme
  • Analyser de la donnée
    • 1. Analyse simple
      • 1.1 Récupération des données
      • 1.2 Manipulations préliminaires de l'API
      • 1.3 Insertion dans Excel
      • 1.4 Analyse des données
    • 2. Gérer des données volumineuses
      • 2.1 Définition du volume
      • 2.2 Un mot sur OLAP
      • 2.3 Présentation de Power Pivot
      • 2.4 Import de la donnée dans Power Pivot
      • 2.5 Analyse des données du cube
    • 3. Rapports sur de la donnée issue de cubes
      • 3.1 Présentation de l'exemple
      • 3.2 Intégration des données géographiques
      • 3.3 Génération du rapport
    • 4. Analyse statistique de la donnée
      • 4.1 Une approche plus mathématique
      • 4.2 Choix de la source de données
      • 4.3 Utilisation de R
      • 4.4 Premières manipulations
      • 4.5 Application à l'analyse des émissions
      • 4.6 Avertissement sur la corrélation
    • 5. Aller plus loin
      • 5.1 Outils de BI lourde
      • 5.2 Approches Big Data
  • Exposer de la donnée publique
    • 1. Objectif
    • 2. Préparer un projet Open Data
      • 2.1 Détermination de l’objectif
      • 2.2 Motivations constatées
      • 2.3 Législation et confidentialité des données
      • 2.4 Communication
        • 2.4.1 Communication institutionnelle
        • 2.4.2 Partenariats
        • 2.4.3 Approche par hackathon
        • 2.4.4 Redistribution de notoriété
    • 3. Exécution du projet
      • 3.1 Gestion de la donnée
        • 3.1.1 Choix des sources
        • 3.1.2 Nettoyage de la donnée
        • 3.1.3 Méthode d'exposition
        • 3.1.4 Mise en place d’un catalogue
        • 3.1.5 Gestion du moissonnage
      • 3.2 Construction du site
        • 3.2.1 Déterminer les objectifs
        • 3.2.2 Approche normée de la séparation des responsabilités
      • 3.3 Faire vivre le portail
        • 3.3.1 Référencement
        • 3.3.2 Dans la durée
    • 4. Quelques outils
      • 4.1 Frameworks
        • 4.1.1 CKAN
        • 4.1.2 OGDI
      • 4.2 Outils non spécialisés
      • 4.3 Offre dédiée
  • Usages futurs
    • 1. Plus d’ambition
      • 1.1 Données stratégiques
      • 1.2 Mise à jour en continu
      • 1.3 Diffusion électronique de catalogue
      • 1.4 Utilisation de normes ou de formats pivots
      • 1.5 Croisement des données
      • 1.6 Donnée en 3D
    • 2. Le futur
      • 2.1 Plus loin par du développement
      • 2.2 Flux continu
      • 2.3 Contribution citoyenne
      • 2.4 Internet des objets
      • 2.5 Big Data
      • 2.6 Smart City
      • 2.7 Urbanisation du système d'information
      • 2.8 Transparence
      • Index

Auteur

Jean-Philippe GOUIGOUXEn savoir plus

Ingénieur en Génie des Systèmes Mécaniques (Université de Technologie de Compiègne), diplômé de l'université de Cranfield en Angleterre (Master of science, spécialité Advanced Automation and Design), Jean-Philippe GOUIGOUX est aujourd'hui directeur technique de la société MGDIS, éditeur de logiciels spécialisés dans les architectures microservices et l'urbanisation des systèmes d'information. Jean-Philippe GOUIGOUX est reconnu Microsoft MVP (Most Valuable Professional) dans diverses spécialités depuis 2011. Il intervient régulièrement en conférences sur des sujets informatiques variés allant de la gestion de données à Docker, en passant par la performance en .NET. Passionné par le partage de ses connaissances, il est auteur de plusieurs livres et vidéos parus aux Éditions ENI.

Caractéristiques

  • Niveau Initié à Confirmé
  • Nombre de pages 580 pages
  • Parution mai 2016
    • Livre (broché) - 17 x 21 cm
    • ISBN : 978-2-409-00220-5
    • EAN : 9782409002205
    • Ref. ENI : DPOPE
  • Niveau Initié à Confirmé
  • Parution mai 2016
    • HTML
    • ISBN : 978-2-409-00287-8
    • EAN : 9782409002878
    • Ref. ENI : LNDPOPE

Téléchargements

En complétant ce formulaire, vous acceptez d'être contacté afin de recevoir des informations sur nos produits et services ainsi que nos communications marketing. Vous aurez la possibilité de vous désabonner de nos communications à tout moment. Pour plus d'informations sur notre politique de protection des données, cliquez ici.
  • Des fichiers complémentaires (27,7 Mo)
  • Webographie