Ce livre sur le langage Python 3 s'adresse à tout professionnel de l'informatique, ingénieur, étudiant, enseignant ou même autodidacte qui souhaite maîtriser ce langage très abouti. L'objectif de ce livre est de montrer au lecteur ce que l'on peut faire avec le langage, du traitement de données à la création d'un site web, en passant par la gestion du système et du réseau. Pour bien appréhender son contenu, la lecture du livre dont il est la suite, Python 3 - Les fondamentaux du langage chez le même éditeur, est recommandée.

La première partie couvre le traitement de données avec la manipulation de fichiers, les fichiers de configuration, les formats d'import/export, la gestion de la compression ou encore les flux XML ou la génération de documents.

La seconde partie présente la programmation système, la programmation réseau, la programmation web et la programmation scientifique, qui sont autant de niches dans lesquelles le langage Python excelle par sa simplicité d'utilisation autant que par sa couverture fonctionnelle exceptionnelle.

La troisième partie présente tous les outils de programmation concurrente, qu'il s'agisse de programmation asynchrone, parallèle ou distribuée. On notera que l'accent est mis sur de nombreuses techniques asynchrones, car il s'agit de l'un des points majeurs de l'évolution récente du langage Python.

Le code source des exemples du livre est intégralement téléchargeable sur www.editions-eni.fr pour permettre au lecteur de tester le programme et de le modifier à sa guise de manière à faire ses propres expériences.

Téléchargements

• Des fichiers complémentaires (37 235 Ko)

Avant-propos

1. Introduction

Motifs de conception

1. Définition
   1. 1. Positionnement par rapport à la notion d’objet
   2. 2. Organisation du chapitre
   3. 3. Positionnement par rapport à d’autresconcepts
2. Motifs de création
   1. 1. Singleton
   2. 2. Fabrique
   3. 3. Fabrique abstraite
   4. 4. Monteur
   5. 5. Prototype
3. Motifs de structuration
   1. 1. Adaptateur
   2. 2. Pont
   3. 3. Composite
   4. 4. Décorateur
   5. 5. Façade
   6. 6. Poids-mouche
   7. 7. Proxy
4. Motifs de comportement
   1. 1. Chaîne de responsabilité
   2. 2. Commande
   3. 3. Itérateur
   4. 4. Mémento
   5. 5. Visiteur
   6. 6. Observateur
   7. 7. Stratégie
   8. 8. Fonction de rappel
5. ZCA
   1. 1. Rappels
   2. 2. Adaptateur
   3. 3. Utilitaire
   4. 4. Fabrique
   5. 5. Pour aller plus loin

XML

1. XML et les technologies qui gravitent autour
   1. 1. Définition de XML, terminologie associée
   2. 2. Notion de schéma
   3. 3. Avantages et inconvénients de XML
   4. 4. Différentes manières de parcourirun fichier XML
   5. 5. Modules Python dédiés au XML
2. Valider un document XML
   1. 1. Document XML
   2. 2. Schéma DTD
   3. 3. Schéma XSD
   4. 4. Schéma RNG (RelaxNG)
   5. 5. Schematron
3. DOM
   1. 1. Lecture
   2. 2. Écriture
4. SAX
   1. 1. Support de SAX dans lxml
   2. 2. API SAX Allégée
5. XPath
6. XSLT
7. Cas spécifique des fichiers HTML
   1. 1. Problématique
   2. 2. Parser un fichier HTML à la façonDOM
   3. 3. Parser un fichier HTML à la façonSAX

Génération de contenu

1. PDF
   1. 1. Présentation
      1. a. Format PDF
      2. b. Avantages
      3. c. Inconvénients
      4. d. Présentation de la bibliothèquelibre
   2. 2. Bas niveau
      1. a. Bibliothèque de données
      2. b. Canvas
   3. 3. Haut niveau
      1. a. Styles
      2. b. Flux de données
      3. c. Création d’un visuel
      4. d. Template de page
      5. e. Page contenant plusieurs zones
2. Générer un document PDF depuis une page HTML
   1. 1. Présentation
   2. 2. Installation
   3. 3. Utilisation
3. OpenDocument
   1. 1. Présentation
   2. 2. ezodf2
      1. a. Installation
      2. b. OpenDocument Texte
      3. c. OpenDocument Tableur
      4. d. Aller plus loin
   3. 3. Alternatives
4. Travailler avec des images
   1. 1. Représentation informatique d’uneimage
   2. 2. Présentation de Pillow
   3. 3. Formats d’images matricielles
   4. 4. Récupérer des informations d’uneimage
   5. 5. Opérations d’ensemble sur une image
   6. 6. Travailler avec les calques ou les pixels
5. Fichiers de configuration
   1. 1. Format YAML
   2. 2. Format TOML

Qualité

1. Programmation dirigée par les tests
   1. 1. Tests unitaires
      1. a. Principes
      2. b. Interprétation
      3. c. Couverture
      4. d. Outils
      5. e. Autres outils
   2. 2. Tests de non-régression
      1. a. Actions de développement
      2. b. Gestion de la découverte d’une anomaliepar une MOA
   3. 3. Tests fonctionnels
   4. 4. Tests de performance
   5. 5. Tests syntaxiques
   6. 6. Intégration continue
2. Programmation dirigée par la documentation
   1. 1. Documentation interne
      1. a. À destination des développeurs
      2. b. À destination des utilisateurs
   2. 2. Documentation externe
      1. a. Présentation
      2. b. Démarrage rapide
      3. c. Résultat
3. Optimisation
   1. 1. Qualimétrie
   2. 2. Outils de débogage
   3. 3. Outils de profilage
   4. 4. Règles d’optimisation
      1. a. Pourquoi optimiser ?
      2. b. Règles générales
      3. c. Profiler un algorithme
      4. d. Optimiser l’utilisation de la mémoire

Programmation système

1. Présentation
   1. 1. Définition
   2. 2. Objectifs du chapitre
2. Appréhender son système d’exploitation
   1. 1. Avertissement
   2. 2. Système d’exploitation
   3. 3. Processus courant
   4. 4. Utilisateurs et groupes
   5. 5. Mots de passe et authentification
   6. 6. Constantes pour le système de fichiers
   7. 7. Gérer les chemins
   8. 8. Utilitaires
      1. a. Comparer deux fichiers
      2. b. Utilitaire de sauvegarde
      3. c. Lire un fichier de configuration
      4. d. Pickle
   9. 9. Compresser et décompresser un fichier
      1. a. Tarfile
      2. b. Gzip
      3. c. Bz2
      4. d. LZMA
      5. e. Zipfile
      6. f. Interface de haut niveau
3. Gestion d’un fichier
   1. 1. Changer les droits d’un fichier
   2. 2. Changer de propriétaire ou de groupe
   3. 3. Récupérer des informations sur unfichier
   4. 4. Supprimer un fichier
4. Alternatives simples à des commandes bash usuelles
   1. 1. Répertoires
   2. 2. Fichiers
   3. 3. Module de haut niveau
   4. 4. Recherche d’un fichier
5. Exécuter des commandes externes
   1. 1. Exécuter et afficher le résultat
   2. 2. Exécuter et récupérer lerésultat
   3. 3. Pour Python 3.5 et supérieur
6. IHM système
   1. 1. Présentation
   2. 2. Travailler avec des arguments
   3. 3. Fermeture du programme
   4. 4. Entrée standard
   5. 5. Sortie standard
   6. 6. Sortie d’erreur
   7. 7. Taille du terminal
7. Curses
   1. 1. Présentation
   2. 2. Gérer le démarrage et l’arrêt
   3. 3. Affichage de texte
   4. 4. Gestion des attributs
   5. 5. Gestion des couleurs
   6. 6. Gestion des événements
8. Accès aux périphériques
   1. 1. Introduction
   2. 2. Voir les partitions
   3. 3. Voir les clés USB
   4. 4. Liste des informations disponibles
   5. 5. Détecter le branchement d’une clé USB
   6. 6. Communiquer via un port série
   7. 7. Communiquer via un port USB

Programmation réseau

1. Écrire un serveur et un client
   1. 1. Utilisation d’une socket TCP
   2. 2. Utilisation d’une socket UDP
   3. 3. Création d’un serveur TCP
   4. 4. Création d’un serveur UDP
   5. 5. Un peu plus loin sur le sujet
2. Utiliser un protocole standard
   1. 1. Client HTTP
   2. 2. Serveur HTTP
   3. 3. Proxy
   4. 4. Cookies
   5. 5. FTP et SFTP
   6. 6. SSH
   7. 7. POP et POPS
   8. 8. IMAP et IMAPS
   9. 9. SMTP et SMPTS
   10. 10. NNTP
   11. 11. IRC
3. Wake-on-LAN
   1. 1. Prérequis
   2. 2. Mise en œuvre

Programmation web

1. Services web
   1. 1. REST
   2. 2. SOAP
   3. 3. Pyro
2. Client web
3. Web scrapping

Programmation scientifique

1. Calcul scientifique
   1. 1. Présentation
   2. 2. Python, une alternative libre et crédible
   3. 3. Vue d’ensemble de quelques bibliothèques
2. Tableaux multidimensionnels
   1. 1. Création
   2. 2. Déterminer la composition d’un tableau
   3. 3. Générateurs de tableaux
   4. 4. Opérations basiques
   5. 5. Opérateur crochet
3. Matrices
4. Génération de graphiques
   1. 1. Syntaxe MATLAB
   2. 2. Syntaxe objet
   3. 3. Mise en forme
   4. 4. Graphiques 3D
5. Introduction à Pandas
   1. 1. Présentation
   2. 2. Séries
   3. 3. Dataframes

Initiation à la programmation concurrente

1. Notion de performance
   1. 1. Programmation bloquante
   2. 2. Utilisation de ressources CPU
   3. 3. Organisation de l’application
2. Terminologie
   1. 1. Processus
   2. 2. Fil d’exécution
   3. 3. Programmation non bloquante
   4. 4. Notion de GIL
3. Présentation des paradigmes
   1. 1. Programmation asynchrone
   2. 2. Programmation parallèle
   3. 3. Programmation distribuée
   4. 4. Programmation concurrente

Programmation asynchrone : initiation

1. Utilité de la programmation asynchrone
2. Introduction à l’asynchrone
   1. 1. Notion de coroutine
   2. 2. Exécution d’une coroutine
   3. 3. Précisions sur le mot-clé await
   4. 4. Exécuter plusieurs coroutines en séries
   5. 5. Tâches asynchrones
   6. 6. Exécuter les tâches asynchronesde manière concurrente
   7. 7. Notion d’awaitable
   8. 8. Précisions sur asyncio.sleep
3. Éléments de grammaire
   1. 1. Gestionnaire de contexte asynchrone
   2. 2. Générateurs asynchrones
   3. 3. Compréhensions asynchrones
   4. 4. Itération asynchrone
4. Notions avancées
   1. 1. Introspection
   2. 2. Gestion du résultat ou de l’exception
   3. 3. Annuler une tâche
   4. 4. Se prémunir d’une annulation
   5. 5. Timeouts
   6. 6. Gestion globale fine de l’attente
   7. 7. Module contextvars
5. Boucle événementielle asynchrone
   1. 1. Gestion de la boucle
   2. 2. Débogage
   3. 3. Notion de future
   4. 4. Annulation
   5. 5. Gestion des exceptions
6. Utiliser la boucle événementielle
   1. 1. Utilisation des fonctions de retour (callbacks)
   2. 2. Planifier des appels à des fonctions classiques
   3. 3. Utiliser des signaux
   4. 4. Synchronisation
   5. 5. Communication entre coroutines
   6. 6. Exemple : lecture de l’entréestandard
   7. 7. Programmation parallèle et asynchrone
   8. 8. Exécuter du code bloquant
7. L’asynchrone suivant les versions de Python
   1. 1. Python 3.7
   2. 2. Python 3.6
   3. 3. Python 3.5
   4. 4. Python 3.4
   5. 5. Python 3.3 et inférieur
   6. 6. Python 2.7
8. Cas concret
   1. 1. Exemple de travail
9. Exemple retravaillé en utilisant des générateurs
   1. 1. Télécharger en asynchrone
   2. 2. Parser en asynchrone
   3. 3. Faire plusieurs traitements en asynchrone
   4. 4. Utiliser un exécuteur
   5. 5. Pour aller plus loin

Programmation asynchrone : avancée

1. Transports et protocoles
   1. 1. Introduction
   2. 2. Transports
   3. 3. Protocoles
   4. 4. Mise en œuvre
   5. 5. Exemple pour le protocole TCP
   6. 6. Exemple pour le protocole SSL
   7. 7. Exemple pour le protocole UDP
   8. 8. Traiter d’autres types de protocoles réseau
   9. 9. Exemple pour Subprocess
2. Flux
   1. 1. Introduction
   2. 2. Exemple avec le protocole TCP

Programmation asynchrone : alternatives

1. Gevent
   1. 1. Introduction
   2. 2. DNS
   3. 3. Appels système
   4. 4. Programmation asynchrone
2. Twisted
   1. 1. Introduction
   2. 2. Client/serveur TCP
   3. 3. Serveur/client UDP
   4. 4. AMP
   5. 5. Autres protocoles
3. Trollius
4. HTTP asynchrone avec aiohttp
   1. 1. Côté serveur
   2. 2. Côté client

Programmation parallèle

1. Utilisation d’un fil d’exécution
   1. 1. Gestion d’un fil d’exécution
      1. a. Présentation
      2. b. Création
   2. 2. Gestion de plusieurs fils d’exécution
      1. a. Lancement et contrôle
      2. b. Opportunité d’utiliser un fil d’exécution
   3. 3. Résolution des problématiques liées
      1. a. Synchronisation
      2. b. Synchronisation conditionnelle
      3. c. Sémaphore
2. Utilisation de processus
   1. 1. Gestion d’un processus
      1. a. Présentation
      2. b. Création
   2. 2. Gestion de plusieurs processus
      1. a. Synchronisation
      2. b. Paralléliser un travail
   3. 3. Résolution des problématiques liées
      1. a. Communication interprocessus
      2. b. Partage de données entre processus
   4. 4. Opportunité d’utiliser les processus
   5. 5. Démon
3. Exécution asynchrone
   1. 1. Introduction
   2. 2. Présentation

Programmation distribuée

1. Définitions
2. ØMQ
   1. 1. Présentation générale
   2. 2. Pair
   3. 3. Client/serveur
   4. 4. Publish/subscribe
   5. 5. PUSH/PULL
   6. 6. Patron pipeline
3. AMQP avec RabbitMQ
   1. 1. Installation
   2. 2. Configuration
   3. 3. Introduction
   4. 4. Notions importantes
   5. 5. Publish/subscribe
   6. 6. Routage et sujets
4. Kafka
   1. 1. Présentation
   2. 2. Principes généraux
   3. 3. Client Kafka
   4. 4. Faust
5. Celery
   1. 1. Présentation
   2. 2. Dans quel cas utiliser Celery ?
   3. 3. Installation
   4. 4. Configuration
   5. 5. Utilisation
   6. 6. Monitorer
6. Crossbar
   1. 1. Présentation
   2. 2. WebSocket
   3. 3. Publish/subscribe