Web Scraping ou Data Scraping

1. Présentation de l’application

Comme indiqué ci-avant, l’enjeu est de récupérer la liste de données qu’affiche le script accessible à l’adresse http://christian.vigouroux.online.fr/uipath/personnes.html :

Le processus UiPath ne se contentera pas de faire un affichage de contrôle de chaque enregistrement, mais en fera une exploitation plus poussée en reportant les données extraites par Web Scraping dans une table MySQL nommée personnes_webscraping stockée dans notre base de données MySQL habituelle uipath.

La structure de cette table personnes_webscraping sera la suivante :

Cette structure pourra être créée via le script SQL ci-dessous :

CREATE TABLE IF NOT EXISTS `personnes_webscraping` ( 
  `personne_id` int(11) NOT NULL AUTO_INCREMENT, 
  `nom` char(20) DEFAULT NULL, 
  `prenom` char(20) DEFAULT NULL, 
  `age` int(11) DEFAULT '0', 
  `genre` char(1) DEFAULT NULL, 
  PRIMARY KEY (`personne_id`) 
) ENGINE=MyISAM  DEFAULT CHARSET=utf8 AUTO_INCREMENT=0 ;  

2. Application UiPath

Le processus étant relativement long et complexe, il est présenté ci-après avec ses activités pour la plupart pliées :

Contrôlons de suite les dépendances requises pour ce traitement :

La bibliothèque Python est bien évidemment nécessaire pour exécuter un script Python depuis l’environnement UiPath. La bibliothèque WebAPI servira à désérialiser le flux JSON produit par l’application Python. Enfin, la bibliothèque DataBase nous sera utile pour stocker les données lues par l’opération de Web Scraping, assurée conjointement par Python et sa bibliothèque Beautiful Soup, dans la table MySQL personnes_webscraping.

La première activité du processus assigne des valeurs à des chemins nécessaires au bon fonctionnement de Python. Elle est identique à celles vues dans le chapitre Utilisation...

1. Présentation de l’application

Dans l’application précédente, l’opération de Web Scraping (ou Data Scraping) était relativement facilitée par le peu de complexité de la page explorée (liste de personnes sur un site web mise en place par l’auteur).

Comme annoncé dans l’introduction de ce chapitre, notre deuxième application sera basée sur une page web que nous n’avons pas mise nous-mêmes en ligne, le palmarès du Tour de France cycliste masculin.

Nous utiliserons la page Wikipédia donnant ce palmarès (sous forme d’un tableau HTML), disponible à l’adresse https://fr.wikipedia.org/wiki/Palmar%C3%A8s_du_Tour_de_France. 

Le début du tableau (la première édition a eu lieu en 1903) se présente comme suit :

Nous nous intéresserons uniquement aux quatre premières colonnes du tableau (voir ci-avant) alors qu’en réalité il en compte quatorze.

Un report partiel des données sera réalisé dans un classeur Excel (Palmarès_TDF.xlsx) après l’extraction.

2. Application UiPath

Le workflow présente des similitudes avec la section Application « Web Scraping - Liste des personnes » tout en étant plus conséquent. Une présentation avec un grand nombre de blocs pliés en est faite ci-après :

Déployons la séquence Paramétrage de l’environnement Python :

Comme vous le constatez, aucune différence notable dans cette séquence, nous y retrouvons les mêmes activités que celles vues pour l’application précédente.

Le seul point de différence est bien entendu le chemin du script Python à exécuter.

La variable cheminScriptPython sera uniquement utilisée pour le chargement du script Python, tous les autres fichiers (fichier JSON et classeur Microsoft Excel) étant placés dans le répertoire du processus UiPath.

Passons au cœur du traitement, l’opération de Web Scraping :

Cette séquence est très conséquente et les activités incluses sont pour le moment pliées...

1. Présentation de l’application

L’enjeu est de récupérer la liste de données qu’affiche le script accessible à l’adresse http://christian.vigouroux.online.fr/uipath/personnes.html :

Contrairement à ce qui a été effectué dans la section Application « Web Scraping - Liste des personnes » sur cette même liste, nous n’allons pas utiliser un script Python basé sur la bibliothèque Python Beautiful Soup, mais un assistant intégré à UiPath Studio.

Le processus UiPath ne se contentera pas de faire un affichage de contrôle de chaque enregistrement, mais en fera une exploitation plus poussée en reportant les données extraites par Web Scraping dans un fichier CSV personnes.csv. Ce fichier pourra ensuite être chargé sous Microsoft Excel. Cette opération supplémentaire aurait même pu être effectuée en fin de processus UiPath.

2. Application UiPath

Avant toute chose, avant d’envisager une opération de Web Scraping directement sous UiPath Studio, il convient d’installer dans le navigateur internet que vous avez l’intention d’utiliser une extension pour UiPath.