Déboguer avec Spark

a. Vision par l’intermédiaire du schéma

Au moment de déboguer, plusieurs options s’offrent à vous. Tout d’abord, le framework vous donne des logs. S’il s’agit d’une erreur de code, le message d’erreur affiché par l’outil devrait suffire. Si ce n’est pas le cas, vous devez aller plus loin. Les logs de Spark risquent de vous paraître très verbeux et peu intéressants. Vous pouvez les filtrer en vous concentrant sur les logs de type « warning » ou « error ». Utiliser l’espace de logs pour créer des informations personnalisées propres à votre application est utile. Utiliser l’espace de logs pour afficher des informations personnalisées propres à votre application (par exemple, le nombre de lignes retournées par un filtre) est utile. Mais cela est coûteux pour Spark et il faut veiller à loguer ce qui est important pour vous. Puis, pour déboguer, il y a l’interface graphique de Spark. C’est l’objet de cette section. Afin de la présenter, nous allons faire un petit programme. Nous reprenons une liste de diamants. Nous souhaitons conserver ceux dont le prix est supérieur à 50. Nous groupons par couleur et calculons le tarif moyen pour chacune. Pour simplifier, nous effectuons le travail sur une seule partition en faisant appel à la fonction coalesce.

Nous finissons...