Améliorer les performances algorithmiques

1. Les performances dans l’apprentissage automatique

Nous avons beaucoup parlé de performances temporelles jusqu’ici. Nous avons vu comment accélérer les traitements de Spark. À présent, intéressons-nous à une autre forme de performances : celles des algorithmes d’apprentissage automatique que nous utilisons. Pour rappel, nous avons vu qu’il y a des manières d’évaluer les méthodes que nous choisissons. Malgré tout, tout passer dans la moulinette d’évaluation peut être chronophage. C’est pourtant la seule façon de sélectionner la meilleure méthode à utiliser. Dans le monde de l’apprentissage automatique existe le concept de machine learning automatisé, ou autoML. Il s’agit de laisser la machine tester différents algorithmes sur nos données. C’est pratique pour se donner une idée de la meilleure méthode à implémenter. Une fois cela fait, il faut encore choisir les hyperparamètres à fournir. Spark ne contient pas d’outil d’autoML par défaut. Vous pouvez toutefois utiliser les algorithmes disponibles dans le framework dans une librairie externe dédiée à l’autoML. Cela vous permettra de sélectionner le plus adéquat. Ce que Spark vous propose en revanche, c’est une manière d’opter pour les meilleurs...