Conclusion

Nous avons parcouru quatre grands chapitres pour découvrir Spark. Nous avons commencé par voir l’infrastructure et les rouages de ce framework. Sa grande spécialité étant le calcul distribué, cela a des impacts sur la manière dont nous développons avec Spark. Même sans être opérateur système, il est important de comprendre l’architecture de l’outil.

Ce livre est une introduction à Apache Spark, un framework robuste qui permet le traitement de forts volumes de données. Il n’est cependant pas exhaustif. Vous aurez peut-être besoin de davantage vous spécialiser en streaming. Ou dans la science des données, auquel cas le composant Spark MLlib deviendra très important pour vous et c’est ce que vous approfondirez. Vous devriez à présent avoir les bases pour exploiter efficacement vos données avec Apache Spark. Bon voyage !