Sommaire

Le futur de Hadoop

1. Les évolutions matérielles

En termes d’évolutions matérielles, une question qui revient de manière récurrente concerne la possibilité de remplacer les disques durs classiques par des disques durs SSD dans un cluster.

D’un point de vue strictement technique, rien ne s’y oppose. Des expériences ont d’ailleurs été menées en ce sens (cf. par exemple http://hadoopblog.blogspot.fr/2012/05/hadoop-and-solid-state-drives.html).

À l’heure actuelle, on peut néanmoins affirmer que les Disque dur SSDdisques durs SSD ne sont pas mûrs pour être utilisés de manière opérationnelle dans un cluster Hadoop, pour deux raisons principalement :

  • Hadoop - et cela vaut pour d’autres systèmes de gestion de bases de données - est optimisé pour fonctionner avec des disques durs classiques : pour tirer pleinement parti de disques durs SSD, une réécriture au moins partielle de Hadoop devrait être envisagée.

  • La performance d’un disque dur SSD ne se résume pas à sa vitesse en lecture-écriture : les débits en entrée-sortie sont critiques, et ils dépendent de la qualité des contrôleurs et donc de leur prix (encore élevé pour les contrôleurs les plus performants).

2. Les évolutions logicielles

La sortie opérationnelle de la version 2 de Hadoop en octobre 2013 constitue ...