Sommaire

Un exemple de cluster Hadoop Cluster Hadoop:exemple

La plupart des entreprises qui s’intéressent à Hadoop, qu’elles exploitent déjà un ou plusieurs clusters ou qu’elles envisagent de le faire, rechignent à communiquer sur le sujet. En effet, pour beaucoup d’entre elles Hadoop est au cœur de leur réflexion stratégique et en parler reviendrait à mettre sur la place publique une partie de cette stratégie.

Généralités

En France, fin 2013, beaucoup de clusters Hadoop semblent être encore de taille modeste comparé aux clusters des géants de l’informatique que sont les sociétés américaines Apple, Facebook, Google, Twitter, Yahoo! et consorts.

Yahoo!Yahoo! disposerait par exemple de plus de 42 000 nœuds répartis entre plusieurs clusters.

images/07EP02.png

Un cluster Hadoop (source : Yahoo!)

Mi-2010, Facebook disposait d’un cluster Hadoop comprenant plus de 2 000 nœuds. Chaque nœud comprenait 8 ou 16 cœurs, 32 Go de RAM et 12 To d’espace disque. La capacité totale de stockage du cluster était de 21 Po.

Les clusters français comptent souvent 4 à 6 nœuds esclaves et 2 nœuds maîtres (un nœud pour le NameNode et le JobTracker et un nœud pour le Secondary NameNode).

On peut cependant penser qu’il existe des clusters plus importants, par exemple chez les grands opérateurs de téléphonie ...