Sommaire

Les Matériel:nœuds maîtresnœuds maîtres

Les nœuds maîtres sont critiques pour le bon fonctionnement de Hadoop. (cf chapitres HDFS, MapReduce et Les apports de la version 2 de Hadoop).

Dans un cluster fonctionnant avec la version 1 de Hadoop ils sont au nombre de deux :

  • Le NameNode.

  • Le JobTracker.

Dans les clusters de petite taille, il n’est pas rare que les daemons NameNode et JobTracker s’exécutent sur la même machine.

Dans un cluster fonctionnant avec la version 2 de Hadoop en mode High Availability, les nœuds maîtres sont au nombre de trois :

  • L’Active NameNode.

  • Le Standby NameNode.

  • Le ResourcesManager.

Si HBase est utilisé, le HBase Master est considéré comme un nœud maître.

Les daemons maîtres doivent s’exécuter sur des serveurs assez haut de gamme (type serveur dual socket 1U ou 2U) présentant les caractéristiques minimales suivantes :

  • Alimentation électrique redondante.

  • Deux CPU à quatre cœurs (2,5 à 3 GHz).

  • De 24 à 64 Go de mémoire vive (DDR3).

  • Un contrôleur de disques SAS à 6 Go/s.

  • Deux disques durs au moins, en mode RAID 1.

  • Deux liens 1 Gigabit Ethernet (GbE), voire 10 GbE, en mode agrégé (bonded) pour améliorer la fiabilité.

La taille de la mémoire vive dépend du nombre d’objets (fichiers et blocs) présents dans le cluster Hadoop. Une taille de mémoire de 64 Go ...