Sommaire

Principe de fonctionnement

Le fonctionnement de HDFS est assuré par trois types de Deamondeamons :

  • Le NameNode ( NNNN), qui est un nœud maître Master node(master node) et qui dispose d’une machine dédiée.

  • Le SecondaryNameNodeSecondaryNameNode ( SNNSNN), qui est aussi un nœud maître et qui dispose donc, lui aussi, d’une machine dédiée.

  • Le DataNodeDataNode ( DNDN), qui est un nœud esclave Slave node(slave node) implanté sur chaque machine du cluster qui n’est pas un nœud maître.

Autrement dit, dans un cluster de 100 machines il y aura :

  • Trois nœuds maîtres : le NN, le SNN et le JobTracker (nous étudierons le JobTracker au chapitre MapReduce).

  • 100 - 3 = 97 nœuds esclaves, chacun avec une copie de DN et de TaskTracker (nous étudierons le TaskTracker au chapitre MapReduce).

images/04EP02.png

Les daemons de HDFS dans la version 1 de Hadoop

1. Le NameNodeNameNode

Dans un cluster Hadoop, le NN héberge des Métadonnéesmétadonnées HDFS :

  • Correspondance entre un fichier et les blocs le constituant.

  • Localisation de ces blocs dans le cluster (correspondance bloc <-> DN, avec trois DN pour un bloc par défaut).

  • Informations sur les propriétaires de fichiers et les autorisations.

Les métadonnées sont stockées sur disque dur ( Fichier fsimagefichier fsimage) et chargées dans la mémoire vive du NN lors du démarrage du cluster. Toutes ...