Principe de fonctionnement

Le fonctionnement de HDFS est assuré par trois types de Deamondeamons :

Le NameNode ( NNNN), qui est un nœud maître Master node(master node) et qui dispose d’une machine dédiée.
Le SecondaryNameNodeSecondaryNameNode ( SNNSNN), qui est aussi un nœud maître et qui dispose donc, lui aussi, d’une machine dédiée.
Le DataNodeDataNode ( DNDN), qui est un nœud esclave Slave node(slave node) implanté sur chaque machine du cluster qui n’est pas un nœud maître.

Autrement dit, dans un cluster de 100 machines il y aura :

Trois nœuds maîtres : le NN, le SNN et le JobTracker (nous étudierons le JobTracker au chapitre MapReduce).
100 - 3 = 97 nœuds esclaves, chacun avec une copie de DN et de TaskTracker (nous étudierons le TaskTracker au chapitre MapReduce).

Les daemons de HDFS dans la version 1 de Hadoop

1. Le `NameNode`NameNode

Dans un cluster Hadoop, le NN héberge des Métadonnéesmétadonnées HDFS :

Correspondance entre un fichier et les blocs le constituant.
Localisation de ces blocs dans le cluster (correspondance bloc <-> DN, avec trois DN pour un bloc par défaut).
Informations sur les propriétaires de fichiers et les autorisations.

Les métadonnées sont stockées sur disque dur ( Fichier fsimagefichier fsimage) et chargées dans la mémoire vive du NN lors du démarrage du cluster. Toutes ...