Le fonctionnement de HDFS est assuré par trois types de Deamondeamons :
Le NameNode ( NNNN), qui est un nœud maître Master node(master node) et qui dispose d’une machine dédiée.
Le SecondaryNameNodeSecondaryNameNode ( SNNSNN), qui est aussi un nœud maître et qui dispose donc, lui aussi, d’une machine dédiée.
Le DataNodeDataNode ( DNDN), qui est un nœud esclave Slave node(slave node) implanté sur chaque machine du cluster qui n’est pas un nœud maître.
Autrement dit, dans un cluster de 100 machines il y aura :
Trois nœuds maîtres : le NN, le SNN et le JobTracker (nous étudierons le JobTracker au chapitre MapReduce).
100 - 3 = 97 nœuds esclaves, chacun avec une copie de DN et de TaskTracker (nous étudierons le TaskTracker au chapitre MapReduce).
Les daemons de HDFS dans la version 1 de Hadoop
Dans un cluster Hadoop, le NN héberge des Métadonnéesmétadonnées HDFS :
Correspondance entre un fichier et les blocs le constituant.
Localisation de ces blocs dans le cluster (correspondance bloc <-> DN, avec trois DN pour un bloc par défaut).
Informations sur les propriétaires de fichiers et les autorisations.
Les métadonnées sont stockées sur disque dur ( Fichier fsimagefichier fsimage) et chargées dans la mémoire vive du NN lors du démarrage du cluster. Toutes ...
Abonnement
tous les livres et vidéos ENI en illimité sans engagement
du livre imprimé ou du livre numérique