Manipuler HDFS

1. Explorer et naviguer dans HDFS

Explorer HDFS est la première étape pour tout utilisateur. Contrairement à un disque local où l’on peut naviguer avec des gestionnaires graphiques, dans Hadoop cette exploration se fait presque exclusivement via la ligne de commande. 

La commande la plus utilisée est :

hdfs dfs -ls / 

Elle affiche le contenu de la racine du système de fichiers HDFS. Dès une première installation, on retrouve généralement deux répertoires principaux : /user, réservé aux espaces utilisateurs, et /tmp, utilisé par certaines applications comme zone temporaire.

La sortie fournit des informations précieuses : les droits d’accès (sous la forme drwxr-xr-x), le propriétaire (souvent hadoop ou hduser), le groupe, la taille, la date et le chemin. Ces informations permettent non seulement de vérifier la présence d’un dossier, mais aussi de comprendre qui peut y accéder.

L’option -R rend la navigation encore plus puissante car elle liste de manière récursive tous les sous-dossiers :

hdfs dfs -ls -R /user/hadoop 

Avec cette commande, on obtient une vue complète d’un espace utilisateur, ce qui est utile dans les environnements de production où chaque répertoire peut contenir des centaines de fichiers.

D’autres commandes facilitent l’exploration quantitative :

1. Création d’un espace de travail

La première étape consiste à créer un répertoire dédié dans HDFS. On peut par exemple réserver un dossier appelé /user/hadoop/exemples où seront stockés nos fichiers. La commande est simple :

hdfs dfs -mkdir /user/hadoop/exemples 

Une fois exécutée, ce répertoire est enregistré dans l’espace de noms géré par le NameNode, même si, physiquement, il n’existe pas de « dossier » au sens classique mais uniquement une hiérarchie logique de chemins.

Pour vérifier la création :

hdfs dfs -ls /user/hadoop 

Output attendu :

drwxr-xr-x   - hadoop supergroup               0...

1. Introduction

HDFS a été conçu pour accueillir une grande variété de données. Contrairement aux bases de données relationnelles classiques qui imposent une structure rigide, il est capable de stocker aussi bien des données brutes que des ensembles complexes organisés selon un schéma. Mais ce qui paraît être une liberté totale cache en réalité un choix stratégique : le format dans lequel on enregistre les données conditionne directement leur volume sur disque, leur vitesse de traitement, leur compatibilité avec les outils analytiques et même leur coût global.

Ainsi, le choix du format est une décision structurante. Stocker un fichier texte brut de plusieurs gigaoctets est simple et immédiat, mais ce même fichier prendra beaucoup de place et chaque job MapReduce devra analyser ligne par ligne sans optimisation. À l’inverse, un format orienté colonnes comme Parquet ou ORC demandera une préparation plus technique mais réduira l’espace nécessaire et accélérera les traitements. On comprend donc que le format n’est pas neutre : il reflète un compromis entre simplicité, performance et portabilité.

2. Les formats textuels traditionnels

Les formats textuels comme TXT, CSV ou JSON constituent souvent le point de départ de tout projet Hadoop. Le fichier texte brut représente la solution la plus simple : il contient une suite de caractères lisibles directement par un humain et ne requiert aucun outil spécialisé pour être interprété. Sa force réside dans sa simplicité et son universalité, mais cette même simplicité devient une faiblesse à grande échelle. Les fichiers texte consomment énormément d’espace disque puisqu’ils ne bénéficient d’aucune compression implicite et, lors des analyses, chaque ligne doit être parcourue sans possibilité d’indexation. Ainsi, si ce format se prête bien à des tests rapides ou à des jeux de données modestes, il devient inadapté dès que les volumes augmentent.

Le CSV est un pas supplémentaire vers...

1. Répartition des blocs sur plusieurs disques

Une fois les blocs HDFS créés, leur stockage réel s’effectue sur les disques locaux des DataNodes. Contrairement à un système de fichiers classique, où les données sont centralisées sur un support unique, Hadoop répartit intelligemment les blocs entre plusieurs disques physiques. Cette stratégie permet d’exploiter pleinement le parallélisme matériel et de garantir la tolérance aux pannes.

1. Principes généraux de la compression dans HDFS

1. Introduction à la supervision web dans Hadoop

Dans Hadoop Distributed File System, les interfaces web intégrées jouent un rôle clé pour la supervision et la compréhension de l’organisation interne des données. Elles offrent une vue d’ensemble claire et visuelle du cluster, complétant les commandes en ligne de commande qui restent parfois fastidieuses ou peu intuitives pour analyser de grands volumes d’informations. Grâce à ces interfaces, un administrateur ou un développeur peut rapidement vérifier l’état des DataNodes, identifier les blocs manquants, suivre l’utilisation de l’espace disque ou diagnostiquer un problème de performance sans devoir parcourir de longs fichiers journaux.

L’interface du NameNode (par défaut sur le port 9870) fournit une page d’accueil affichant la capacité totale du cluster, l’espace utilisé, le nombre de fichiers et de blocs, ainsi que des alertes en cas de blocs corrompus ou sous-répliqués. Elle permet également de naviguer directement dans l’arborescence HDFS, de visualiser les réplicas d’un bloc et de consulter des informations détaillées sur chaque DataNode.

En parallèle, l’interface du ResourceManager (port 8088) donne une vue dynamique des applications YARN en cours et terminées. Elle montre la consommation des ressources (CPU, mémoire) et permet de suivre la file d’attente des jobs soumis par les utilisateurs. Les interfaces des NodeManagers (port 8042) et des DataNodes (port 9864) offrent quant à elles une visibilité locale : suivi des conteneurs, journaux d’exécution et état des blocs hébergés.

Ces outils visuels simplifient considérablement la gestion quotidienne du cluster et facilitent la détection des anomalies. Par exemple, un administrateur peut repérer d’un coup d’œil un DataNode marqué « Dead » sur la page du NameNode et planifier une intervention avant que la situation ne compromette le facteur de réplication.

L’image ci-dessous présente l’écran principal de l’interface web du NameNode, qui fournit...