Sommaire

Faire face à la panne d’un nœud

1. Réaffecter les tâches

Lors de l’exécution d’un job Hadoop, le deamon JobTrackerJobTracker répartit les tâches entre les nœuds de telle sorte que le nœud qui exécute la tâche héberge aussi les données nécessaires à l’exécution de cette tâche. C’est ce que l’on appelle la " Data LocalityData Locality" ( Proximité des donnéesproximité des données) dans le langage Hadoop. Cette approche est le contraire de celle qui prévaut traditionnellement en informatique.

images/03EP02.png

L’approche traditionnelle des traitements informatiques (Copyright 2013 Cloudera, Inc.)

Le choix d’envoyer les programmes (quelques Mo) vers les données (plusieurs To), plutôt que l’inverse, constitue une des grandes originalités de Hadoop. Cela permet de limiter le volume des données circulant dans le cluster et d’économiser à la fois de la bande passante et du temps.

Le JobTracker est capable de détecter la panne d’un nœud et de réassigner automatiquement les tâches concernées à d’autres nœuds. Ce processus se fait de manière transparente pour l’utilisateur.

2. Garantir la bonne fin des jobs en cours

Si une tâche d’un job en cours ne se termine pas normalement, soit parce que le nœud sur lequel elle s’exécute tombe en panne, soit ...