Sommaire

High AvailabilityHigh Availability

Dans la version 1 de Hadoop, le NN est un SPOF (cf. chapitre HDFS).

Jusqu’à Hadoop 2.0.0, la seule façon de parer à une défaillance du NN était :

  • De lui affecter une machine à haute tolérance aux pannes.

  • D’avoir une machine "miroir", prête à démarrer en cas de défaillance du NN.

Depuis Hadoop 2.0.0, cette notion de machine "miroir" a été institutionnalisée par le biais du mode HA (High Availability = haute disponibilité). Dans ce mode, il existe deux NN, l’un actif (Active NN), l’autre en veille (Standby NN). Le Standby NN est prêt à remplacer automatiquement l’Active NN en cas de défaillance de ce dernier, en quelques secondes en mode automatique.

Sans entrer dans les détails techniques, il faut savoir que dans le mode HA :

  • Les informations sur la cartographie des données du cluster sont disponibles à la fois au niveau de l’Active NN et au niveau du Standby NN.

  • Le Standby NN assume en outre la fonction du SNN, qui n’existe donc plus tant qu’il est en veille.

L’opération consistant à basculer de l’Active NN vers le Standby NN peut se faire de manière automatique (Automatic Failover) ou manuelle (Manual Failover).

La surveillance des NN et le déclenchement d’un Automatic Failover sont du ressort de ZooKeeperZooKeeper (cf. chapitre L’écosystème de Hadoop). ...