Panne d’un nœud du cluster NDB

Rétablissez un cluster MySQL NDB après la panne d’un nœud Swarm ou d’un service mgmd, avec le rôle Ansible reemo-infra.

Note

Cette procédure est un contournement : elle remet le cluster en service sur les hôtes restants, avec une redondance réduite, jusqu’au retour du nœud absent.

Avertissement

  • N’utilisez jamais INIT_DB=true sur un cluster existant.

  • N’utilisez pas docker service scale reemo_mysql-ndbd-X=0 pour arrêter ou tester un data node : ndbd ignore SIGTERM et reste actif 300 s. Utilisez ndb_mgm <id> STOP.

  • Ne relancez pas le rôle quand 2 hôtes sur 3 sont perdus : il refuse, c’est voulu.

  • Ne posez pas --nowait-nodes à la main dans l’image ou dans le config.ini : le rôle le pose et le retire.

Les identifiants NDB correspondent à la position de l’hôte dans la liste des hôtes : mgmd 1 à 3, ndbd 21 à 23 et mysqld 51 à 53.

Les commandes de déploiement ci-dessous utilisent la variable PLAY. Définissez-la depuis le poste d’administration, en remplaçant <inventaire> et <playbook> par l’inventaire et le playbook de votre infrastructure :

PLAY='ansible-playbook -i <inventaire> <playbook> -u root -e INSTALL_DOCKER=true'

Diagnostiquer la panne

Exécutez les commandes suivantes depuis un nœud leader Swarm. Le diagnostic prend environ 1 minute.

# Nœud Swarm à l’état Down ?
docker node ls

# Services MySQL à 0/1 replica ?
docker service ls -f name=reemo_mysql-

# Data nodes à l’état started ?
docker exec -i $(docker ps -qf name=reemo_mysql-mgmd | head -n1) ndb_mgm -e "all status"

# Alertes ndbmonitor (le silence indique un cluster sain)
docker logs --tail 3 $(docker ps -qf name=reemo_ndbmonitor. | head -1)

Comparez le résultat à ce tableau pour choisir la suite :

Ce que vous observez

Cas

Le cluster répond (ndb_mgm affiche des nœuds started) et un nœud ou un mgmd est tombé.

Cas A

Le cluster est bloqué au démarrage : les logs mgmd indiquent l’erreur 4012, les logs ndbd affichent Waiting for non partitioned start et un hôte est absent.

Cas B

L’hôte est perdu définitivement (VM détruite, disque formaté).

Cas B, puis cas C

Cas A : le cluster fonctionne

Aucune option particulière n’est nécessaire : les nœuds restants continuent sans --nowait-nodes. Le cluster fonctionne en mode dégradé.

Dans les commandes suivantes, reemo_mysql-mgmd-x désigne le service concerné (reemo_mysql-ndbd-x pour un data node).

  1. Identifiez l’état du nœud tombé.

    • Si l’hôte fonctionne mais que le conteneur est arrêté, lisez l’erreur avec docker service ps reemo_mysql-mgmd-x. Swarm relance le conteneur seul.

    • Si le service est à 0 replica, exécutez docker service scale reemo_mysql-mgmd-x=1.

    • Si l’hôte est éteint, relancez la VM.

  2. Si vous avez relancé la VM, exécutez la commande suivante sur l’hôte :

    systemctl start docker.socket docker
    

    Le nœud rejoint Swarm et ses services redémarrent.

  3. Attendez que le data node soit started (ou le mgmd connected) dans la sortie de la commande suivante :

    docker exec -i $(docker ps -qf name=reemo_mysql-mgmd | head -n1) ndb_mgm -e "all status"
    
  4. Relancez le rôle pour revenir à l’état nominal :

    $PLAY
    

    Le déploiement doit se terminer avec rc=0 et ndbmonitor doit rester silencieux.

Cas B : le cluster est bloqué au démarrage

Ce cas se produit lors d’un démarrage à froid (redémarrage des hôtes, Docker arrêté) alors qu’un hôte manque. Les symptômes sont les suivants :

  • Les logs mgmd indiquent l’erreur 4012 et attendent la confirmation de la configuration.

  • Les logs ndbd affichent Waiting for non partitioned start, missing: 23 et restent en phase 0.

Note

Si le data node absent se trouve sur un hôte dont le nœud Swarm est encore ready (conteneur arrêté, hôte en fonctionnement), les ndbd ne reçoivent pas l’option : la détection ne regarde que l’état Swarm. Remettez le conteneur en service (cas A) plutôt que de forcer.

  1. Vérifiez que la majorité des hôtes répond (2 sur 3).

    Si ce n’est pas le cas, arrêtez-vous ici : le rôle refuse de continuer quand 2 hôtes sur 3 sont perdus. Récupérez d’abord un deuxième hôte.

  2. Lancez le rôle :

    $PLAY
    

    Le rôle détecte l’hôte absent et pose --nowait-nodes=<ids absents> sur les nœuds restants. Il attend jusqu’à 300 s (MYSQL_CLUSTER_MGMD_START_TIMEOUT) le retour d’un mgmd absent, puis déploie.

    Le déploiement se termine avec rc=4 : l’hôte est injoignable, mais aucune tâche n’est en échec.

    Pour ne pas attendre les 300 s quand vous savez quel mgmd manque, lancez plutôt la commande suivante, avec l’identifiant du mgmd absent (1 à 3, identifiants mgmd uniquement, jamais ceux des ndbd) :

    $PLAY --tags mysqlclustermgmd -e MYSQL_CLUSTER_MGMD_NOWAIT_NODES=<id-mgmd-absent>
    
  3. Vérifiez l’état du cluster :

    docker exec -i $(docker ps -qf name=reemo_mysql-mgmd | head -n1) ndb_mgm -e "all status"
    

    2 data nodes doivent être started.

  4. Vérifiez que l’option est posée sur un ndbd restant (reemo_mysql-ndbd-1 si l’hôte 1 n’est pas l’absent) :

    docker service inspect reemo_mysql-ndbd-1 --format '{{json .Spec.TaskTemplate.ContainerSpec.Args}}'
    

    La sortie contient --nowait-nodes.

Le cluster tourne alors sans redondance : ne lancez aucune autre opération dessus avant le retour du nœud. Quand le nœud est de retour, suivez Revenir à la normale après le cas B.

Cas C : l’hôte est perdu définitivement

Appliquez d’abord le cas B pour relancer le cluster sur les hôtes restants, puis réintégrez un hôte neuf.

  1. Depuis le nœud leader, vérifiez dans la sortie de docker node ls que <ancien-noeud> est bien le nœud à l’état Down.

    Une erreur sur un manager en fonctionnement ferait perdre le quorum Swarm.

  2. Depuis le nœud leader, rétrogradez l’ancien nœud :

    docker node demote <ancien-noeud>
    
  3. Supprimez l’ancienne entrée Swarm :

    docker node rm --force <ancien-noeud>
    
  4. Installez Docker sur le nouvel hôte, depuis le poste d’administration (infra_managerX est le groupe d’inventaire du nouvel hôte) :

    $PLAY --limit infra_managerX --tags install_docker
    
  5. Sur le leader Swarm, affichez la commande de jonction :

    docker swarm join-token manager
    
  6. Sur le nouvel hôte, exécutez la commande docker swarm join affichée à l’étape précédente.

  7. Sur le nouvel hôte, créez les répertoires de données avant de relancer le rôle :

    mkdir -p /opt/reemo/mysqlcluster/{ndb_mgmd/db,ndb_mgmd/cluster,ndbd/db,mysqld/db,mysqld/files}
    

    Sans ces répertoires, le rôle détecte un ndbd en cours de démarrage et refuse de continuer.

  8. Attendez Node xx: started dans la sortie de la commande suivante :

    docker exec -i $(docker ps -qf name=reemo_mysql-mgmd | head -n1) ndb_mgm -e "all status"
    
  9. Relancez le rôle depuis le poste d’administration :

    $PLAY
    

    Le déploiement doit se terminer avec rc=0, 27 services et Args à ["/bootstrap.sh"] partout. Ce déploiement est le dernier : il retire --nowait-nodes (voir Revenir à la normale).

Revenir à la normale après le cas B

Le déploiement final retire --nowait-nodes et redémarre les nœuds restants un par un, avec un arrêt gracieux (ndb_mgm <id> STOP, puis attente de la rejointe). Ce redémarrage traverse une fenêtre sans redondance.

Avertissement

Lancez ce déploiement uniquement quand le nœud revenu est started : sinon, 2 data nodes peuvent être absents en même temps.

  1. Vérifiez que tous les data nodes sont started :

    docker exec -i $(docker ps -qf name=reemo_mysql-mgmd | head -n1) ndb_mgm -e "all status"
    
  2. Relancez le rôle :

    $PLAY
    

    Le déploiement doit se terminer avec rc=0.

Corriger l’erreur ENOTFOUND reemo_api après le retour d’un nœud

Au retour d’une VM, les conteneurs créés dans la même seconde sur le nœud qui rejoint Swarm peuvent ignorer la VIP d’un service créé au même instant. Le portail affiche alors l’erreur getaddrinfo ENOTFOUND reemo_api.

  1. Testez la résolution depuis le conteneur du portail (docker ps -qf name=reemo_portal donne son identifiant) :

    docker exec <conteneur-portail> getent hosts reemo_api
    

    Une réponse vide indique le problème.

  2. Recréez les conteneurs concernés :

    docker service update --force reemo_portal
    

    Cette commande redémarre le portail.

Si le résultat attendu n’est pas obtenu

Si un nœud reste absent de ndb_mgm -e "all status" ou si un déploiement échoue, rassemblez la sortie des 4 commandes de diagnostic, les logs des services mgmd et ndbd concernés et la dernière sortie d’Ansible, puis contactez le support Reemo.

Voir aussi

Base de données — Activation et prérequis de MySQL NDBCLUSTER.