Panne d’un nœud du cluster NDB¶
Rétablissez un cluster MySQL NDB après la panne d’un nœud Swarm ou d’un service mgmd, avec le rôle Ansible reemo-infra.
Note
Cette procédure est un contournement : elle remet le cluster en service sur les hôtes restants, avec une redondance réduite, jusqu’au retour du nœud absent.
Avertissement
N’utilisez jamais
INIT_DB=truesur un cluster existant.N’utilisez pas
docker service scale reemo_mysql-ndbd-X=0pour arrêter ou tester un data node :ndbdignore SIGTERM et reste actif 300 s. Utilisezndb_mgm <id> STOP.Ne relancez pas le rôle quand 2 hôtes sur 3 sont perdus : il refuse, c’est voulu.
Ne posez pas
--nowait-nodesà la main dans l’image ou dans leconfig.ini: le rôle le pose et le retire.
Les identifiants NDB correspondent à la position de l’hôte dans la liste des hôtes : mgmd 1 à 3, ndbd 21 à 23 et mysqld 51 à 53.
Les commandes de déploiement ci-dessous utilisent la variable PLAY. Définissez-la depuis le poste d’administration, en remplaçant <inventaire> et <playbook> par l’inventaire et le playbook de votre infrastructure :
PLAY='ansible-playbook -i <inventaire> <playbook> -u root -e INSTALL_DOCKER=true'
Diagnostiquer la panne¶
Exécutez les commandes suivantes depuis un nœud leader Swarm. Le diagnostic prend environ 1 minute.
# Nœud Swarm à l’état Down ?
docker node ls
# Services MySQL à 0/1 replica ?
docker service ls -f name=reemo_mysql-
# Data nodes à l’état started ?
docker exec -i $(docker ps -qf name=reemo_mysql-mgmd | head -n1) ndb_mgm -e "all status"
# Alertes ndbmonitor (le silence indique un cluster sain)
docker logs --tail 3 $(docker ps -qf name=reemo_ndbmonitor. | head -1)
Comparez le résultat à ce tableau pour choisir la suite :
Ce que vous observez |
Cas |
|---|---|
Le cluster répond ( |
|
Le cluster est bloqué au démarrage : les logs |
|
L’hôte est perdu définitivement (VM détruite, disque formaté). |
Cas B, puis cas C |
Cas A : le cluster fonctionne¶
Aucune option particulière n’est nécessaire : les nœuds restants continuent sans --nowait-nodes. Le cluster fonctionne en mode dégradé.
Dans les commandes suivantes, reemo_mysql-mgmd-x désigne le service concerné (reemo_mysql-ndbd-x pour un data node).
Identifiez l’état du nœud tombé.
Si l’hôte fonctionne mais que le conteneur est arrêté, lisez l’erreur avec
docker service ps reemo_mysql-mgmd-x. Swarm relance le conteneur seul.Si le service est à 0 replica, exécutez
docker service scale reemo_mysql-mgmd-x=1.Si l’hôte est éteint, relancez la VM.
Si vous avez relancé la VM, exécutez la commande suivante sur l’hôte :
systemctl start docker.socket docker
Le nœud rejoint Swarm et ses services redémarrent.
Attendez que le data node soit
started(ou lemgmdconnected) dans la sortie de la commande suivante :docker exec -i $(docker ps -qf name=reemo_mysql-mgmd | head -n1) ndb_mgm -e "all status"
Relancez le rôle pour revenir à l’état nominal :
$PLAYLe déploiement doit se terminer avec
rc=0etndbmonitordoit rester silencieux.
Cas B : le cluster est bloqué au démarrage¶
Ce cas se produit lors d’un démarrage à froid (redémarrage des hôtes, Docker arrêté) alors qu’un hôte manque. Les symptômes sont les suivants :
Les logs
mgmdindiquent l’erreur 4012 et attendent la confirmation de la configuration.Les logs
ndbdaffichentWaiting for non partitioned start, missing: 23et restent en phase 0.
Note
Si le data node absent se trouve sur un hôte dont le nœud Swarm est encore ready (conteneur arrêté, hôte en fonctionnement), les ndbd ne reçoivent pas l’option : la détection ne regarde que l’état Swarm. Remettez le conteneur en service (cas A) plutôt que de forcer.
Vérifiez que la majorité des hôtes répond (2 sur 3).
Si ce n’est pas le cas, arrêtez-vous ici : le rôle refuse de continuer quand 2 hôtes sur 3 sont perdus. Récupérez d’abord un deuxième hôte.
Lancez le rôle :
$PLAYLe rôle détecte l’hôte absent et pose
--nowait-nodes=<ids absents>sur les nœuds restants. Il attend jusqu’à 300 s (MYSQL_CLUSTER_MGMD_START_TIMEOUT) le retour d’unmgmdabsent, puis déploie.Le déploiement se termine avec
rc=4: l’hôte est injoignable, mais aucune tâche n’est en échec.Pour ne pas attendre les 300 s quand vous savez quel
mgmdmanque, lancez plutôt la commande suivante, avec l’identifiant dumgmdabsent (1 à 3, identifiantsmgmduniquement, jamais ceux desndbd) :$PLAY --tags mysqlclustermgmd -e MYSQL_CLUSTER_MGMD_NOWAIT_NODES=<id-mgmd-absent>
Vérifiez l’état du cluster :
docker exec -i $(docker ps -qf name=reemo_mysql-mgmd | head -n1) ndb_mgm -e "all status"
2 data nodes doivent être
started.Vérifiez que l’option est posée sur un
ndbdrestant (reemo_mysql-ndbd-1si l’hôte 1 n’est pas l’absent) :docker service inspect reemo_mysql-ndbd-1 --format '{{json .Spec.TaskTemplate.ContainerSpec.Args}}'
La sortie contient
--nowait-nodes.
Le cluster tourne alors sans redondance : ne lancez aucune autre opération dessus avant le retour du nœud. Quand le nœud est de retour, suivez Revenir à la normale après le cas B.
Cas C : l’hôte est perdu définitivement¶
Appliquez d’abord le cas B pour relancer le cluster sur les hôtes restants, puis réintégrez un hôte neuf.
Depuis le nœud leader, vérifiez dans la sortie de
docker node lsque<ancien-noeud>est bien le nœud à l’étatDown.Une erreur sur un manager en fonctionnement ferait perdre le quorum Swarm.
Depuis le nœud leader, rétrogradez l’ancien nœud :
docker node demote <ancien-noeud>
Supprimez l’ancienne entrée Swarm :
docker node rm --force <ancien-noeud>
Installez Docker sur le nouvel hôte, depuis le poste d’administration (
infra_managerXest le groupe d’inventaire du nouvel hôte) :$PLAY --limit infra_managerX --tags install_docker
Sur le leader Swarm, affichez la commande de jonction :
docker swarm join-token manager
Sur le nouvel hôte, exécutez la commande
docker swarm joinaffichée à l’étape précédente.Sur le nouvel hôte, créez les répertoires de données avant de relancer le rôle :
mkdir -p /opt/reemo/mysqlcluster/{ndb_mgmd/db,ndb_mgmd/cluster,ndbd/db,mysqld/db,mysqld/files}
Sans ces répertoires, le rôle détecte un
ndbden cours de démarrage et refuse de continuer.Attendez
Node xx: starteddans la sortie de la commande suivante :docker exec -i $(docker ps -qf name=reemo_mysql-mgmd | head -n1) ndb_mgm -e "all status"
Relancez le rôle depuis le poste d’administration :
$PLAYLe déploiement doit se terminer avec
rc=0, 27 services etArgsà["/bootstrap.sh"]partout. Ce déploiement est le dernier : il retire--nowait-nodes(voir Revenir à la normale).
Revenir à la normale après le cas B¶
Le déploiement final retire --nowait-nodes et redémarre les nœuds restants un par un, avec un arrêt gracieux (ndb_mgm <id> STOP, puis attente de la rejointe). Ce redémarrage traverse une fenêtre sans redondance.
Avertissement
Lancez ce déploiement uniquement quand le nœud revenu est started : sinon, 2 data nodes peuvent être absents en même temps.
Vérifiez que tous les data nodes sont
started:docker exec -i $(docker ps -qf name=reemo_mysql-mgmd | head -n1) ndb_mgm -e "all status"
Relancez le rôle :
$PLAYLe déploiement doit se terminer avec
rc=0.
Corriger l’erreur ENOTFOUND reemo_api après le retour d’un nœud¶
Au retour d’une VM, les conteneurs créés dans la même seconde sur le nœud qui rejoint Swarm peuvent ignorer la VIP d’un service créé au même instant. Le portail affiche alors l’erreur getaddrinfo ENOTFOUND reemo_api.
Testez la résolution depuis le conteneur du portail (
docker ps -qf name=reemo_portaldonne son identifiant) :docker exec <conteneur-portail> getent hosts reemo_api
Une réponse vide indique le problème.
Recréez les conteneurs concernés :
docker service update --force reemo_portal
Cette commande redémarre le portail.
Si le résultat attendu n’est pas obtenu¶
Si un nœud reste absent de ndb_mgm -e "all status" ou si un déploiement échoue, rassemblez la sortie des 4 commandes de diagnostic, les logs des services mgmd et ndbd concernés et la dernière sortie d’Ansible, puis contactez le support Reemo.
Voir aussi
Base de données — Activation et prérequis de MySQL NDBCLUSTER.