Après avoir fait un petit voyage à Taïwan et en Corée pour les fêtes de fin d'année je suis quand même revenu …
Et j’ai redémarré mes machines qui ont bénéficié de plus de 3 semaines de repos, mais sur trois machines à la maison une seule a redémarré correctement, celle de madame, mais le pont vers Internet étant HS elle ne permettait pas grand-chose d’utile.
La machine qui sert de pont vers Internet, et qui héberge ce site, a refusé obstinément de démarrer.
En démarrant sur une clef USB j’ai pu constater des dégâts importants : sur 4 disques 2 étaient HS, en principe ces disques sont montés deux par deux en miroir ce qui jusqu’ici m’avait toujours permis de récupérer les données sur le disque « survivant ». Le système, lui aussi sur des disques en miroir (2 x NVME de 1To), n’avait absolument pas souffert et les volumes LVM contenant des machines virtuelles étaient accessibles.
Mais là, les disques « survivants » s’il étaient lisibles ne disposaient pas de la totalité des données, sur une base de données suivie depuis presque 10 ans je n’ai récupéré que les années de 2016 à 2018 ! Le disque qui contenait les sauvegardes était carrément illisible !
J’ai donc du monter de nouveaux disques, recréer les bases de données et les fichiers annexes mais certaines sauvegardes ne se sont pas restaurées complètement et quelques databases MariaDB étaient très incomplètes … et j’ai du les reconstituer en partie à partir de copies faites sur une autre machine pour tester Clickhouse. Cela prend beaucoup de temps mais j’ai fini par remettre le tout en état mais avec une perte d’une partie de l’historique des archives issues de Apache/modsec ou des archives de Suricata.
Au niveau de la base de données elle-même un certain nombre d’utilisateurs étaient absents ou incomplets … je n’arrive pas à comprendre ce phénomène.
J’ai tout de suite commencé la mise en place de sauvegardes des bases de données avec recopie immédiate sur un autre système afin de prendre moins de risques sur les historiques.
Une autre machine avait perdu sa configuration, suspectant un problème avec la pile de maintien j’ai laissé la machine branchée et elle a démarré gentiment le lendemain et fonctionne fort bien, c’est elle qui conservait la copie de certaines données dans une base Clickhouse.
En ce qui concerne les disques « en miroir » j’avais toujours pu récupérer les données sur le disque survivant, même en milieu professionnel. La seule différence ici que j’ai utilisé LVM, le Physical Volume est déclaré sur le miroir et les partitions ne sont pas physiques comme « autrefois » mais juste des Logical Volumes … il va falloir que je réalise quelques tests de reprise en l’absence d’un disque.