Voici la liste non exhaustive des tâches effectuées manuellement par les personnes chargées de la maintenance technique des services de l’association.
En permanence et sur notification🔗
- Suivi des canaux Technique et Supervision sur Matrix, à l’écoute de toute notification :
- Suivi de la boîte mail de récupération. Elle reçoit en double les alertes de Kuma, mais également les notifications du service Healthchecks du CHATONS Roflcopter, qui reçoit un ping de nos serveurs toutes les heures (le « monitoring de notre monitoring »). Un mail nous est envoyé si un ping n’arrive pas à temps.
Tâches quotidiennes🔗
- Connexion aux serveurs pour s’assurer que l’usage CPU/RAM/PID de chaque conteneur semble normal avec
ds (docker stats --no-stream). Également regarder htop pour voir si un processus ne consomme pas 100%+ du CPU à lui tout seul.
- En alternative, il est également possible de consulter ces statistiques à travers l’interface web de Netdata, et même envisageable d’avoir un moniteur physique dédié à l’affichage de ces statistiques en temps réel.
- Réalisation d’une veille technologique en quête d’éventuelles alertes de sécurité sur l’un des logiciels utilisés en production.
- Modération : contrôle de tous les liens sur le service Liens qui ont généré une activité importante et désactivation des liens malveillants.
Tous les 3-4 jours🔗
- Vérification manuelle des mises à jour de chaque image utilisée pour nos services à l’aide de Diun.
- Si la mise à jour causera moins de 15 secondes d’interruption de service : lecture des notes de version, puis mise à jour sans avertissement.
- Si la mise à jour nécessite des précautions particulières pour éviter des incompatibilités avec la configuration actuelle ou si elle semble un peu plus délicate que les autres : elle est repoussée à un moment de faible affluence (tard dans la soirée ou tôt dans la matinée)
- Si la mise à jour nécessite une maintenance potentiellement longue et/ou complexe (Mail, mise à jour majeure de PostgreSQL, elle est repoussée à un moment de faible affluence et fera l’objet d’une annonce de service sur Mastodon, Matrix et la page de statut des services.
- Services concernés : PostgreSQL, mise à jour majeure de Debian (hôte).
- Vérification des journaux des services sur Antigone (volume Docker
local-syslog) pour voir si certains services n’ont pas subi un trafic inhabituel. Pour certains services, cette vérification peut devenir quotidienne selon le trafic.
- Vérification de l’espace disque disponible sur les serveurs Antigone et Balearica.
Tâches hebdomadaires🔗
- Lire le rapport hebdomadaire autogénéré du serveur mail pour s’assurer de la bonne réception globale des emails.
- Vérification des mises à jour de l’hôte sur nos trois serveurs : Les mises à jour sont automatisées à l’aide du paquet unattended-upgrades, mais certains paquets comme Docker ou Linux ne se mettent pas à jour tout seuls.
- Vérification de l’état de la réalisation des sauvegardes (l’historique des tâches de sauvegarde est consultable sur Antigone).
Tâches mensuelles🔗
- Renouveler le secret OAuth de Matrix sur l’intra de 42 (situation temporaire le temps de développer notre propre SSO).
Plus rarement🔗
- Redémarrer les serveurs de production tard dans la nuit pour appliquer les mises à jour du noyau Linux
- Nettoyer le cache Redis de Nitter (suppression de la base de données) − à réaliser une fois tous les 45 jours environ.
- Modération : Supprimer les nouveaux comptes Gitea qui ont été créés à des fins de spam / pub / SEO (situation temporaire en attente de notre SSO).