Forums de WDMédia-Hébergement
Vous n'êtes pas identifié(e).
- Contributions : Récentes | Sans réponse
#1 05-10-2009 21:26:20
[Cluster][Résolu] Service de fichier en mode dégradé
Bonjour,
Suite a un incident matériel sur le filer principal (visiblement, un disque est parti en vacance et ça ne lui a pas plut), le service de fichier (sur lequel se basent également le web et le mail) est en mode dégradé.
En fait le filer principal s'est déclaré sans disque, du coup, c'est le filer secondaire qui fourni les données, en remontant a travers le réseau par filer1 (il n'y a aucune coupure, même si ça parait un peu alambiqué, pour ceux qui connaissent, c'est un raid réseau basé sur DRBD).
A votre niveau, vous pourriez parfois ressentir un ralentissement des services web, mail, ftp. Toutefois, le service reste continue.
Nous travaillons bien sur à la remise en service du filer principal de manière a repasser en mode normal.
En vous souhaitant une bonne soirée/nuit,
Cordialement,
Nicolas Lafont
Hors ligne
#2 06-10-2009 16:20:37
Re : [Cluster][Résolu] Service de fichier en mode dégradé
Bonjour,
Petit point sur l'évolution de ce problème, en fait il semble bien que d'autres disques sur le filer principal fassent aussi la tete, il ne veut donc pas reconstruire son raid.
Plus gênant, il semble que le matériel n'arrive pas a écrire les données qu'il voudraient sur les disques, et qu'a chaque essai cela provoque un ralentissement général du serveur, donc des services.
Ceci arrivant un peu trop fréquemment a notre gout, nous allons devoir sortir le filer principal de production, ce qui va entrainer une courte coupure des services.
Nous allons procéder a cela aux environs de minuit/1h, afin d'impacter le moins possible vos sites.
En vous souhaitant une bonne soirée,
Cordialement,
Nicolas Lafont
Hors ligne
#3 06-10-2009 23:05:06
Re : [Cluster][Résolu] Service de fichier en mode dégradé
Re bonsoir,
Nous allons donc commencer l'intervention. Si on est bon, 1 minute 30 de coupure sur tout les services. Si on est mauvais, 10 minutes.
@bientot pour le résultat.
Nicolas Lafont
Hors ligne
#4 06-10-2009 23:13:05
Re : [Cluster][Résolu] Service de fichier en mode dégradé
Hop, bascule faite, le service est en production normale sur le filer secondaire.
Ca a été un poil plus long que prévu, mais c'est quand meme pas mal 
Nous nous occupons maintenant du filer primaire tranquillement.
En vous souhaitant une bonne soirée,
Cordialement,
Nicolas Lafont
Hors ligne
#5 07-10-2009 16:27:21
Re : [Cluster][Résolu] Service de fichier en mode dégradé
Bonsoir,
Pour une raison encore inconnue, le filer secondaire vient de planter. Il est en cours de reboot, nous vous tiendrons informé dès que nous auront des nouvelles.
Cordialement,
Nicolas Lafont
Hors ligne
#6 07-10-2009 16:48:51
Re : [Cluster][Résolu] Service de fichier en mode dégradé
Re,
C'est visiblement plus grave qu'imaginé, le filer secondaire venant de retombé juste après être remonté. Nous essayons de le remonter a nouveau, pendant qu'un technicien se déplace sur site.
Cordialement,
Nicolas Lafont
Hors ligne
#7 07-10-2009 17:14:32
Re : [Cluster][Résolu] Service de fichier en mode dégradé
Re,
Il semblerai que nous ayons réussi a remettre les services d'aplomb, au moins dans la majorité des cas (le service mail entrant a un peu de mal car beaucoup de trafic dessus). Nous continuons d'enqueter sur les causes de cette interruption de service.
En vous souhaitant une bonne soirée,
Cordialement,
Nicolas Lafont
Hors ligne
#8 08-10-2009 15:11:08
Re : [Cluster][Résolu] Service de fichier en mode dégradé
Bonjour,
Suite a enquête, il apparait que la coupure d'hier est lié a deux attaques distinctes qui se sont croisées, une sur le flot mail, une autre sur le flot web, provoquant une surcharge du serveur de fichier secondaire, qui n'a pas suivi. Nous verrons les optimisations a apporter sur ce serveur, qui est un peu moins puissant que le serveur de fichier principal, une fois la situation rétablie.
Nous avons pris des mesures pour bloquer ces attaques, et nous surveillons la charge du filer secondaire.
De plus, les disques défectueux du filer principal ont bien été changés, le raid est reconstruit, il a été réinstallé fraichement.
Nous avons lancé la synchronisation des données depuis le filer secondaire. Comme nous avons dut repartir avec un système vierge sur le filer principal, cette opération va être longue (a première vue, cela risque de prendre 3 ou 4 jours).
Une fois cela fini, nous pourrons rebasculer sur le filer principal.
En vous souhaitant une bonne journée,
Cordialement,
Nicolas Lafont
Hors ligne
#9 13-10-2009 17:52:41
Re : [Cluster][Résolu] Service de fichier en mode dégradé
Bonjour,
La synchronisation s'est finie hier dans l'après midi (4 jours donc en effet).
Nous allons donc cette nuit repasser en mode de production normal, ce qui devrait entrainer une coupure de 2 minutes environ.
En vous souhaitant une bonne soirée,
Cordialement,
Nicolas Lafont
Hors ligne
#10 14-10-2009 00:34:42
Re : [Cluster][Résolu] Service de fichier en mode dégradé
Bonjour,
Ca, c'est fait !
Début de la bascule a 1h17, fin de la bascule a 1h20, nous sommes repassé en production normale sur le filer principal.
En vous souhaitant une bonne journée,
Cordialement,
Nicolas Lafont
Hors ligne