Forums de WDMédia-Hébergement

Bienvenue sur nos forums

Vous n'êtes pas identifié(e).

#1 02-09-2008 20:40:32

ManicoW
Administrateur WDMédia-Hébergement
Lieu : Tours
Inscription : 18-01-2007
Messages : 343
Site Web

Maintenances du 8 et 16 septembre 2008

Cher clients,

Afin de préparer les évolutions futures de l'infrastructure WDMedia, deux maintenances exceptionelles vont avoir lieu ce mois ci.

La première aura lieu le 8 septembre, entre 9h et 12h, et devrait se traduire par une coupure de tout les services pour une durée inférieure a 10 minutes.

Il s'agit de la mise en place d'une réplication instantanée entre les deux filers, afin d'assurer une bascule rapide de l'un a l'autre et une disponibilité améliorée.

La seconde aura lieu dans la nuit du 16 septembre au 17 septembre, entre 0h et 3h, et devrait se traduire par une coupure de l'ensemble des services et site pendant une durée estimée a 1h.

Il s'agit là d'un déplacement de tout les serveurs vers un nouveau datacenter, de manière à faciliter notre extension future. Cette intervention étant lourde logistiquement, il n'est malheureusement pas possible de bénificier de la redondance habituellement utilisée pour les interventions.

Cette intervention va aussi se traduire par un changement des ip de l'ensemble des serveurs, et donc de vos sites. Les nouvelles IP vous seront communiquées prochainement. De plus, une redirection réseau permettra la cohabitation des deux séries d'IP pendant 1 semaine, ce qui permettra a ceux qui gèrent leurs DNS en externe de procéder aux changements tranquillement. Pour ceux qui nous ont confié la gestion de leurs DNS (le cas le plus courant) nous nous chargeons de tout.

Vous serez bien sur tenu au courant de l'avancement de ces maintenances au fur et a mesure, comme d'habitude, sur le forum.

Si vous désirez plus d'information sur ces interventions, n'hésitez pas a contacter le support, qui se fera une joie de vous répondre.

Nous vous remercions par avance pour votre compréhension.

En vous souhaitant une bonne journée,

Cordialement,


Nicolas Lafont

Hors ligne

#2 08-09-2008 10:36:33

ManicoW
Administrateur WDMédia-Hébergement
Lieu : Tours
Inscription : 18-01-2007
Messages : 343
Site Web

Re : Maintenances du 8 et 16 septembre 2008

Bonjour,

La coupure du filer prévue ce jour va se faire dans les minutes a venir.

Cordialement,


Nicolas Lafont

Hors ligne

#3 08-09-2008 10:52:10

ManicoW
Administrateur WDMédia-Hébergement
Lieu : Tours
Inscription : 18-01-2007
Messages : 343
Site Web

Re : Maintenances du 8 et 16 septembre 2008

Bonjour,

Comme vous le constatez, la coupure est actuellement plus longue que prévue. Un phénomène imprévu a posé un gros problème, nous sommes sur le coup, nous essayons de rétablir le service au plus vite.

Cordialement,


Nicolas Lafont

Hors ligne

#4 08-09-2008 11:09:51

ManicoW
Administrateur WDMédia-Hébergement
Lieu : Tours
Inscription : 18-01-2007
Messages : 343
Site Web

Re : Maintenances du 8 et 16 septembre 2008

Comme vous pouvez le constater, un grave problème s'est produit.

Pour vous résumer ce qui s'est passé, lors de la synchronisation initiale, un disque dur sur filer principal a laché. Bien qu'il y ait un RAID 5 sur le cluster, cela a provoqué une erreur io au niveau du noyau, et a fait basculer le filer en mode non a jour. La synchronisation a alors changé de sens, le système ayant considéré que les données du filer secondaire étaient correctes, alors que ce n'etait pas le cas (et pour cause, pour faire la synchronisation il fallais que le filer secondaire soit vide !).

Du coup il a commencé a copier du vide sur le filer principal.

Nous avons arrété le processus rapidement (a peine quelques secondes), mais cela a endomager la partition du filer principal.

Actuellement, nous essayons de rétablir l'accès a cette partition, le système de réparation est a la recherche des superblock de secours.

Nous vous tiendrons au courant de cet incident majeur dès que nous aurons des nouvelles.

Cordialement,


Nicolas Lafont

Hors ligne

#5 08-09-2008 11:52:42

ManicoW
Administrateur WDMédia-Hébergement
Lieu : Tours
Inscription : 18-01-2007
Messages : 343
Site Web

Re : Maintenances du 8 et 16 septembre 2008

Quelques nouvelles,

Après examen, il apparait que les 169 premier Mo de la partition des données du filer principal ont été remplacé par du vide (soit un temps de reaction de 42 sec pour voir le problème, pourtant on a pas trainé sur ce coup la hmm).

Problème induit : le superblock principal a bien été supprimé.

L'outil de réparation cherche donc les superblock de secours, mais comme il ne sait pas ou ils se trouvent, il cherche block par block, en parcourant tout l'espace. et comme les blocks de secours sont normalement répartis dans la partition, le premier est relativement loin. Il y a environ 1 572 864 000 blocks a parcourir, et nous ne savons pas du tout ou l'outil en est, il cherche toujours.

Nous ne pouvons donc pas du tout vous donner un délai de rétablissement, ni meme vous dire les données qui ont été supprimées sad

Nous vous tiendrons au courant régulièrement.

Cordialement,


Nicolas Lafont

Hors ligne

#6 08-09-2008 11:57:42

ManicoW
Administrateur WDMédia-Hébergement
Lieu : Tours
Inscription : 18-01-2007
Messages : 343
Site Web

Re : Maintenances du 8 et 16 septembre 2008

Quand on parle du loup... L'outil de réparation vient de trouver un superblock de secours valide ! Il entamme donc la réparation et la consistance des données non supprimées, cette phase devrait prendre encore un peu de temps.


Nicolas Lafont

Hors ligne

#7 08-09-2008 12:36:23

ManicoW
Administrateur WDMédia-Hébergement
Lieu : Tours
Inscription : 18-01-2007
Messages : 343
Site Web

Re : Maintenances du 8 et 16 septembre 2008

Nous avons dut relancer une vérification de la partition car la vérification précédente avait pris toute la ram (2go !). Nous avons augmenté le swap pour que cela tienne, espérons que ca passe...


Nicolas Lafont

Hors ligne

#8 08-09-2008 13:00:55

ManicoW
Administrateur WDMédia-Hébergement
Lieu : Tours
Inscription : 18-01-2007
Messages : 343
Site Web

Re : Maintenances du 8 et 16 septembre 2008

Ca vérifie toujours, la consomation en ram a l'air maitrisée, mais il est encore en train de vérifier des données


Nicolas Lafont

Hors ligne

#9 08-09-2008 13:32:58

ManicoW
Administrateur WDMédia-Hébergement
Lieu : Tours
Inscription : 18-01-2007
Messages : 343
Site Web

Re : Maintenances du 8 et 16 septembre 2008

Toujours en vérification, actuellement en train de reconstruire l'arborescence.


Nicolas Lafont

Hors ligne

#10 08-09-2008 14:04:02

ManicoW
Administrateur WDMédia-Hébergement
Lieu : Tours
Inscription : 18-01-2007
Messages : 343
Site Web

Re : Maintenances du 8 et 16 septembre 2008

Encore et toujours en vérification, recalcul correct des inodes.


Nicolas Lafont

Hors ligne

#11 08-09-2008 14:27:34

ManicoW
Administrateur WDMédia-Hébergement
Lieu : Tours
Inscription : 18-01-2007
Messages : 343
Site Web

Re : Maintenances du 8 et 16 septembre 2008

Toujours à la meme phase hmm


Nicolas Lafont

Hors ligne

#12 08-09-2008 15:03:36

ManicoW
Administrateur WDMédia-Hébergement
Lieu : Tours
Inscription : 18-01-2007
Messages : 343
Site Web

Re : Maintenances du 8 et 16 septembre 2008

Re saturation de la mémoire presque a la fin de la vérification. Nous sommes donc obligé de lancer une nouvelel vérification (qui devrait etre plus courte, la majorité des problèmes étant résolus).


Nicolas Lafont

Hors ligne

#13 08-09-2008 15:17:22

ManicoW
Administrateur WDMédia-Hébergement
Lieu : Tours
Inscription : 18-01-2007
Messages : 343
Site Web

Re : Maintenances du 8 et 16 septembre 2008

Résultat de l'opération : 70431 fichiers / répertoires ont bien été retrouvés, mais ils ont perdu leur position dans l'arborescence, il va dont falloir que nous les replacions chacun a leur place, ce qui risque d'etre un peu long. Nous analysons la situation au mieux pour voir comment automatiser les choses afin que cela soit fait le plus rapidement possible.


Nicolas Lafont

Hors ligne

#14 08-09-2008 15:49:43

ManicoW
Administrateur WDMédia-Hébergement
Lieu : Tours
Inscription : 18-01-2007
Messages : 343
Site Web

Re : Maintenances du 8 et 16 septembre 2008

Nous sommes tombé il y a peu sur un repertoire contenant une grosse partie de l'arborescence web du filer. Nous l'avons donc remis en place et relancé le service web. Toutefois, certains fichiers sont encore isolés, nous avons quelques scripts PHP notament dont nous ne connaissans pas la provenance.

Les logs ont pris une grosse claque, sont presque tous mal placés, mais cela sera vu en dernier, c'est le moins vital.

Nous nous concentrons sur le mail pour rétablir le service de base, puis nous continuerons a trier ce qu'il reste.


Nicolas Lafont

Hors ligne

#15 08-09-2008 16:03:23

ManicoW
Administrateur WDMédia-Hébergement
Lieu : Tours
Inscription : 18-01-2007
Messages : 343
Site Web

Re : Maintenances du 8 et 16 septembre 2008

Nous venons de trouver le gros de la configuration et des mails. Ces services sont donc en train d'etre relancés.


Nicolas Lafont

Hors ligne

#16 08-09-2008 16:07:03

ManicoW
Administrateur WDMédia-Hébergement
Lieu : Tours
Inscription : 18-01-2007
Messages : 343
Site Web

Re : Maintenances du 8 et 16 septembre 2008

Bilan actuel :

- service web et mails opérationnels, mais des fichiers ne sont pas au bon endroit
- environ 3600 fichiers web ne sont pas encore a leur place
- les repertoires de logs ne sont pas a leur place, et les logs ne sont pas enregistrés actuellement
- environ 60 000 mails ne sont pas a leur place, nous allons developper un script pour les replacer correctement


Nicolas Lafont

Hors ligne

#17 08-09-2008 16:46:23

ManicoW
Administrateur WDMédia-Hébergement
Lieu : Tours
Inscription : 18-01-2007
Messages : 343
Site Web

Re : Maintenances du 8 et 16 septembre 2008

Reste :

- 2000 fichiers web
- 7000 mails

On continue a trier


Nicolas Lafont

Hors ligne

#18 08-09-2008 17:47:03

ManicoW
Administrateur WDMédia-Hébergement
Lieu : Tours
Inscription : 18-01-2007
Messages : 343
Site Web

Re : Maintenances du 8 et 16 septembre 2008

Ca commence a se corser un peu.

Il nous reste environ 850 repertoire a replacer pour la section mail (pouvant contenir ou non des mails, nous trions), et 5000 repertoires web a analyser (nous avons cru jusque la qu'il y avais majoritairement des log dedans, ce n'est pas le cas, il y a parfois un fichier, parfois des repertoires, bref, un vrai bazard).

Nous sommes en train de dresser une liste du contenu de ces restes afin de pouvoir trier au mieux (jusque la le volume trop important empechait de le faire).

Notez qu'il y a des fichiers/repertoires qui ne sont pas important dedans (quelques comptes expirés, nous n'avions pas lancé le ménage depuis longtemps).

N'hésitez pas a signaler vos fichiers disparus, un nom, une date, par exemple. Une partie de nom (par exemple si vous avez des image avec toutes le meme prefix).

Certains fichiers ne pourront pas être replacé sans demande, car trop générique ne permettant pas d'identifier leur provenance.


Nicolas Lafont

Hors ligne

#19 08-09-2008 18:19:14

ManicoW
Administrateur WDMédia-Hébergement
Lieu : Tours
Inscription : 18-01-2007
Messages : 343
Site Web

Re : Maintenances du 8 et 16 septembre 2008

Remarque intéressante, le FTP était inaccessible, ceci a été corrigé


Nicolas Lafont

Hors ligne

#20 08-09-2008 19:13:29

ManicoW
Administrateur WDMédia-Hébergement
Lieu : Tours
Inscription : 18-01-2007
Messages : 343
Site Web

Re : Maintenances du 8 et 16 septembre 2008

réparation de phpmyadmin finie


Nicolas Lafont

Hors ligne

#21 08-09-2008 20:16:24

ManicoW
Administrateur WDMédia-Hébergement
Lieu : Tours
Inscription : 18-01-2007
Messages : 343
Site Web

Re : Maintenances du 8 et 16 septembre 2008

Nous sommes arrivé au bout de ce qui était faisable de notre coté.

Si ils vous manque des fichiers, n'hésitez pas a revenir vers nous, avec le plus de précision possible (nom de fichier, date d'upload, tout ce que vous avez comme info).

Nous allons étudier les solutions pour que ce problème ne puisse se reproduire, ainsi que les compensations qui vont intervenir.

Cordialement,


Nicolas Lafont

Hors ligne

Pied de page des forums