Panne du samedi 29 Octobre MAJ x9

le Dimanche 30 Octobre 2011

Nous avons subi une longue interruption de service. La panne a débuté à 19h45, les sites ont été remontés vers minuit. Nous sommes intervenus dès 19h50, mais la panne était assez grave. 

Nous avons perdu notre serveur de fichier central. Ce genre de machine est très fiable mais en cas de problème, elle est très compliquée à relancer : le reboot peut prendre plusieurs heures.

Nous ne sommes pas arrivés à relancer le serveur de fichier. Aussi, nous avons dû utiliser le serveur de fichier situé dans un autre data center en secours. Cette machine en BackUp nous sert à remonter l'architecture de WMaker en cas de grave problème.
 
Depuis début octobre, nous mettons en place une toute nouvelle architecture, les travaux seront finalisés fin novembre. Cela aurait réduit considérablement la probabilité de ce genre de panne et le temps d'indisponibilité...
 
Nous sommes désolé pour cette interruption de service, pour l'instant on se concentre sur la remise en route des +900 services de l'architecture et notamment les services de mail. 

(Maj 1) 30/10 à 4 h 00 : Le service Mail est ok.

(Maj 2) 30/10 à 6 h 00 : Certains sites n'étaient pas accessibles par leur nom de domaine DNS : problème fixé. 30/10 à 6 h 00.

(Maj 3) 30/10 à 12 h 20 : Nous avons réglé depuis ce matin plusieurs disfonctionnements.

Cette nuit :
Le principal problème que nous rencontrons actuellement c'est les VIDEO. 
Nous sommes intervenu dans la nuit dans le DataCenter de DC1 afin de redémarrer physiquement le serveur de fichier Video cela n'a pas fonctionné. Nous avons basculé sur un serveur de secours situé dans un autre DataCenter à Roubaix.

Actuellement  :
 
Il y a encore pas mal de problème sur les Videos notamment :
 
Upload Video / Photo -> service indisponible
Encodage Video -> service indisponible
Lecture des video -> lenteur épisodique 
 
On a planifier une autre intervention sur le DataCenter de DC1 dans l'après midi,  en attendant on essaie de trouver des solutions softs.

(Maj 4) 30/10 à 14 H 00 

Uplaod des Photos est Ok

(Maj 5) 30/10 à 16 H 00 

Quasiment tous le service à la normale nous avons redémarrer le Serveur fichier principal.
Nous allons essayer de mettre en service. 

(Maj 6) 30/10 à 17 h 40 

La tentative a avorté, ce qui à causé une interruption de back 30 min, revient à notre état initial mais toujours impossible d'envoyer des vidéos.

(Maj 7) 30/10 à 21 h 00 

Nous avons remonté un maximum de services.
Mais on ne peut toujours pas uploader de vidéo.
Demain matin une équipe prend la relève et réglera le problème de ce serveur de fichier avec l'aide OVH.

(Maj 8) 31/10 à 10 h 00

Nous avons profité de la nuit pour déplacer nos backups sur le nouveau serveur de fichier.
Ce serveur devait entrer en service la semaine prochaine.
Nous allons l'utiliser pour relancer les services. 

Nous pensons avoir stabilisé d'ici le début d'après midi.

(Maj 9) 31/10 à 17 h 00

Nous avons mis au point une technique sur le papier. Elle devrait nous permettre de reprendre la main sur le serveur de fichier central. On vient de commencer si cela réussis vous pourrez uploader à nouveau des videos,
en fin de soirée ou demain matin.

 



Sébastien Simoni
Fondateur de WMaker et du CampusPlex En savoir plus sur cet auteur


Vos commentaires
Du plus récent au plus ancien | Du plus ancien au plus récent

41.Posté par jessica le 01/11/2011 13:35 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
toujours pas de lecture vidéo sur notre web tv...ça commence à faire long quand même...

42.Posté par Jerome PIETRI le 01/11/2011 13:45 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
J'en ai discuté en vitesse avec Sébastien ce matin et dès que tout cela sera derrière nous, nous allons essayer d'organiser une rencontre sur Paris pour que l'on puisse tous discuter de vive voix. Nous essayerons de monter à plusieurs pour que vous ayez le choix de votre interlocuteur. En attendant on décolle pas de notre chaise :(

43.Posté par Jerome PIETRI le 01/11/2011 14:11 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
@jessica c'est revenu cette fois ci ça n'avait rien a voir c'est simplement qu'on modifie tout pour débloquer la situation.

44.Posté par Marcel Levy le 01/11/2011 14:19 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Bon on est derrière vous (heureusement que l'on ne reste pas devant vu nos connaissances en informatique)
En tout cas si vous cassez la chaise, j'offre la prochaine

Juré !

Amitiés
Marcel

45.Posté par TV AMIENS le 01/11/2011 14:30 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Je viens tout juste de trouver cette page, après des mail envoyé sur le "support" depuis le 25/10...
je comprends mieux pourquoi je n'arrive pas à uploader mes vidéos et que pas mal de fonctionnalités en marche pas (entrer dans les modules ou en ajouter par ex).

Dommage de ne pas avoir reçu de mail via une newsletter (contrairement au mail de relance financier)...
Le lancement de notre site aillant lieu ce soir normalement... les actues ne sont pas en lignes et n'est pas finalisé.

Les pannes de ce genre sont complexes et demande beaucoup d'effort et de savoir faire...
Ce bugg tracking est vraiment bien fait... dommage de tomber dessus un peu par hasard, et d'avoir attendu un message sur le support qui est dédié à ça....

je vais voir pour tout reculer...

Bonne continuation.... et bon courage !
Francois
TV AMIENS

46.Posté par Delavaloire le 01/11/2011 17:18 (depuis mobile) | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Courage !! Mais remettez vite les mails please suis en voyage d affaire à l étranger , je reçois des demandes clients par mail et ne peux pas y répondre. C est horrible !!! Vite vite et vous avez notre soutient. L'équipe kap sud

47.Posté par Delavaloire le 01/11/2011 17:18 (depuis mobile) | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Courage !! Mais remettez vite les mails please suis en voyage d affaire à l étranger , je reçois des demandes clients par mail et ne peux pas y répondre. C est horrible !!! Vite vite et vous avez notre soutient. L''équipe kap sud

48.Posté par webmaster le 04/11/2011 09:08 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Je vous signale encore un autre dysfonctionnement pour les messageries via http://webmail.wmaker.net/
(erreur de connexion au serveur IMAP) .

1 2 3