Panne du samedi 29 Octobre MAJ x9

le Dimanche 30 Octobre 2011

Nous avons subi une longue interruption de service. La panne a débuté à 19h45, les sites ont été remontés vers minuit. Nous sommes intervenus dès 19h50, mais la panne était assez grave. 

Nous avons perdu notre serveur de fichier central. Ce genre de machine est très fiable mais en cas de problème, elle est très compliquée à relancer : le reboot peut prendre plusieurs heures.

Nous ne sommes pas arrivés à relancer le serveur de fichier. Aussi, nous avons dû utiliser le serveur de fichier situé dans un autre data center en secours. Cette machine en BackUp nous sert à remonter l'architecture de WMaker en cas de grave problème.
 
Depuis début octobre, nous mettons en place une toute nouvelle architecture, les travaux seront finalisés fin novembre. Cela aurait réduit considérablement la probabilité de ce genre de panne et le temps d'indisponibilité...
 
Nous sommes désolé pour cette interruption de service, pour l'instant on se concentre sur la remise en route des +900 services de l'architecture et notamment les services de mail. 

(Maj 1) 30/10 à 4 h 00 : Le service Mail est ok.

(Maj 2) 30/10 à 6 h 00 : Certains sites n'étaient pas accessibles par leur nom de domaine DNS : problème fixé. 30/10 à 6 h 00.

(Maj 3) 30/10 à 12 h 20 : Nous avons réglé depuis ce matin plusieurs disfonctionnements.

Cette nuit :
Le principal problème que nous rencontrons actuellement c'est les VIDEO. 
Nous sommes intervenu dans la nuit dans le DataCenter de DC1 afin de redémarrer physiquement le serveur de fichier Video cela n'a pas fonctionné. Nous avons basculé sur un serveur de secours situé dans un autre DataCenter à Roubaix.

Actuellement  :
 
Il y a encore pas mal de problème sur les Videos notamment :
 
Upload Video / Photo -> service indisponible
Encodage Video -> service indisponible
Lecture des video -> lenteur épisodique 
 
On a planifier une autre intervention sur le DataCenter de DC1 dans l'après midi,  en attendant on essaie de trouver des solutions softs.

(Maj 4) 30/10 à 14 H 00 

Uplaod des Photos est Ok

(Maj 5) 30/10 à 16 H 00 

Quasiment tous le service à la normale nous avons redémarrer le Serveur fichier principal.
Nous allons essayer de mettre en service. 

(Maj 6) 30/10 à 17 h 40 

La tentative a avorté, ce qui à causé une interruption de back 30 min, revient à notre état initial mais toujours impossible d'envoyer des vidéos.

(Maj 7) 30/10 à 21 h 00 

Nous avons remonté un maximum de services.
Mais on ne peut toujours pas uploader de vidéo.
Demain matin une équipe prend la relève et réglera le problème de ce serveur de fichier avec l'aide OVH.

(Maj 8) 31/10 à 10 h 00

Nous avons profité de la nuit pour déplacer nos backups sur le nouveau serveur de fichier.
Ce serveur devait entrer en service la semaine prochaine.
Nous allons l'utiliser pour relancer les services. 

Nous pensons avoir stabilisé d'ici le début d'après midi.

(Maj 9) 31/10 à 17 h 00

Nous avons mis au point une technique sur le papier. Elle devrait nous permettre de reprendre la main sur le serveur de fichier central. On vient de commencer si cela réussis vous pourrez uploader à nouveau des videos,
en fin de soirée ou demain matin.

 



Sébastien Simoni
Fondateur de WMaker et du CampusPlex En savoir plus sur cet auteur


Vos commentaires
Du plus récent au plus ancien | Du plus ancien au plus récent

1.Posté par pierre aimar le 30/10/2011 03:26 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Une panne ? Mais aucun commentaire sur la panne. L'article de Jérôme est vide.

2.Posté par philippe le 30/10/2011 05:38 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Bon courage les gars.

En ce qui me concerne, je n'accède à aucun de mes sites pour l'instant. J'espère que ça va se rétablir bientôt :)


3.Posté par philippe le 30/10/2011 07:43 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Merci pour votre travail

http://www.accessoweb.com/Nuit-noire-sur-AccessOWeb-et-nuit-blanche-pour-l-equipe-technique_a10029.html

ps: News-Mobiles a visiblement du mal à redémarrer :)

4.Posté par Yannick Sourisseau le 30/10/2011 09:09 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Depuis ce matin nous ne pouvons plus uploader les photos de nos articles. Je suppose que ce problème est consécutif à la panne.
Bon courage pour remettre tout cela en état.
Cordialement

5.Posté par Koyolite Tseila le 30/10/2011 09:11 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Bonjour,

Merci pour cette information.
Ce matin mon site fonctionne, mais par contre, je n'arrive pas à télécharger d'images sur les nouvelles pages que je crée (le temps de téléchargement n'en finit pas).

Salutations
KT

6.Posté par Stéphane Gonzalez le 30/10/2011 09:46 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Salut,
Merci pour ces infos.
Bon courage à tous
Stéphane

7.Posté par Jean-Marc LUCIEN le 30/10/2011 09:56 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Mes sites sont toujours inaccessibles par DNS à 10 H dimanche
A-t-on idée du délai
Je sais que ce n'est pas évident mais j'ai un site pro (www.treia.fr) qui me pose soucis pour les commandes clients
JM

8.Posté par royere le 30/10/2011 11:17 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Bonjour,

Je ne peux toujours pas uploader d'images sur mon site. Avez-vous une idée de la remise en route?
Je dois absolument poster mes articles avant ce soir.
J'ai aussi engagé une compagne coûteuse de publicité pour générer de nouveaux abonnements payants.
L'impacte financier est important, je n'ai perçu aucun abonnement suite à cette campagne d'hier, le site étant inaccessible pour s'inscrire.
Les personnes ayant voulu visiter notre site sont tombés sur une page blanche et ne reviendront certainement pas.

Un geste commercial serait le bienvenu.

9.Posté par Eduardo le 30/10/2011 11:31 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
BJ, alors, pouvons nous dire que la situation est déjà normalisé? encore il y a quelques choses qui ne marchent pas bien: par exemple, les images de social bookmarkd au pied du page ou les bottons d'actions...
merci


10.Posté par Prospert YAKA le 30/10/2011 12:09 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
L'homme créa la machine et la machine trahit l'homme. Nous vous faisons confiance et beaucoup de courage.

11.Posté par Blain Kiné Formations le 30/10/2011 12:18 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Bonjour,
dure panne apparemment. Pour ma part, mes sites ne sont pas repartis. Bon courage

12.Posté par marie-helene caillol le 30/10/2011 12:44 (depuis mobile) | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Bonjour, notre site est toujours inaccessible ce jour à 12.30. Quand ce probléme sera-t-il résolu? merci et bon courage. cordialement MH Caillol

13.Posté par ve le 30/10/2011 15:58 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
pour info, si les sites son accessibles, les admin ne le sont toujours pas !!!!

14.Posté par Pierre MARTIAL le 30/10/2011 17:07 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Bonjour,

A cet instant, dimanche 30 octobre 17heures, nous n'avons toujours pas pu entrer sur les back office de nos différents sites internet dont notre site d'actu www.aungsansuukyi.fr
Ce qui est dur dur pour nous.
Par contre, l'accès public au site est bon.
Tenez-nous informés et bon courage à vous! On est avec vous de tout coeur!
Pierre MARTIAL

15.Posté par Sébastien Simoni le 30/10/2011 18:53 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Les articles étaient modérés, je viens de publier tous les commentaires.

16.Posté par Sébastien Simoni le 30/10/2011 19:18 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Ca fait bientôt 24 h que nous sommes devant nos écrans.
On commence vraiment à être fatigué ... tant qu'on arrive à avancer on continu.

Demain tôt, on aura du renfort pour terminer de régler les problèmes en suspend.

17.Posté par Essaadi tarik le 30/10/2011 19:31 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Bon courage ...

18.Posté par Hervé Le Tellier le 30/10/2011 19:50 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Pour ma part, depuis plus de 24 heures, je ne reçois plus un seul mail et le site http://webmail.wmaker.net/ est totalement inaccessible, donc je ne comprends pas le "(Maj 1) 30/10 à 4 h 00 : Le service Mail est ok." J'espère qu'aucun ne sera perdu.
Bonne chance.
Hervé

19.Posté par Pilâtre le 30/10/2011 20:01 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
De mon côté plus d'affichage des vidéos sur la webtv, ce qui est pas très sérieux pour une webtv ;-)
J'espère que le problème se réglera au plus vite.
Courage

20.Posté par Sébastien Simoni le 30/10/2011 21:09 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
@Hervé, il s'agit des mail en pop. Le webmail n'est pas accessible. Non les mails ne sont pas perdus
Merci


1 2 3