Panne du samedi 29 Octobre MAJ x9

le Dimanche 30 Octobre 2011

Nous avons subi une longue interruption de service. La panne a débuté à 19h45, les sites ont été remontés vers minuit. Nous sommes intervenus dès 19h50, mais la panne était assez grave. 

Nous avons perdu notre serveur de fichier central. Ce genre de machine est très fiable mais en cas de problème, elle est très compliquée à relancer : le reboot peut prendre plusieurs heures.

Nous ne sommes pas arrivés à relancer le serveur de fichier. Aussi, nous avons dû utiliser le serveur de fichier situé dans un autre data center en secours. Cette machine en BackUp nous sert à remonter l'architecture de WMaker en cas de grave problème.
 
Depuis début octobre, nous mettons en place une toute nouvelle architecture, les travaux seront finalisés fin novembre. Cela aurait réduit considérablement la probabilité de ce genre de panne et le temps d'indisponibilité...
 
Nous sommes désolé pour cette interruption de service, pour l'instant on se concentre sur la remise en route des +900 services de l'architecture et notamment les services de mail. 

(Maj 1) 30/10 à 4 h 00 : Le service Mail est ok.

(Maj 2) 30/10 à 6 h 00 : Certains sites n'étaient pas accessibles par leur nom de domaine DNS : problème fixé. 30/10 à 6 h 00.

(Maj 3) 30/10 à 12 h 20 : Nous avons réglé depuis ce matin plusieurs disfonctionnements.

Cette nuit :
Le principal problème que nous rencontrons actuellement c'est les VIDEO. 
Nous sommes intervenu dans la nuit dans le DataCenter de DC1 afin de redémarrer physiquement le serveur de fichier Video cela n'a pas fonctionné. Nous avons basculé sur un serveur de secours situé dans un autre DataCenter à Roubaix.

Actuellement  :
 
Il y a encore pas mal de problème sur les Videos notamment :
 
Upload Video / Photo -> service indisponible
Encodage Video -> service indisponible
Lecture des video -> lenteur épisodique 
 
On a planifier une autre intervention sur le DataCenter de DC1 dans l'après midi,  en attendant on essaie de trouver des solutions softs.

(Maj 4) 30/10 à 14 H 00 

Uplaod des Photos est Ok

(Maj 5) 30/10 à 16 H 00 

Quasiment tous le service à la normale nous avons redémarrer le Serveur fichier principal.
Nous allons essayer de mettre en service. 

(Maj 6) 30/10 à 17 h 40 

La tentative a avorté, ce qui à causé une interruption de back 30 min, revient à notre état initial mais toujours impossible d'envoyer des vidéos.

(Maj 7) 30/10 à 21 h 00 

Nous avons remonté un maximum de services.
Mais on ne peut toujours pas uploader de vidéo.
Demain matin une équipe prend la relève et réglera le problème de ce serveur de fichier avec l'aide OVH.

(Maj 8) 31/10 à 10 h 00

Nous avons profité de la nuit pour déplacer nos backups sur le nouveau serveur de fichier.
Ce serveur devait entrer en service la semaine prochaine.
Nous allons l'utiliser pour relancer les services. 

Nous pensons avoir stabilisé d'ici le début d'après midi.

(Maj 9) 31/10 à 17 h 00

Nous avons mis au point une technique sur le papier. Elle devrait nous permettre de reprendre la main sur le serveur de fichier central. On vient de commencer si cela réussis vous pourrez uploader à nouveau des videos,
en fin de soirée ou demain matin.

 



Sébastien Simoni
Fondateur de WMaker et du CampusPlex En savoir plus sur cet auteur


Vos commentaires
Du plus récent au plus ancien | Du plus ancien au plus récent

21.Posté par Sébastien Simoni le 30/10/2011 21:11 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
@Pilâtre c'est notre soucis numéro 1 on va régler ça demain. Je ferai un post demain en vous proposant des compensations commerciales.

22.Posté par Sébastien Simoni le 30/10/2011 22:35 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Les vidéos sont relancées sur les WebTV.
Les 4 serveurs Video des sont en service.
Elles ne sont pas très rapides au démarrage en revanche.

Mais nous réalisons des restaurations qui utilisent beaucoup de bande passante. C'est peut être la raison.
Et surtout il semble que OVH nous fourni pas la connexion 1 Gb/s entre nos 2 data center en ce moment....

23.Posté par Flam696 le 30/10/2011 23:43 (depuis mobile) | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Courage...et pensez à vous reposer quand même... le moment venu... ;-)

24.Posté par chris halusiak le 31/10/2011 11:18 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Bonjour,
Après un WE d'absence pendant lequel je ne suis pas allée sur le back-office (je dirais "heureusement pour moi"), je constate effectivement les dégâts au niveau des pages vues et de nos revenus publicitaires des derniers jours. Nous sommes contrariés par les problèmes récurrents rencontrés presque depuis la mise en route de la V5. Nous imaginons le stress qui doit régner dans vos équipes et nous vous souhaitons une prompte sortie de crise.
Cordialement,

25.Posté par Yann le 31/10/2011 11:22 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Décidément cette V5.............. Bon courage à toute l'équipe

Salutations

Yann

26.Posté par Rangement le 31/10/2011 13:38 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
On sort toujours plus fort d'une crise et vous l'avez gérée rapidement et le plus efficacement possible.
Je suis confiant sur le fait que vous saurez tirer les conséquences de cet incident.

Cela fait plaisir de voir que la majorité de vos clients vous soutiennent.
Quant à vos quelques clients qui râlent, je leur propose 3 réflexions :
1- nous sommes en période de vacances scolaires + pont, donc le trafic est plus faible que d'habitude
2- quand l'accès de vos serveurs OVH lâche, vous êtes indemnisés vous ? Pas moi !
3- qui ne fait pas d'erreur ne progresse pas. Vous êtes parfaits vous ?

Bon courage à l'équipe et merci pour le boulot réalisé ces dernières heures.

27.Posté par Nathalie MONTELLE le 31/10/2011 16:13 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Je participe à un salon du numérique du 03 au 05 novembre pour faire la présentation de notre site, j'espère donc sincèrement que tous les problèmes seront réglés d'ici là! ( on a tous nos préoccupations...) Pour ma part, je vous demande simplement de ne pas choisir de couper les services la nuit chez vous, car ici à Tahiti, c'est la journée...et nous ne sommes pas en période de vacances.
En tous les cas, bon courage à toute l'équipe, et merci pour votre engagement et votre implication,
Nathalie

28.Posté par Emotions Tv le 31/10/2011 16:13 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Bonjour à toute l’équipe de WMAKER,

Juste pour vous soutenir dans cette galère.
Bon courage à vous tous !
Serge

29.Posté par Frederic FAYETTE le 31/10/2011 16:23 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Bon courage à vous, des problèmes il y en a ce n'est pas grave, vous êtes réactifs on sait toujours ce qui se passe, donc bon courage.

et pas besoin de geste commerciale, restez pro c'est le plus important.

30.Posté par TITEM YACINE le 31/10/2011 17:11 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Bon courage à toute l'équipe,

Situation pas très évidente à gérer, vous y êtes presque...
ci-joint quelques remarques en ce qui concerne nos problèmes...
étant une Web Tv, notre contenu est à 100 % vidéo... ce qui fais que jusqu’à' à cette heure ci, les vidéos ne marchent pas, les uploads sont impossible
j'ai du présenter notre produit à un annonceur potentiel " pour contrat de 2 ans" j'espère qu'il ont compris que la panne est passagère...!!!!

cordiales salutations

31.Posté par Flamme Flam le 31/10/2011 17:12 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Twitter
L'upload des vidéos semble ne toujours pas fonctionner... ;-)
Courage...

32.Posté par Sébastien Simoni le 31/10/2011 18:01 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
@Tous merci pour vos soutiens de la part de toute l'équipe WM.

33.Posté par perraut francois le 31/10/2011 18:04 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Courage les gars .. de toute façon on est avec vous minutes après minutes ... la forêt qui brule à la Réunion .; on s'en fout complètement ... Notre problème c'est de pouvoir uploader le plus rapidement possible ... site 100% vidéo vous imaginez notre tracas ... pas une vidéo depuis samedi soir ... Courage avec la technique sur le papier .. on tient le bon bout ... Wmaker n'est il pas devenu la grenouille qui voulait imiter le boeuf ? N'a t'il pas grossi trop vite ? a la 1ère vidéo on fait péter le champagne qu'on partagera virtuellement ... Bons baisers(brulants) de la Réunion .. F Perraut

34.Posté par Marcel Lévy le 01/11/2011 08:30 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Bonjour à toute l'équipe

je pense, malgré les efforts que vous faites et assumez avec brio, que la V5 était loin d'être indispensable et que la course à la nouveauté n'est pas essentielle pour garder vos clients et en conquérir de nouveau. Nous vous faisons largement confiance et je crois qu'avancer par touche est aussi fort commercialement qu'un grand "coup technologique" .

Nous rencontrons d'immenses soucis de newsletter, essentielle à notre business modèle, depuis l'arrivée de cette nouvelle version sont la partie visible de l'icerberg (le front office) apporte quelques agréables modifications mais loin d'être indispensables au travail quotidien. Car en fait, si j'ai bien compris, les plus de la V5 ne sont pas forcément visibles ; base de données, serveurs...

N'oublions jamais que le terme "utilisateur" est souvent opposé au terme "technicien". En informatique, le bonheur des uns est loin de faire le bonheur des autres et vice versa. Pour nous qui ne sommes que de modestes journalistes, nos besoins sont à l'évidence très éloignés de certains commentaires postés ici. Nous entrons des textes, des images, quelques vidéos, des pubs et fabriquons des lettres hebdomadaires ou quotidiennes. Sans doute n'utilisons nous, de façon visible, que 30 % des possibilités de wmaker mais noyées dans le reste, elles sont elles aussi impactées par cette course à l'innovation.

On rêverait presque d'une offre wmaker à deux niveaux. moins de possibilités mais plus de fiabilité pour l'une. Hyper technologique et plus risqué pour l'autre.

Nous avons fait le choix du mutualisé, nous ne le regrettons pas même si parfois nous pensons que le plus petit dénominateur commun doit aussi exister dans un groupe, quelle que soit sa taille.

Bon courage à toute l'équipe
Marcel Lévy

35.Posté par Jean-Marc le 01/11/2011 09:27 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Bonjour à vous,
Ce matin tout est devenu inaccessible en ce qui concerne le Web (pas le back office à priori)
Où en êtes vous ?
Je rekoins la dernieère opinion exprimée :
depuis 5 jours maintenant impossible d'envoyer des news et nos clients ne marchent qu'avec cela.
Je commence à perdre beaucoup d'argent et même sii je comprends parfaitement( vos préoccupations la gestion des news lettrers est indispensable à la vie (et la survie) de ma boîte.
A 10 jours du renouvellement de mon offre je suis maintenant perplexe.
Bon courage et donnez VITE des nouvelles
Jean-Marc

36.Posté par Sébastien Simoni le 01/11/2011 09:29 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
On est bien 6 personnes sont derrière leur poste. Je fait un point avec une nouvelle note vers 10 h 00

37.Posté par Jean le 01/11/2011 09:45 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Je n'arrive pas à réactualiser mon blog...sauf hier soir où cela a marché vers 20h30. Ce matin, retour à la case départ. Bon courage pour vos travaux aujourd'hui !

38.Posté par Patrice Le Luel le 01/11/2011 11:57 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Bonjour,
Vu la diversité des opinions exprimés dans les commentaires de ce post concernant la V5, une étude des attentes de vos clients serait vraisemblablement particulièrement intéressante.
En tant que spécialiste de ce type d'étude, nous sommes toujours impressionnés par la richesse des enseignements apportés.
Bon courage pour les opérations en cours.
Patrice Le Luel

39.Posté par Silverman le 01/11/2011 12:01 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
L’impacte financier sur notre activité est important et nous sommes fortement pénalisés par cette panne que nous avons subie.
Malgré cela, nous remercions le professionnalisme des équipes, qui ont trouvé des réponses à nos problèmes. Nous sommes heureux d’être client Wmaker, malgré cette incident, car nous trouvons toujours des personnes à notre écoutent qui avent résoudre nos problème et trouver des solutions.
Merci à vous.

40.Posté par Marcel Levy le 01/11/2011 12:21 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Re Bonjour

Il est vrai qu'il est intéressant de constater qu'un grand nombre d'abonnés à Wmaker ont construit un modèle économique autour de l'offre WM. Si j'en crois ce que nous échangeons en privé avec certains abonnés, le modèle, à l'origine plutôt ludique, a attiré beaucoup de pros Aujourd'hui nous apportons une exigence professionnelle à une vision restée "mutualiste" et parfois donc communautaire. Il n'est donc pas nécessaire de reprocher à WM des situations que nous avions choisi.
A contrario, je pense que ce serait une excellente idée d'avoir une vision "clients" plus proche de ce que sont aujourd'hui les abonnés. Sans doute existe t-il un décalage entre l'évolution technologique et le besoin réel. Il est vrai que le CRM est devenu une obligation de toutes les entreprises technologiques.
Mais cela est une affaire de WM.
Mon commentaire d'avant est éloigné de toutes critiques de fond. Il ne concerne que la forme. Mais la valeur ajoutée de WM est d'engager le dialogue avec ses clients. profitons de cette panne pour aller plus loin.
Amitiés
Marcel

1 2 3