Compte-rendu des opérations de cette nuit 1 novembre 2011 Maj x 2

le Mardi 1 Novembre 2011

Je vais vous expliquer les choses techniquement et de la manière le plus exhaustive possible. En tout cas, de la façon dont j'aimerais qu'on me les explique en tant que client.
 
Nous rencontrons plusieurs problèmes qui, cumulés, nous compliquent la tâche.
 
Up-load vidéo :
Nous avons trouvé une solution pour rétablir l'up-load vidéo. Cela nécessite la modification de l'application ; ça prendra la journée. Une fois la modification effectuée, les vidéos pourront être lues depuis plusieurs serveurs. Actuellement, les vidéos sont lues depuis le serveur de back-up chez OVH. Cela nous permettra de réparer les volumes de disques défectueux du serveur de fichiers n°1. Nous disposons sur place d'une quarantaine de disques neufs dans leurs emballages (Seagate ES 2To). Adieu les disques Green de WesternDigital qui sont la cause de tous nos problèmes...
 
Opération data center / technicien OVH :
Cette nuit, nous avons demandé au technicien d'OVH d'intervenir sur notre architecture afin de rétablir l’up-load sur les vidéos. L'opération consistait à retirer un ensemble de plusieurs pools de disques afin de permettre à la machine de redémarrer. Etant donné qu'il s'agit de très grosses machines (48 disques), les checks de disque empêchaient le redémarrage.
 
Nous disposons de deux gros serveurs de ce type, un dans chaque baie, identifié par des étiquettes en façade et sur le panneau arrière. L'opérateur d'OVH n'a pas retiré les disques dans le bon serveur, mais dans le serveur de fichiers n°2. :-( 
 
Cela a eu pour conséquence de nous couper de notre deuxième serveur de fichiers central. Nous nous en sommes rendus compte quasiment immédiatement, nous avons pu contacter le technicien au téléphone qui a reconnecté les disques. Cela a provoqué une coupure du service de 15 minutes vers 0h40 cette nuit. Il y a eu ensuite beaucoup de travail pour l'équipe car nous avons dû remonter des machines virtuelles et surtout traiter un gros problème SQL…
 
Resynchronisation base de donnée :
Un défaut sur un serveur de données a entrainé une perte de désynchronisation sur l'ensemble des serveurs SQL. En temps normal, 6 de serveurs de base de données sont en réplication mutuelle, avec les mêmes données partout. Cette nuit, l'application était en ligne, mais les données n'étaient plus cohérentes d'une base à l'autre. Nous avons à l’heure actuelle, relancé 3 serveurs de base de données, on continu... Cette situation est assez exceptionnelle, cela nous est arrivé une fois en 2006 pendant la nuit de Noël. Pour se prémunir de ce genre de risque, une photo de la base est faite tous les jours à 6h00 du matin ; nous stockons ces images de la base chaque jour avec 1 mois d'historique. 
 
Nous avons pu garder les sites actifs. Seuls les back-offices ont été mis en maintenance de 4h00 à 6h30 du matin. Heureusement, nous n'avons pas eu besoin d'utiliser ce back-up. L'un des serveurs de bases de données avait été mis en stand-by hier à 19h00. Nous sommes repartis de cette base pour remonter des serveurs de base de données cohérents.  En revanche,  les modifications (Article, Photo ...) entre 19h00 et 3h00 du matin n’ont pas été sauvegardé . Tout le reste est en ligne.
 
Pour finir :
Nous avons bien conscience que cela fait beaucoup d'incidents en trois jours. Nous faisons le maximum pour revenir à une situation stable. Nous avons organisé un roulement des équipes pour résoudre au plus vite les problèmes. Une fois cet épisode terminé, nous allons modifier plusieurs aspects de notre organisation. Le seul point positif, c'est que nous avons réussi à limiter l'interruption de service à 15 minutes, cette nuit. Nous pensons raisonnablement rouvrir l'up-load des vidéos d'ici mercredi matin. Une fois que nous serons venus à bout de tout cela, je vous proposerai une compensation commerciale. Mais là on se concentre  totalement sur les problèmes techniques. Je ferai un point en début d’après midi.

Maj 15h30 01/11 :
- Site : Temps de génération moyen des pages sous les >500 ms, c'est un peu plus lent que d'habitude mais la valeur s'approche de la normale. 
- WebTV : le lancement des videos est toujours lent, système Uplaod progress bien samir donnera des détails en commentaire de la note. 

Merci pour vos soutiens nombreux, On lache rien !!!! 

Maj 00h00 01/11 :
- Site : temps de génération moyen des pages 280 ms.
- WebTV : Lancement des videos est normal, Upload des videos actif si vous avez votre propre domaine !!!
 


Sébastien Simoni
Fondateur de WMaker et du CampusPlex En savoir plus sur cet auteur


Vos commentaires
Du plus récent au plus ancien | Du plus ancien au plus récent

61.Posté par leonidas le 03/11/2011 15:15 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
bonjour , j aimerais profiter pour vos services , mais j peux pas m inscrire....quand est ce que tout se retablira pour les nouveaux clients. Merci de votre reponse

62.Posté par perraut francois le 03/11/2011 15:19 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
dans ce concert de louanges .. Allons y de notre petit couplet .. bravo W maker !! et bons baisers de La Réunion ..Au niveau des stats qui sont bloquées depuis le 29 octobre .. Solution ou pas solution du tout ? Putain uploader quand on a perdu l'habitude d'uploader .. c'es jouissif !!

63.Posté par Jerome Granados le 03/11/2011 15:19 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
@leonidas : pour le CMS, vous pouvrez vous inscrire à partir de www.wmaker.net/tarifs
pour la Web TV, il faut patienter encore un peu. D'ici la fin de journée vous pourrez vous inscrire sur www.wmaker.tv/tarifs/

64.Posté par Marcel Levy le 04/11/2011 08:10 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Bonjour

Apparemment les mails sont plantés ce matin.
Bon courage
ML

65.Posté par webmaster le 04/11/2011 08:48 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Je vous signale encore un autre dysfonctionnement pour les messageries via http://webmail.wmaker.net/
(erreur de connexion au serveur IMAP).

66.Posté par Salembier le 04/11/2011 08:53 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Souci mail ici aussi :-(

67.Posté par Finyear le 04/11/2011 08:54 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Bonjour,

Je confirme le plantage des mails depuis tôt ce matin...et rien d'affiché sur http://status-wmaker.net/index.php

68.Posté par Jerome PIETRI le 04/11/2011 10:11 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Effectivement problème d'authentification corrigé à 9h00.

69.Posté par Marcel Levy le 04/11/2011 10:24 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Bonjour
A cette heure, il y a un trou de deux heures dans la datation et l'horaire des mails reçus.
(nous avons un dernier à 7h44 et un nouveau à 9h34
Sont-ils perdus ou devraient-ils arriver
ML

70.Posté par Jerome PIETRI le 04/11/2011 10:30 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Non aucune inquiétude a avoir de ce côté là :)

71.Posté par Gueroux le 04/11/2011 13:20 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Mille mercis à tous pour vos efforts et pour avoir réussi à faire en sorte, malgré l'incident, que cela ne se ressente que peu sur le trafic. Pro et surtout très axé sur le service au client.
Cordialement,
FG
http://www.fabricegueroux.com

72.Posté par leonidas le 04/11/2011 15:07 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
@ Jerome Granados.. bonjour , je vous remercie pour votre reponse rapide mais jusqu a maintenant , je ne peux pas m 'inscrire pour la web tv.

73.Posté par leonidas le 04/11/2011 16:04 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Bonjour , nous travaillons sur un projet, on avait prevu de s'inscrire au debut du mois de novembre, mais ce n est pas possible , je pense ca a rapport avec la panne, , j aimerais savoir quand il sera possible de s'inscrire, j ai deja mon nom domaine, nous esperons commencer a travailler avec vous tres bientot. merci

74.Posté par Raveneau Patrice le 05/11/2011 10:18 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Bonjour,
Il y a toujours des problèmes d'affichage des vignettes sur notre webtv, ce qui est très gênant quand il s'agit de la video à la Une. Il faut recharger la page plusieurs fois de suite pour que toutes les vignettes s'affichent correctement.
Cordialement,
PR

75.Posté par Samir AMZANI le 05/11/2011 11:36 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
@Raveneau Je viens de vérifier tous nos serveur de cache, et recharger plusieurs fois après avoir vider le cache navigateur, je confirme aucun soucie.
Faut vider le cache navigateur.
Si vous rencontrez le même soucie, merci de passer par le support pour étudier votre cas.


76.Posté par Jerome PIETRI le 05/11/2011 11:39 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Perso je ne connaissait pas votre site, j'y suis donc aller pour la première fois et idem, aucune problème je vois bien toutes les vignettes je confirme donc le pronostic de samir (cache navigateur).


77.Posté par Francois le 05/11/2011 18:39 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Bonjour,
Alors voila un peu les PB :
> Je mets des vidéos en preroll poour annonceurs, elles se téléchargent ... et rien

> Je pense que vous n'intervenait plus sur les questions posées sur le support (plusieurs messages depuis le 25 sans réponse)

> On a déplacé le lancement de la web TV ... qui devait suivre le lancement de la chaine ...
Car c'est un peu grace aux annonceurs que nos salaires tombent et que la structure peut vivre.

En espérant que ca se rétablisse rapidement.
Francois
TV AMIENS

78.Posté par Jerome PIETRI le 05/11/2011 19:17 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
@Francois Pourriez vous vous ré-ouvrir une demande de support sur le sujet ?
Je n'ai vu qu'une seul demande en attente de traitement mais elle ne concernait pas le preroll.

79.Posté par Francois le 06/11/2011 11:11 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Bonjour Jerome et à toute l'équipe,
je voudrai bien aller sur le support ce matin... mais nouveau problème... plus rien ne marche dans le back office.
J'y accède.. mais les liens sont morts.... pour infos si ca peut aider sous fire fox nada, sous IE me dit qu'il y a une erreur dans la page.

> Je n'ai pas mis de message concernant le preroll dans le support mais hier sur votre blog.
Lorsque l'on télécharge une vidéo pour le preroll et tenant compte des contraintes ... le module la télécharge mais elle n'apparait pas... on avait testé ca marchait avant.

> Les message du support concernaient le fait que je en pouvais plus mettre de vidéo en ligne depuis le 24... les vidéo se téléchargeaient mais n'étaient pas dans le staff des vidéos dans le backoffice.
Après quelques jours je me suis dis que peu être que la version d'essai était limitée en nombre de vidéo...
J'ai payé ... et l'onglet de téléchargement est revenue.
Mais cela durant les problème de ce week end... donc impossible d'envoyer des vidéos

> Ensuite nouveau problème, nouveau message sur support...
Impossible de rentrer dans les élements de la partie design (conteneur ou autre...)
Sans nouvelle pour savoir si cela avait un rapport avec la panne... j'ai testé pas mal de chose
et étrangement avec IE ca marche contrairement avec Firefox......

80.Posté par leonidas le 06/11/2011 12:44 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Bonjour a toute l equipe et je vous remercie pour le travail que vous faites,egalement votre professionalisme.
je viens de m inscire , j ai installe mon nom de domaine www.noulive.com ,j attendais 48 heures pour que mon nom de domaine soit effectif a 100 % mais ce matin je suis alle dans le backoffice pour verifier, j ai remarque tous les liens du backofficie sont morts, je ne peux pas acceder a aucune page, et meme le support pour vous ecrire. Merci de m aider.
www.noulive.com

1 2 3 4 5


Derniers tweets
WMaker Blog | Implémentation de 3d Secure Depuis la semaine dernière le 1er paiement de votre abonnement passe par… https://t.co/8uNya0bN77
Lundi 10 Mai - 11:15
WMaker Blog | Conformez-vous au Transparency and Consent Framework de l'iAB Europe L'IAB (Interactive Advertising B… https://t.co/L3n37ZvCvY
Mercredi 16 Décembre - 11:31
WMaker Blog | Utilisation des cookies sur vos sites et nouvelles directives européennes Mis à jour le 8 octobre 202… https://t.co/ZFL3MtxSXh
Mardi 13 Octobre - 10:04
WMaker Blog | Nouveau Player sur WMaker Pendant le confinement lié au Covid-19, notre équipe fait de son mieux pour… https://t.co/Bnf5e65UeZ
Jeudi 23 Avril - 16:37

Derniers commentaires