Compte-rendu des opérations de cette nuit 1 novembre 2011 Maj x 2

le Mardi 1 Novembre 2011

Je vais vous expliquer les choses techniquement et de la manière le plus exhaustive possible. En tout cas, de la façon dont j'aimerais qu'on me les explique en tant que client.
 
Nous rencontrons plusieurs problèmes qui, cumulés, nous compliquent la tâche.
 
Up-load vidéo :
Nous avons trouvé une solution pour rétablir l'up-load vidéo. Cela nécessite la modification de l'application ; ça prendra la journée. Une fois la modification effectuée, les vidéos pourront être lues depuis plusieurs serveurs. Actuellement, les vidéos sont lues depuis le serveur de back-up chez OVH. Cela nous permettra de réparer les volumes de disques défectueux du serveur de fichiers n°1. Nous disposons sur place d'une quarantaine de disques neufs dans leurs emballages (Seagate ES 2To). Adieu les disques Green de WesternDigital qui sont la cause de tous nos problèmes...
 
Opération data center / technicien OVH :
Cette nuit, nous avons demandé au technicien d'OVH d'intervenir sur notre architecture afin de rétablir l’up-load sur les vidéos. L'opération consistait à retirer un ensemble de plusieurs pools de disques afin de permettre à la machine de redémarrer. Etant donné qu'il s'agit de très grosses machines (48 disques), les checks de disque empêchaient le redémarrage.
 
Nous disposons de deux gros serveurs de ce type, un dans chaque baie, identifié par des étiquettes en façade et sur le panneau arrière. L'opérateur d'OVH n'a pas retiré les disques dans le bon serveur, mais dans le serveur de fichiers n°2. :-( 
 
Cela a eu pour conséquence de nous couper de notre deuxième serveur de fichiers central. Nous nous en sommes rendus compte quasiment immédiatement, nous avons pu contacter le technicien au téléphone qui a reconnecté les disques. Cela a provoqué une coupure du service de 15 minutes vers 0h40 cette nuit. Il y a eu ensuite beaucoup de travail pour l'équipe car nous avons dû remonter des machines virtuelles et surtout traiter un gros problème SQL…
 
Resynchronisation base de donnée :
Un défaut sur un serveur de données a entrainé une perte de désynchronisation sur l'ensemble des serveurs SQL. En temps normal, 6 de serveurs de base de données sont en réplication mutuelle, avec les mêmes données partout. Cette nuit, l'application était en ligne, mais les données n'étaient plus cohérentes d'une base à l'autre. Nous avons à l’heure actuelle, relancé 3 serveurs de base de données, on continu... Cette situation est assez exceptionnelle, cela nous est arrivé une fois en 2006 pendant la nuit de Noël. Pour se prémunir de ce genre de risque, une photo de la base est faite tous les jours à 6h00 du matin ; nous stockons ces images de la base chaque jour avec 1 mois d'historique. 
 
Nous avons pu garder les sites actifs. Seuls les back-offices ont été mis en maintenance de 4h00 à 6h30 du matin. Heureusement, nous n'avons pas eu besoin d'utiliser ce back-up. L'un des serveurs de bases de données avait été mis en stand-by hier à 19h00. Nous sommes repartis de cette base pour remonter des serveurs de base de données cohérents.  En revanche,  les modifications (Article, Photo ...) entre 19h00 et 3h00 du matin n’ont pas été sauvegardé . Tout le reste est en ligne.
 
Pour finir :
Nous avons bien conscience que cela fait beaucoup d'incidents en trois jours. Nous faisons le maximum pour revenir à une situation stable. Nous avons organisé un roulement des équipes pour résoudre au plus vite les problèmes. Une fois cet épisode terminé, nous allons modifier plusieurs aspects de notre organisation. Le seul point positif, c'est que nous avons réussi à limiter l'interruption de service à 15 minutes, cette nuit. Nous pensons raisonnablement rouvrir l'up-load des vidéos d'ici mercredi matin. Une fois que nous serons venus à bout de tout cela, je vous proposerai une compensation commerciale. Mais là on se concentre  totalement sur les problèmes techniques. Je ferai un point en début d’après midi.

Maj 15h30 01/11 :
- Site : Temps de génération moyen des pages sous les >500 ms, c'est un peu plus lent que d'habitude mais la valeur s'approche de la normale. 
- WebTV : le lancement des videos est toujours lent, système Uplaod progress bien samir donnera des détails en commentaire de la note. 

Merci pour vos soutiens nombreux, On lache rien !!!! 

Maj 00h00 01/11 :
- Site : temps de génération moyen des pages 280 ms.
- WebTV : Lancement des videos est normal, Upload des videos actif si vous avez votre propre domaine !!!
 


Sébastien Simoni
Fondateur de WMaker et du CampusPlex En savoir plus sur cet auteur


Vos commentaires
Du plus récent au plus ancien | Du plus ancien au plus récent

84.Posté par François Cahour le 21/11/2011 16:15 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Bonjour,
les videos envoyées en 16*9 sont systématiquement converties en 4*3
Ceci quel que soit le codage d'origine (MPEG2, H264, MPEG4)
La fenêtre ne permet pas de choisir le ratio et code directement en 4*3.

83.Posté par Jerome PIETRI le 06/11/2011 14:51 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
@infobar la maintenance ne concerne que l'accès au back office qui est réouvert depuis 14h00 et a été annoncé officiellement dès fin d'après midi.

82.Posté par Le Pape Laurent le 06/11/2011 14:47 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Bonjour,
Après votre maintenance sur le Back Office, ENCORE des problèmes d'affichage des images.
http://www.infosbartv.com/
Merci de rétablir cela au plus vite. Nous avons déjà subi un grand préjudice commercial avec les problèmes rencontrés dernièrement...

81.Posté par Thierry -GSCF le 06/11/2011 13:46 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Bonjour,
Pouvez-vous nous confirmer la reprise à 14 h du backoffice en effet nous sommes dans l'attente de modif importante.

Merci
TV

80.Posté par leonidas le 06/11/2011 12:44 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Bonjour a toute l equipe et je vous remercie pour le travail que vous faites,egalement votre professionalisme.
je viens de m inscire , j ai installe mon nom de domaine www.noulive.com ,j attendais 48 heures pour que mon nom de domaine soit effectif a 100 % mais ce matin je suis alle dans le backoffice pour verifier, j ai remarque tous les liens du backofficie sont morts, je ne peux pas acceder a aucune page, et meme le support pour vous ecrire. Merci de m aider.
www.noulive.com

79.Posté par Francois le 06/11/2011 11:11 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Bonjour Jerome et à toute l'équipe,
je voudrai bien aller sur le support ce matin... mais nouveau problème... plus rien ne marche dans le back office.
J'y accède.. mais les liens sont morts.... pour infos si ca peut aider sous fire fox nada, sous IE me dit qu'il y a une erreur dans la page.

> Je n'ai pas mis de message concernant le preroll dans le support mais hier sur votre blog.
Lorsque l'on télécharge une vidéo pour le preroll et tenant compte des contraintes ... le module la télécharge mais elle n'apparait pas... on avait testé ca marchait avant.

> Les message du support concernaient le fait que je en pouvais plus mettre de vidéo en ligne depuis le 24... les vidéo se téléchargeaient mais n'étaient pas dans le staff des vidéos dans le backoffice.
Après quelques jours je me suis dis que peu être que la version d'essai était limitée en nombre de vidéo...
J'ai payé ... et l'onglet de téléchargement est revenue.
Mais cela durant les problème de ce week end... donc impossible d'envoyer des vidéos

> Ensuite nouveau problème, nouveau message sur support...
Impossible de rentrer dans les élements de la partie design (conteneur ou autre...)
Sans nouvelle pour savoir si cela avait un rapport avec la panne... j'ai testé pas mal de chose
et étrangement avec IE ca marche contrairement avec Firefox......

78.Posté par Jerome PIETRI le 05/11/2011 19:17 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
@Francois Pourriez vous vous ré-ouvrir une demande de support sur le sujet ?
Je n'ai vu qu'une seul demande en attente de traitement mais elle ne concernait pas le preroll.

77.Posté par Francois le 05/11/2011 18:39 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Bonjour,
Alors voila un peu les PB :
> Je mets des vidéos en preroll poour annonceurs, elles se téléchargent ... et rien

> Je pense que vous n'intervenait plus sur les questions posées sur le support (plusieurs messages depuis le 25 sans réponse)

> On a déplacé le lancement de la web TV ... qui devait suivre le lancement de la chaine ...
Car c'est un peu grace aux annonceurs que nos salaires tombent et que la structure peut vivre.

En espérant que ca se rétablisse rapidement.
Francois
TV AMIENS

76.Posté par Jerome PIETRI le 05/11/2011 11:39 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Perso je ne connaissait pas votre site, j'y suis donc aller pour la première fois et idem, aucune problème je vois bien toutes les vignettes je confirme donc le pronostic de samir (cache navigateur).


75.Posté par Samir AMZANI le 05/11/2011 11:36 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
@Raveneau Je viens de vérifier tous nos serveur de cache, et recharger plusieurs fois après avoir vider le cache navigateur, je confirme aucun soucie.
Faut vider le cache navigateur.
Si vous rencontrez le même soucie, merci de passer par le support pour étudier votre cas.


74.Posté par Raveneau Patrice le 05/11/2011 10:18 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Bonjour,
Il y a toujours des problèmes d'affichage des vignettes sur notre webtv, ce qui est très gênant quand il s'agit de la video à la Une. Il faut recharger la page plusieurs fois de suite pour que toutes les vignettes s'affichent correctement.
Cordialement,
PR

73.Posté par leonidas le 04/11/2011 16:04 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Bonjour , nous travaillons sur un projet, on avait prevu de s'inscrire au debut du mois de novembre, mais ce n est pas possible , je pense ca a rapport avec la panne, , j aimerais savoir quand il sera possible de s'inscrire, j ai deja mon nom domaine, nous esperons commencer a travailler avec vous tres bientot. merci

72.Posté par leonidas le 04/11/2011 15:07 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
@ Jerome Granados.. bonjour , je vous remercie pour votre reponse rapide mais jusqu a maintenant , je ne peux pas m 'inscrire pour la web tv.

71.Posté par Gueroux le 04/11/2011 13:20 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Mille mercis à tous pour vos efforts et pour avoir réussi à faire en sorte, malgré l'incident, que cela ne se ressente que peu sur le trafic. Pro et surtout très axé sur le service au client.
Cordialement,
FG
http://www.fabricegueroux.com

70.Posté par Jerome PIETRI le 04/11/2011 10:30 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Non aucune inquiétude a avoir de ce côté là :)

69.Posté par Marcel Levy le 04/11/2011 10:24 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Bonjour
A cette heure, il y a un trou de deux heures dans la datation et l'horaire des mails reçus.
(nous avons un dernier à 7h44 et un nouveau à 9h34
Sont-ils perdus ou devraient-ils arriver
ML

68.Posté par Jerome PIETRI le 04/11/2011 10:11 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Effectivement problème d'authentification corrigé à 9h00.

67.Posté par Finyear le 04/11/2011 08:54 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Bonjour,

Je confirme le plantage des mails depuis tôt ce matin...et rien d'affiché sur http://status-wmaker.net/index.php

66.Posté par Salembier le 04/11/2011 08:53 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Souci mail ici aussi :-(

65.Posté par webmaster le 04/11/2011 08:48 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Je vous signale encore un autre dysfonctionnement pour les messageries via http://webmail.wmaker.net/
(erreur de connexion au serveur IMAP).

1 2 3 4 5