Compte-rendu des opérations de cette nuit 1 novembre 2011 Maj x 2

le Mardi 1 Novembre 2011

Je vais vous expliquer les choses techniquement et de la manière le plus exhaustive possible. En tout cas, de la façon dont j'aimerais qu'on me les explique en tant que client.
 
Nous rencontrons plusieurs problèmes qui, cumulés, nous compliquent la tâche.
 
Up-load vidéo :
Nous avons trouvé une solution pour rétablir l'up-load vidéo. Cela nécessite la modification de l'application ; ça prendra la journée. Une fois la modification effectuée, les vidéos pourront être lues depuis plusieurs serveurs. Actuellement, les vidéos sont lues depuis le serveur de back-up chez OVH. Cela nous permettra de réparer les volumes de disques défectueux du serveur de fichiers n°1. Nous disposons sur place d'une quarantaine de disques neufs dans leurs emballages (Seagate ES 2To). Adieu les disques Green de WesternDigital qui sont la cause de tous nos problèmes...
 
Opération data center / technicien OVH :
Cette nuit, nous avons demandé au technicien d'OVH d'intervenir sur notre architecture afin de rétablir l’up-load sur les vidéos. L'opération consistait à retirer un ensemble de plusieurs pools de disques afin de permettre à la machine de redémarrer. Etant donné qu'il s'agit de très grosses machines (48 disques), les checks de disque empêchaient le redémarrage.
 
Nous disposons de deux gros serveurs de ce type, un dans chaque baie, identifié par des étiquettes en façade et sur le panneau arrière. L'opérateur d'OVH n'a pas retiré les disques dans le bon serveur, mais dans le serveur de fichiers n°2. :-( 
 
Cela a eu pour conséquence de nous couper de notre deuxième serveur de fichiers central. Nous nous en sommes rendus compte quasiment immédiatement, nous avons pu contacter le technicien au téléphone qui a reconnecté les disques. Cela a provoqué une coupure du service de 15 minutes vers 0h40 cette nuit. Il y a eu ensuite beaucoup de travail pour l'équipe car nous avons dû remonter des machines virtuelles et surtout traiter un gros problème SQL…
 
Resynchronisation base de donnée :
Un défaut sur un serveur de données a entrainé une perte de désynchronisation sur l'ensemble des serveurs SQL. En temps normal, 6 de serveurs de base de données sont en réplication mutuelle, avec les mêmes données partout. Cette nuit, l'application était en ligne, mais les données n'étaient plus cohérentes d'une base à l'autre. Nous avons à l’heure actuelle, relancé 3 serveurs de base de données, on continu... Cette situation est assez exceptionnelle, cela nous est arrivé une fois en 2006 pendant la nuit de Noël. Pour se prémunir de ce genre de risque, une photo de la base est faite tous les jours à 6h00 du matin ; nous stockons ces images de la base chaque jour avec 1 mois d'historique. 
 
Nous avons pu garder les sites actifs. Seuls les back-offices ont été mis en maintenance de 4h00 à 6h30 du matin. Heureusement, nous n'avons pas eu besoin d'utiliser ce back-up. L'un des serveurs de bases de données avait été mis en stand-by hier à 19h00. Nous sommes repartis de cette base pour remonter des serveurs de base de données cohérents.  En revanche,  les modifications (Article, Photo ...) entre 19h00 et 3h00 du matin n’ont pas été sauvegardé . Tout le reste est en ligne.
 
Pour finir :
Nous avons bien conscience que cela fait beaucoup d'incidents en trois jours. Nous faisons le maximum pour revenir à une situation stable. Nous avons organisé un roulement des équipes pour résoudre au plus vite les problèmes. Une fois cet épisode terminé, nous allons modifier plusieurs aspects de notre organisation. Le seul point positif, c'est que nous avons réussi à limiter l'interruption de service à 15 minutes, cette nuit. Nous pensons raisonnablement rouvrir l'up-load des vidéos d'ici mercredi matin. Une fois que nous serons venus à bout de tout cela, je vous proposerai une compensation commerciale. Mais là on se concentre  totalement sur les problèmes techniques. Je ferai un point en début d’après midi.

Maj 15h30 01/11 :
- Site : Temps de génération moyen des pages sous les >500 ms, c'est un peu plus lent que d'habitude mais la valeur s'approche de la normale. 
- WebTV : le lancement des videos est toujours lent, système Uplaod progress bien samir donnera des détails en commentaire de la note. 

Merci pour vos soutiens nombreux, On lache rien !!!! 

Maj 00h00 01/11 :
- Site : temps de génération moyen des pages 280 ms.
- WebTV : Lancement des videos est normal, Upload des videos actif si vous avez votre propre domaine !!!
 


Sébastien Simoni
Fondateur de WMaker et du CampusPlex En savoir plus sur cet auteur


Vos commentaires
Du plus récent au plus ancien | Du plus ancien au plus récent

64.Posté par Marcel Levy le 04/11/2011 08:10 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Bonjour

Apparemment les mails sont plantés ce matin.
Bon courage
ML

63.Posté par Jerome Granados le 03/11/2011 15:19 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
@leonidas : pour le CMS, vous pouvrez vous inscrire à partir de www.wmaker.net/tarifs
pour la Web TV, il faut patienter encore un peu. D'ici la fin de journée vous pourrez vous inscrire sur www.wmaker.tv/tarifs/

62.Posté par perraut francois le 03/11/2011 15:19 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
dans ce concert de louanges .. Allons y de notre petit couplet .. bravo W maker !! et bons baisers de La Réunion ..Au niveau des stats qui sont bloquées depuis le 29 octobre .. Solution ou pas solution du tout ? Putain uploader quand on a perdu l'habitude d'uploader .. c'es jouissif !!

61.Posté par leonidas le 03/11/2011 15:15 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
bonjour , j aimerais profiter pour vos services , mais j peux pas m inscrire....quand est ce que tout se retablira pour les nouveaux clients. Merci de votre reponse

60.Posté par Jean-Marc le 03/11/2011 13:29 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Merci pour tout effectivement on a eu une coupure qui parait liée à cette resynchro.
Bon courage pour la suite...
JM

59.Posté par Jerome PIETRI le 03/11/2011 12:42 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
@ Jean-Marc En fait il s'agit simplement d'une resynchronisation de la base de données pour le Webmail, cela n'a pas duré.

58.Posté par Jerome Granados le 03/11/2011 11:55 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
@Laurent & AKTs TV : pour les web TV, le chemin d'accès vers les images a dû être modifié suite à l'incident. Nous sommes repassés dans tous les modules pour faire pointer vers le bon chemin. C'est désormais ok. Si vous ne voyez pas les images, pensez à vider votre cache. La deuxième étape (en cours actuellement), c'est une intervention sur les serveurs de cache, pour éviter que parfois, au survol de la souris, les images disparaissent. Cela résoudra l'affichage des images coté back office.

@Jean-Marc : je viens de faire un test, le webmail fonctionne. Si ça ne fonctionne pas de votre coté, pouvez-vous ouvrir un thread sur le sujet dans le support, que l'on puisse regarder en détail. Merci

57.Posté par ATKs TV le 03/11/2011 11:55 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Bonjour,
Quand TOUT reviendra t-il à la normal? De notre côté, nous n'osons plus envoyer de vidéos de peur que les internautes est un mauvais rendu ou un site vierge avec des manque d'image ou de vidéo.
Nous comprenons et nous sommes patients mais les jours passent et la répercution commence sérieusement à se faire sentir.
Donnez des news c'est important pour vos clients.
Merci

56.Posté par Jean-Marc le 03/11/2011 11:38 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Trop beau...le Webmail est à nouveau planté...
Décidément on ose plus faire de réflexions sur les résultats.
JM

55.Posté par Jean-Marc le 03/11/2011 09:44 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Je comprends, je n'ai vérifié que sur des vidéos déjà sur site.
Je reprendrai mon test tout à l'heure en téléchargeant une nouvelle vidéo.
JM

54.Posté par Le Pape Laurent le 03/11/2011 09:32 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
@ JEAN-MARC,
Tout est redevenu normal ? Non, pas tout à fait...
Merci de cliquer sur le lien www.infosbartv.com
Les videos que j'upload n'apparaissent pas non plus dans le back office en + des problèmes d'affichage (pas de carrousel et abscence de vignettes). ..

53.Posté par Jean-Marc le 03/11/2011 09:10 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
A priori tout est redevenu normal et je travaille sur divers sites sans problème.
Qu'elles sont donc les difficultés actuelles ?
Je trouve que l'équipe a été très efficace et ne vois pas ce qui inquiète certains mais peut-être je me trompe...
JM

52.Posté par Le Pape Laurent le 03/11/2011 09:03 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
@ Jerome Pietri
Bon, le manque de communication de wmaker commence à être plus qu'ennuyeux. Y a t-il encore un pilote dans l'avion pour nous dire quelle est l'étendue du grabuge à date et quelles sont les prévisions de retour à la normale ?
J'ai un lancement de chaîne à opérer et je suis déjà victime d'une certaine sanction commerciale. Avec un blog et un support technique, on pourrait peut-être avoir plus de news non ?
A moins que la vérité ne soit pas bonne à dire et à entendre par vos clients...
www.infosbartv.com

51.Posté par Prospert YAKA le 03/11/2011 07:53 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Bonjour, il ya des courriers en souffrance depuis une semaine dans le support du backoffice.
Félicitations pour le travail abattu.

50.Posté par Yannick Sourisseau le 02/11/2011 22:00 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Je tiens à féliciter toute l'équipe de WMaker pour son professionnalisme et sa transparence. Oui ce genre d'incident peut arriver, chez n'importe quel prestataire, mais rares ceux qui auraient la même démarche en matière de communication de crise.
Je suis très satisfait de vos services et la façon dont vous avez géré cet incident me conforte dans mon choix. Vous avez tout mon soutien et celui de mon équipe.
Cordialement

49.Posté par Ligue Corse d'Echecs le 02/11/2011 19:56 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Facebook
Je tiens, au nom de la ligue corse d'Echecs, à vous féliciter pour votre professionnalisme. Cet incident est certes intervenu dans un moment délicat pour nous, mais nous avons pu passer des vidéos momentanément via youtube. Nous avons plusieurs milliers d'internautes par video durant notre open international.
Bravo pour votre rigueur et votre mobilisation
Léo Battesti - Président de la ligue corse d'Echecs

48.Posté par Sébastien Simoni le 02/11/2011 19:31 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
@Eva
On vient de faire un test en live d'un nouveau système d'alert, si j'ose dire c'était normale ça a durer quelques secondes

@Nathalie Merci :-)

47.Posté par Eva Esztergar le 02/11/2011 19:23 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Bonsoir, de nouveau en panne: Error 503
SERVICE UNAVAILABLE - Click here for more informations SSD WMaker or follow us on @wm_jerome

C'est très ennuyeux, nous n'avons pas un blog personnel mais un média qui doit respecter les engagements, personne ne comprend comment ne peut-on pas avoir des serveurs de secours qui prennent le relais en cas de défaillance, et cela depuis samedi!

46.Posté par Nathalie MONTELLE le 02/11/2011 18:53 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
J'ai expédié ma news letter, et tout semble fonctionner! après une belle Toussaint de stress largement partagé, quelques abonnés perdus mais pas trop, (finalement, les gens sont conciliants quand on leur explique (;-)) retour à la normal (Hope!)
Un grand merci a toute l'équipe pour votre engagement et votre compétence, ( finalement la consultation publique de notre site n'aura été inaccessible que 15 minutes, (...)
A bientôt pour d'autres sites et pourquoi pas une web TV, on y pense.
Fidèlement vôtre,

45.Posté par Thierry GSCF le 02/11/2011 16:33 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Un grand bravo pour votre professionnalisme et votre travail.

Cela me réconforte dans mon choix.

Bon courage pour la suite...

Thierry

1 2 3 4 5