A 14h40 l'alimentation éléctrique du Data Center de Redbus a été coupée. Cela a eu pour conséquence de priver d'électricité nos serveurs. Il s'agit d'une panne exceptionnelle de part son ampleur puisqu'elle touche simultanément l'ensemble des hébergeurs présents chez Redbus. D'autre part le système d'onduleur du data center n'a pas empêché la coupure.
A 15h04 notre baie est de nouveau allimentée. OVH reboote son routeur et check son réseau Redbus.
Nous relançons l'ensemble de nos serveurs. Le redémarrage se passe bien à l'exception du serveur mail.
Nous vérifions si la base de données n'est pas endomagée. Le Filer (notre serveur de fichier) a mis 10 mn pour resynchroniser ses disques.
A 15h20 tous les sites WM sont à nouveau accessibles.
A 15h30 nouvelle panne éléctrique. Tous nos serveurs sont à nouveau down.
A 15h35 l'alimentation revient : nous réactivons maintenant tous les services.
Nous avons rencontré quelques problèmes qui ont été corrigés (bug sur les modules conteneurs, bug sur l'insertion de nouveaux articles).
Nous n'avons aucun moyen de prévenir ce type de panne d'autant qu'il n'est pas authorisé d'installer d'onduleurs directement dans notre baie.
Plus d'information sur la panne de Redbus :
http://travaux.ovh.net/?do=details&id=820
http://www.pcinpact.com/actu/news
A 15h04 notre baie est de nouveau allimentée. OVH reboote son routeur et check son réseau Redbus.
Nous relançons l'ensemble de nos serveurs. Le redémarrage se passe bien à l'exception du serveur mail.
Nous vérifions si la base de données n'est pas endomagée. Le Filer (notre serveur de fichier) a mis 10 mn pour resynchroniser ses disques.
A 15h20 tous les sites WM sont à nouveau accessibles.
A 15h30 nouvelle panne éléctrique. Tous nos serveurs sont à nouveau down.
A 15h35 l'alimentation revient : nous réactivons maintenant tous les services.
Nous avons rencontré quelques problèmes qui ont été corrigés (bug sur les modules conteneurs, bug sur l'insertion de nouveaux articles).
Nous n'avons aucun moyen de prévenir ce type de panne d'autant qu'il n'est pas authorisé d'installer d'onduleurs directement dans notre baie.
Plus d'information sur la panne de Redbus :
http://travaux.ovh.net/?do=details&id=820
http://www.pcinpact.com/actu/news
