Basculement vers la nouvelle architecture serveur (suite et fin)

Jérôme le Lundi 2 Mai 2005

En résumé

Samedi 30 Avril :

21 h 00 - On lance le transfert des fichiers de WMaker

Dimanche 1er Mai :

7 h 14 - Fin du transfert des données.

9 h 25 - Déconnexion de vos gestions, nous avons bloqué l’accès aux gestions
pour ne pas désynchroniser la base de données, mais vos sites son toujours actifs.

10 h 02 - On voit vos sites sur la nouvelle architecture, ils ne sont pas encore accessibles via votre domaine. La vitesse d'affichage est très rapide.

10 h 29 - Nous avons des erreurs SQL de partout, toutes les tables sont verrouillées.
Il semble que le tunnel et serveur SQL pose problème.

10 h 35 - On décide de faire machine arrière et on relance vos sites depuis l'ancien serveur. Vos sites sont de nouveau actifs. (vos gestions restent coupées pour ne pas désynchroniser la base de données.)

11 h 38 - Nous avons trouvé une requête SQL qui fait planter la base de données,
le problème vient de là. On corrige.

12 h 54 - On fait le grand saut : nous changeons l'IP de vos domaines pour déclarer aux FAI, cela devra décharger le tunnel au fur et a mesure.

13 h 09 - Quelques connexions commencent à passer directement sur notre nouvelle architecture, le tunnel va être soulagé plus vite que prévu... plus de 300 à 150 connexions en attente en 4 minutes.

13 h 25 - Plus que 112 connexions via tunnel - Aol, Wanadoo commencent à nous router du trafic directement.

13 h 36 - Réouvertures de vos gestions, c’est fini.


Le détail des opérations

Samedi 30 Avril :

21 h 00 - On lance le transfert des fichiers de WMaker

Dimanche 1er Mai :

7 h 14 - Fin du transfert des données.

9 h 25 - Déconnexion de vos gestions, nous avons bloqué l’accès aux gestions
pour ne pas désynchroniser la base de données, mais vos sites son toujours actif.

9 h 39 - Nous lançons l'importation de la base de données sur le nouveau serveur de base de donnée.

9 h 53 - Fin de l'importation de la base de données. Le serveur est tellement puissant que cela lui à demandé 10 petites minutes pour insérer 3 ans de données publiées sur vos portails.

10 h 02 - On voit vos sites sur la nouvelle architecture, ils ne sont pas encore accessibles via votre domaine. La vitesse d'affichage est très rapide.

10 h 10 - Problèmes sur les cron : la débian n'accepte pas les « . » dans les noms de fichiers, on renomme tous les fichiers de cron. (Le cron est un petit programme qui s'exécute à heure fixe.)

10 h 14 - Jerome et Philippe réalisent des tests de création.

10 h 10 - Tous les sites sont coupés - nous allons ouvrir un tunnel pour rediriger vos domaines, le pare-feu stoppe le tunnel, on le désactive pour relancer l'activation du tunnel.

10 h 17 - On relance le tunnel – 2 ème tentative, ça ne marche toujours pas, vos sites sont inactifs.

10 h 29 - Nous avons des erreurs SQL de partout toutes, les tables sont verrouillées
il semble que le tunnel et serveur SQL pose problème.

10 h 35 - On décide de faire machine arrière et l’on relance vos sites depuis l'ancien serveur. Vos sites sont de nouveau actifs. (vos gestions restent couper pour ne pas désynchroniser la base de donnée.)

10 h 39 - On consulte le site d'apache pour changer de méthode, on va abandonner
la solution du tunnel.

11 h 29 - 3 éme tentative problème avec le serveur de base de donnée, tcp wrapper en fait le problème ne venait pas du tunnel mais du serveur de base de donnée.


11 h 38 - Nous avons trouvé une requête SQL qui fait planter la base de donnée
le problème vient de là.

11 h 39 - On relance vos sites 10 min d'interruption de site

11 h 40 - On étudie le code... une erreur de programmation


11 h 55 - On relance pour la 3 eme fois, ça marche !
non, les pages sont super long à afficher en combrement du tunnel wrapper semble être la cause

12 h 19 - De nouveau sur le xeon - on vire warper ki sature

12 h 32 - Relance test ça marche mais pas très rapide - Une 2 eme requête pose problème à été trouver

12 h 39 - Le tunnel est saturé de nouveau

12 h 44 - Nous avons modifié la configuration du tunnel pour qu'il ferme les connexions, plus rapidement

12 h 54 - On fait le grand saut nous changeons IP de vos domaines pour déclarer aux FAI, cela devra décharger le tunnel au fur et a mesure.

13 h 01 - Nous allons surveiller le tunnel dans les heures qui vient pour ne pas qu'il soit saturé en attendant que les modifications au niveau des noms de domaines

13 h 09 - Kelke connexion commence à passer directement sur notre nouvelle architecture, le tunnel va être soulagé plus vite que prévu... plus 300 à 150 connexions en attente en 4 minutes

13 h 25 - Plus que 112 connexions via tunnel
Aol, Wanadoo commencent à nous router du trafic directement

13 h 31 - Boutique Atos OK Paybox OK

13 h 36 - Réouvertures de vos gestions, c’est fini