Nous avons changé ce matin tôt le système de base de donnée utilisé par WMaker depuis 2001. C'est une modification très lourde que nous préparons depuis 1 mois et demi. La conversion de la base de donnée a pris 8 heures.

 

Le service n'a connu aucune interruption pendant ce changement pour vos visiteurs. Nous avons seulement du couper l'accès au back office pour ne pas désynchroniser l'ancienne base avec la nouvelle.

 

 

C'est un tour de force qu'a réalisé Grégory, c'est un peu comme changer le moteur d'une voiture tout en continuant à rouler. Mais ce matin à 6 h 00 heureusement que toute l'équipe de mécaniciens était sur le pont.

 

Nous avons corrigé les plus gros bug dès midi. Le support technique a chauffé toute la journée, nous avons reçu beaucoup de messages. Une partie de l'équipe est toujours en train d'apporter des correctifs à l'heure où j'écris cette note.

 

Nous somme assez fatigués en cette fin de journée, mais plutôt satisfaits du travail accompli. Cela va nous permettre de grossir tout en améliorant la rapidité des sites WMaker. 

 

Il y a un mois, nous avions recréé une mini-architecture WMaker au CampusPlex. Tous vos sites tournaient sous PostgresSQL en test interne. Une équipe de 10 bêta-testeurs a trituré les clones de vos sites pendant 2 semaines afin de dresser la liste des bugs pour l'équipe de développement avant la mise en production.

 

Nous pensons après cette longue journée, qu'il reste une journée de travail pour régler l'ensemble des petits soucis. A partir de la semaine prochaine nous allons pouvoir utiliser tout le potentiel de ce nouveau moteur et gagner en temps de réponse. 

Aujourd'hui WMaker sert environ 150 million de pages par mois soit un trafic quotidien de 5 millions de pages. Début janvier nous enregistrons une hausse du trafic très notable de l'ordre de 25%. Nous avons réussi depuis la fin Janvier à compenser cette hausse de trafic.

Mais hier nous avons connu de forts ralentissements, la cause est une nouvelle hausse soudaine du trafic. Normalement notre architecture est tout à fait capable d'absorber ce pic de fréquentation. Le flux de connexions provenant essentiellement du continent Africain, un autre phénomène est venu amplifier l'effet de la hausse.

Les vitesses de connexion en Afrique sont, en moyenne, plus lentes que les vitesses de connexion en Europe. Cela a eu pour conséquence d'occuper les connexions des serveurs plus longtemps. Aussi une même page peut monopoliser plus de ressources suivant l'endroit d'où elle est consultée

Plusieurs sites de média nord-africains utilisent la plate-forme WMaker. Ils s'agit déjà en temps normal de sites très populaires, ayant un trafic de plusieurs millions de pages vues par mois. Les événements en Libye et dans d'autre pays du Maghreb ont propulsé dans le top 10 de WMaker nos utilisateurs nord-africains.

Aujourd'hui, nous avons mis en production 4 nouveaux serveurs pour augmenter notre capacité de connexions simultanées. D'autres serveurs seront mis en production d'ici la fin de semaine.

Nous suivons avec grand intêret la révolution démocratique en Afrique du nord. De nombreux observateurs ont souligné le rôle de l'internet. Voici pourquoi la neutralité de l'internet vis à vis des états est une valeur à défendre !!! 

WMaker possède plus d'une centaine de serveurs physiques et virtuels. On compte plus de 160 disques durs. Les OS utilisés sont Linux et Solaris.

Les serveurs sont des machines qui exécutent une tache spécifique (base de données, page web, mails, etc...)

Les différents serveurs de l'architecture sont les serveurs :

- Web : ils fournissent les pages qui s'affichent sur votre navigateur
- back : ils fournissent spécifiquement les pages de vos backoffice.
- SQL : ils fournissent le contenu des pages stockés en base de données (MySQL et PostgreSQL)
- Mail : ils gèrent les envois et réception des mails
- Vidéos : ils gèrent le streaming, l'encodage et le stockage des vidéos
- Reverse Proxy : ils gèrent la circulation de toutes les données entre les serveurs, ce sont eux qui reçoivent votre demande et sollicitent les autres serveurs, enfin ils vous renvoient le tout.
- De cache : ils stockent une copie des pages ou partie des pages demandées afin de les fournir ultérieurement pour une plus grande rapidité.
- De Stats : ils calculent et fournissent quotidiennement les stats.
- De fichiers : ils fournissent les scripts nécessaires au fonctionnement des sites (Php, Python, etc...), mais aussi des images, des documents en téléchargement, vidéo ou même des mails.
- De taches : ils effectuent des taches quotidiennes, génération des vignettes, encodage, calculs

Toutes les données contenues sur l'ensemble des sites sont sauvegardées en permanence vers 2 autres sites.

Les serveurs sont monitorés en permanences par 3 systèmes :

- un système interne qui alerte plusieurs personnes par mail en cas de problème
- système externe géré par WMaker, Nagios, qui surveille et prévient en cas de problème
- une société tierce qui surveille aussi l'architecture.

Sur une telle architecture, les problèmes arrivent, ce sont donc les serveurs Reverse Proxy qui aiguillent alors vers les serveurs redondants.
De notre côté une fois alertés nous relançons le serveur qui pose problème et si nous sommes devant une panne physique (disque dur qui lâche par exemple) nous nous rendons sur place changer le disque défectueux.
De plus les serveurs sont redondés, c'est à dire que si un serveur tombe en panne ou s'arrête, un autre prend le relais automatiquement afin de ne pas couper le service et nous permet d'intervenir.

Quand vous entrez cette adresse dans votre navigateur, les serveur DNS vous renvoient vers notre architecture.
La un serveur Reverse Proxy prend en charge votre demande, il demande alors au serveur Web la structure de la page, au serveur SQL le contenu, au serveur Static toutes les images et les feuilles CSS, au serveur vidéo les vidéos.
Mais il vérifie aussi qu'une telle page n'a pas déjà été créée et disponible sur un serveur de cache, auquel cas il la récupère (plus rapide). Enfin il vous renvoie la page ainsi constituée.