Go Fast !

Sébastien Simoni le Jeudi 6 Novembre 2008

Go Fast !
Nous avons poussé beaucoup plus longtemps que prévu notre phase optimisation de l'architecture WMaker.

En fait, 5 personnes ont travaillé pendant un mois sur l'amélioration de la vitesse d'affichage de vos sites et des interfaces administration.

Le point de départ: la hausse du trafic

Il y a 1 mois, nous avons eu une hausse très rapide du trafic : + 35 % de pages en plus. Nous n'avions pas prévu une hausse de trafic aussi importante en 2 semaines.

A l'époque, nous avions déjà acheté 8 nouveaux serveurs extrêmement puissants.  Ce sont des Bi-Xeon QuadCore de dernière génération, dotés de 16 Go de Ram et utilisant les meilleurs disques SATA disponibles, les Velocity Raptor de Western Digital.

Toutefois, ce regain de puissance allait être à peine perceptible en raison de cette hausse soudaine de trafic. Nous nous sommes alors donné comme challenge d'optimiser le code de l'application mais nous ne savions pas par où commencer.

La démarche

Chacun des développeurs de WMaker a dressé une liste des points à améliorer pouvant influencer sur la rapidité d'affichage. 

Nous avons fait du surplace pendant près de 2 semaines. Les progrès étaient modestes et nous étions près à faire auditer notre architecture par des ingénieurs de chez SUN ... cependant, le travail que nous avons mené sur la mise en place d'un Wrapper SQL a fini par porter ses fruits.

En effet, nous travaillons depuis quelques mois sur une couche d'abstraction de la base de donnée. Ce système nous permet entre autre d'avoir un monitoring des 3000 requettes/s effectuées sur les 10 serveurs SQL de WMaker. Nous pouvons alors remonter dans un tableau de contrôle les requêtes les plus fréquentes, les requêtes les plus longues, etc.

Ayant épuisé toutes les pistes pour optimiser le temps de réponse, nous avons alors réécrit, grâce aux informations du tableau de contrôle issus du Wrapper, une dizaine de requêtes SQL par jour pendant 1 semaine et nous avons fait des gains inespérés.

Les gains: amélioration du temps de réponse d'un facteur 3 !

Nous avons alors décidé de poursuivre. Aujourd'hui, au bout de 3 semaines, nous avons non seulement complètement absorbé la hausse trafic, mais nous avons amélioré le temps de réponse d'un facteur 3  !!!!!

Grace à ce travail, nous sommes maintenant probablement l'une des plate-forme SaaS de site internet la plus rapide du marché.

Et maintenant ?

Nous allons jusqu'à à la fin janvier consacrer un jour par semaine à ce genre d'optimisation. Nous avons pour objectif d'atteindre un temps de réponse moyen 250 ms.

Après ce mois d'optimisation, nous allons reprendre la publication des nouveautés, d'ici la fin novembre nous retrouverons notre rythme de croisière.

Dès demain on revisite les TAGs !!




Vos commentaires

1.Posté par ve le 06/11/2008 22:22 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler

2.Posté par daluz le 06/11/2008 22:58 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Bravo Sébastien pour ces améliorations !
On se doutait que vu le temps que vous y avez consacré, toute l'équipe, il allait surement en sortir quelque chose de bien. Je m'en réjouis et constate la plus grande vélocité des pages.
Je voudrais pas pourrir l'ambiance mais maintenant, par pitié, essayons de rattraper le temps perdu (qui n'en est pas, bien sûr) et de nous attaquez aux choses dont on a VRAIMENT besoin : les PA en rade depuis 2 mois, le SNS qui a le mérite d'exister mais n'a, pour l'instant, n'a aucune utilité concrète, les albums photos, l'agenda dont il est même pas possible de mettre un pays autre que le France en front office, etc, etc.
Compte tenu du contexte actuel et de la crise qui se profile, nous avons vraiment besoin d'applications qui nous permettront d'être les plus performants possibles et de gagner notre vie.

Très cordialement et bravo pour le boulot accompli =;O))

3.Posté par Lamine le 06/11/2008 23:18 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Bravo !!!
J'avez vraiment la nostalgie de vos posts , chaque jour je vous guettais ....Merci encore
et Hip Hip Hourrraaaa!!!!!! les Robins sont sortis des Bois ....

4.Posté par SORET Teddy le 07/11/2008 09:24 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Comme vous tous j'apprécie beaucoup la réactivité de vos services !

A ce propos, l'offre que j'ai prise auprès de vous m'autorise 320 Go de bande passante. Or je pressens en voyant la progression du nombre de mes visiteurs que je risque d'atteindre cette limite dans 6 mois à peu près.

D'où mon interrogation qui rejoint votre note à propos de la hausse du trafic, que va-t-il se passer dans le cas où mon site atteint la limite ? Avez-vous prévu de revoir cette limite comme ce que l'on peut voir chez divers hébergeurs qui ont repoussé la limite à 1 500 Go de bande passante ?

Encore félicitations à toute votre équipe, continuez comme cela, wmaker est une référence dans le domaine, c'est un outil génial !

Teddy

5.Posté par Sébastien Simoni le 07/11/2008 10:22 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler

Il faut comparer ce qui est comparable, un hébergeur offre uniquement de l'hébergement.
Vous devez ensuite installer chez l'hébergeur un CMS open source.

Ensuite :
- ça rame c'est pas son problème.
- vous êtes victime de spammer c'est pas son problème
- vous avez des problèmes de sécurité c'est pas son problème ...

Donc si vous voulez rendre les choses comparables, il vous faudra ajouter des heures de maintenance d'informaticien.
Vous aurez plusieurs interlocuteurs qui se renverront la balle.....

Nous sommes un CMS en mode SaaS, si on se compare à ce type d'acteurs, les capacités que nous offrons sont parmi les plus hautes du marché.

En fait je connais un seul service, SquareSpace, qui offre des capacités légèrement supérieures aux nôtres, environ 20 % en donnée transférées mais 60 % de moins en capacité de stockage. Il faut garder à l'esprit que que la quasi totalité des acteurs du CMS en mode SaaS sont des sociétés US et que les coûts de gros en données transférée sont 30 % moins cher aux USA.

En revanche, le simple fait que leurs serveurs soient aux USA vous fait perdre 500 ms de temps réponse par rapport à des serveurs situés en Europe comme c'est notre cas.
Dès que le coût de la donnée transférée va baisser, nous augmenterons les capacités de nos offres.

Concernant votre problème spécifique de consommation, le poids de votre home page peut être facilement amélioré. Actuellement votre page d'accueil fait 1,1 Mo ce qui vraiment trop lourd.
Je vous conseil d'utiliser ce service qui vous aidera à optimiser vos page : http://tools.pingdom.com/fpt/

6.Posté par chris le 07/11/2008 11:48 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Oui, bravo ! Toutes nos félicitations à l'équipe WM.
Les corrections en suspens (support) vont donc pouvoir être traitées ;)
et nous nous en réjouissons.
Bonne journée à tous.


7.Posté par Frédéric Aznar le 07/11/2008 13:23 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Je témoigne non sur des spéculations mais sur des faits : WMaker est passé en mode PATATOR !!!

J'ai plusieurs gros sites @ WM et depuis quelques jours c'est le pied complet. Les temps de chargement sont hyper courts.

BRAVO !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!

8.Posté par Flam696 le 08/11/2008 13:01 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Good job !
(Les maquettes/templates n'avancent plus, c'est dommage... ;-)

9.Posté par Jleb le 08/11/2008 13:38 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Suite au post de Sebastien Simoni.

Concernant les temps de réponse, cela veut dire aussi que les internautes US perdent 500 ms sur les serveurs situés en Europe. Je suppose ?

10.Posté par Sébastien Simoni le 08/11/2008 14:21 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Dans le pire des cas oui ...

En fait, je parlais de 500 ms car j'ai fait des tests sur des services hébergé dans des data center de situé côte Ouest, en Californie.

Mais si l'internaute ce connecte depuis la côte Est, Monréal par exemple, il sera beaucoup moins pénalisé probablement 250 ms.

Un autre facteur entre en jeux, FAI de l'internaute peut avoir une route plus au moins direct suivant ses fournisseurs de transit.

11.Posté par Gérald Vidamment le 09/11/2008 11:45 | Alerter
Utilisez le formulaire ci-dessous pour envoyer une alerte au responsable du site concernant ce commentaire :
Annuler
Franchement je dis bravo, tout simplement.
Voir des gens passionnés au service de leurs clients, c'est pas souvent.
Et les résultats sont là.
Ravi de faire confiance à WM.