Christophe Nowicki

February 4, 2009

Retour sur l’optimisation des performances du projet MAVISE

La base de données MAVISE fournir les données de base sur l’ensemble des chaînes de télévision accessibles dans l’Union européenne.
Elle à été développer par la société Easter-eggs pour le compte de la DG Communication de la Commission européenne.
Je vais décrire dans cet article les diffèrentes méthodes que nous avons mise en place pour optimiser les performances de cette application.

Problèmatique

La base de données contiens beaucoups d’informations :

  • la description du paysage audiovisuele de 30 pays ;
  • des fiches sur 5000 chaînes de télévision ;
  • des fiches sur 4000 entreprises ;
  • des fiches sur 8000 programmes de télévision ;

L’ensemble des ses données ne sont pas accessibles au grand publique.

D’un point de vu technique, la base de données PostgreSQL contient :

  • 115 tables ;
  • 100 vues ;
  • 220Mo de données.

Cela vous donne une petite idées de la taille de l’application.
La complexitées de l’application, la quantité de données disponibles et leur affichage nous as posées de nombreux problèmes :

  • Quantité de données très importante à transferer entre le client et le serveur Web ;
  • Requêtes complexes au niveau de la base de données ;

Optimisation de la base de données

Pour l’optimisation de la base de données, il faut faire attention aux points suivants :

  1. L’ORM (DB_DataObject dans notre cas) ne doit faire aucune opération de jointure . Il utilise toujours une vue dédier pour chaque fonctionnalitées ;
  2. Chaque vue ne calcule que les champs qui sont nécessaire à l’affichage ;
  3. Le plan d’execution de chaque vue est optimiser à l’aide d’index. Pour trouver quels sont les indexes à créer, il faut utiliser l’instruction EXPLAIN ANALYSE , comme décrit sur le wiki de Postgres : Using EXPLAIN.

Le travail principal consiste donc à éxécuter toutes les vues de l’application pour optimiser les plans d’éxécution à l’aide d’indexes.
Pour mieux comprendre la sortie de l’instruction EXPLAIN ANALYSE, j’utilise l’outil suivant : explain-analyze.info.

Pour savoir quelles sont les optimisations les plus pertinantes, il est intéressant d’analyser les logs du serveur Postgres à l’aide du logiciel Practical Query Analysis.

Il faut aussi “tuner” la configuration du serveur de base de données pour utiliser le maximum de la mémoire disponible sur le serveur.

Javascript

Nous avons utilisé le framework Javascript Mootools, le contrôleur de tableau dhtmlxGrid et l’éditeur de contenu TinyMCE.

Dans chaque page de l’application, il faut faire attention à ne charger que les fichiers nécessaire.
En effet, ces outils, bien que très pratiques sont très volumineux et augementent la taille des pages dans des proportions importantes.

Dans certains cas, nous avons dépasser plus de 640Ko de code Javascript dans une page ;-)

Les solutions que nous avons mis en place pour réduire la taille de ces fichiers :

  • La compression Gzip, malheureusement nous avons rencontrer de problèmes très importants avec Internet Explorer ;
  • Nous avons ensuite opter pour YUI Compressor qui fonctionne bien mieux ;

Systèmes de Cache

L’application dispose de nombreux systèmes de caches :

  • Le système de cache du gestionaire de template Smarty ;
  • Notre propre système de cache pour le contenu des tableaux, réalisé à l’aide du module Pear Cache_Lite ;
  • L’API de XCache, pour certains calculs et XCache pour les opcodes PHP ;
  • Le système de cache d’Apache Cocoon pour le système d’impression ;
  • La cache du navigateur des utilisateurs. Il est possible de bien contrôler le contenu du navigateur des clients à l’aide du module mod_expires d’Apache.

Réduction de la taille des pages

Nous avons travailler pour réduire au maximum la taille des échanges entre le navigateur web et le serveur.
Pour cela nous avons utilisé la compression Gzip sur :

  • Le contenu des tableaux ;
  • Les pages produites par le système de tempate ;

Celle-ci est réalisé par le gestionnaire de tempon de PHP, à l’aide de la fonction ob_gzhandler ;

Outils utilisés

L’optimisation d’une application est toujours empirique, il est nécessaire d’avoir de bon outils pour observer les effets des modifications.
Pour cela nous avons utilisé :

Les liens utiles pour l’optimisation des performances d’une application Web

Pour finir, voici quelques liens très interessants sur l’optimisation d’une application Web :

Filed under: Programming,Work — Tags:, , — cscm @ 21:42

Présentation de la plateforme de développement éléctronique Arduino

Un ami m’a fait découvrir la plate-forme de développement Arduino.
J’en cherchais justement une, un peu plus avancée que la plate-forme Mindstorms de LEGO pour la robotique.

Celle d’Arduino est composée d’une carte élétronique qui se branche à l’aide du port USB sur un PC et d’une suite de logiciels pour développer des programmes sur la carte.
L’ensemble du matériel et des logiciels sont libres. (OpenHardware)

Lors des mes études, j’ai été introduit à la programmation sur Microcontrôleur PIC.
J’en garde quelque mauvais souvenir lié à la manipulation d’un environnement de développement intégré propriètaire et d’une grande complexité.

Du coup lorsque, j’ai branché ma carte Arduino Diecimila, compilé et éxécuté mon 1er programme en moins de 5 minutes, le tout sous Debian GNU/Linux.
Ce fut un gros choc! ;-)

Alors c’est vrai, je vais pouvoir faire des montages éléctroniques facilement ? ;-)

Pour être honnête, non, je ne vais pas me transformer en éléctronicien de génie en 5 minutes, chacun son métier et si l’on ne comprend pas les fondamentaux de l’éléctronique tout ne va pas fonctionner comme par miracle.

Néanmoins, je trouve cette plate-forme très intéressante, car elle permet de réaliser beaucoup de choses et manière très simple.
Je vous laisse juger par vous même :

Caractèristiques techniques de la carte

Arduino Duemilanove
  • Microcontroller : ATmega168
  • 14 Entrées/ Sorties Digital (dont 6 capables de réaliser une Modulation de largeur d’impulsion)
  • 6 Entrées Analogiques
  • 16KB de mémoire Flash
  • 1KB de SRAM
  • 512 bytes EEPROM
  • Cadence de l’horloge : 16 MHz
  • Alimentation via le port USB ou par une alimentation externe.

Cartes additionnelles

Il existe de très nombreuses possiblités d’extensions :

  • Bluetooth ;
  • Ethernet ;
  • Zigbee ;
  • GPRS ;
  • GPS ;
  • Carte MicroSD ;
  • Lecteur RDIF ;
  • Ećrans LCD ;
  • Accéléromètre ;
  • Gestion des servo moteurs ;
  • 1-wire
  • etc…

Les possiblités offertes par la carte sont très nombreuses, il y a une importante communauté de passionné autour de ce projet.

Premiers pas

Pour commencer, il existe une très bonne documentation en Français : Initiation à la mise en oeuvre matérielle et logicielle de l’Arduino (au format PDF).

Il y a de très nombreux revendeurs pour la carte, ansi que pour les extensions dans le monde.
Chaque magasin propose les cartes standards et parfois ses propres extensions.

Pour ma part, j’ai passé mes commandes de matériel chez Lextronic,Libelium et InMotion.

Je publierai bientôt quelques montages.

Enfin si mon chat est encore vivant ;)

Filed under: Do it yourself,Hardware,Home automation,Robotics — Tags: — cscm @ 21:37

Powered by WordPress