décembre 4, 2011 2

Monitoring mongoDB avec MMS (par 10gen)

By in Monitoring

Mongodb et monitoringMongoDB est une excellent alternative pour se frotter au nosql.

Une documentation très riche, soutenue par une société ET une communauté très actives, des versions pour toutes les machines possibles, suffisament de drivers pour n’avoir AUCUNE excuse de ne pas essayer, de grands noms affichant ouvertement leur utilisation EN PRODUCTION et support à cette base de données, autant de critères qui, pour peu qu’on fasse abstraction de certains HATERZ (et ils sont, comme toujours sur le web, nombreux), ne peuvent que vous encourager a essayer mongoDB. Ce n’est pas l’objet de cet article. La vérité, c’est que mongo.db, ca scale, méchamment, mais qu’on sait pas trop comment ni pourquoi (enfin si, mais encore une fois, là n’est pas la question aujourd’hui).

La société qui m’emploie s’est lancée il y a quelques mois dans un projet absolument génial (dans l’idée d’abord, mais aussi pour le champs des possibles qui nous à été offert d’un point de vue purement technique), et vous vous en doutez, nous nous sommes tournés vers mongo pour le stockage d’une partie de nos données.

Ce que nous n’avions pas prévu en revanche, c’est que ce projet se retrouverai, juste après le lancement en Alpha, en suspend. Raisons invoquées (à très juste titre soit dit en passant)d’autre projets sur le feu, et équipe trop réduite. Cela ne veut pas dire que le projet est mis au placard, voire à la poubelle, mais qu’il va être gelé dans son état actuel jusqu’à ce que les dossiers en attente soient bouclés. Soit. Cela correspond à peu prêt à 2 mois de “pause”. Mais, une alpha sans collecte de données, sans retour d’expérience, sans datamining, c’est juste inutile. Autant capitaliser sur ce grand bol d’air pour collecter un maximium de données, les traiter régulièrement, et en tirer des conclusions pour la suite.

C’est dans cette optique que j’ai découvert MongoDb Monitoring Service (MMS).

Une sonde gratuite pour vos instances mongodb

Oui, gratuite. MMS est un service gracieusement fourni par 10gen à tous les utilisateurs de leur base de données chérie. Cet agent est installable très simplement. Après vous être créé un compte , il ne vous restera qu’a installer l’agent sur le serveur mongod de votre cluster. Que vous fassiez usage du sharding ou pas, l’agent ne doit être installé que sur votre serveur master, et se chargera de récupérer les données de vos différents shards.

Les données monitorées ainsi ?

Oui, j'ai fais quelques stress tests ce jour là ;)

De base, vous aurez par la suite accès à une interface relativement claire condensant :

  • cpu time
  • db storage
  • page faults
  • repl lag
  • replica
  • network
  • cursors
  • queues
  • connections
  • background flush avg
  • lock %
  • btree
  • non-mapped virtual memory
  • memory
  • asserts
  • opcounters-repl
  • opcounters

Ainsi que des stats par base:

  • collections
  • objects
  • average object size
  • data size
  • storage size
  • num extents
  • indexes
  • index size
  • file size

Je regrette néanmoins que, malgré toutes les données ainsi récupérées, on ne puisse pas configurer d’alerte (mail, sms, voire jabber) selon les données et seuils que l’on le souhaite. Le seul moyen d’avoir des infos sur l’état de vos bases mongo.db, c’est de se connecter a votre espace personnel. Un peu léger pour faire du monitoring 24/24.

Pourtant, on ne peut qu’apprécier la qualité du produit. Et plus généralement la position de 10gen avec leurs services et produits. En effet, 10 minutes à peine après avoir contacté la société sur la question des alertes cutom, je recevais une réponse de la part de Max Schireson :

 Yes, we are planning to add user customizable alerting. We think it will be very popular, but I can’t give a specific release date right now.

Voila qui a de quoi réjouir et rassurer. Ils lisent leurs mails, vite, et y répondent, vite. Je sais, ce n’est peut être qu’un détail, mais lorsque l’on confie un point aussi critique de son archi et de sa stratégie de monitoring/bench à un service tierce, c’est tout de même très appréciable.

Alors, qu’attendez vous pour tester ce service utile ?

Oh, une derniere info utile : Manning publications vient juste de mettre en vente la version définitive de Mongodb in action, alors si vous envisagez de l’acheter, c’est le moment, puisque vous pouvez profiter de 39% de remise en utilisant le code

mongo39svem

Plutot cool, non ?

novembre 28, 2011 0

Billets en anglais aussi désormais !

By in humeur

Apres plus d’un an de rédaction, je pense qu’il est temps de passer à la vitesse supérieure avec une version en anglais. Il ne s’agit pas de faire dans le ‘spectaculaire’, ou de vouloir a tout prix faire dans le “c’est en anglais, c’est pro”, mais d’élargir l’audience de ce blog à une échelle non négligeable : celle de la communauté anglophone sur le web. Soit, au bas mots, 90% des usagers.

Pour ce faire, je suis passé par qtranslate. Espérons que ce plugin wordpress fonctionne correctement ;)

novembre 5, 2011 0

Cadeaux de noel et pixels : quelques idées

By in geek stuff, la vraie vie

Noël approche, et les idées de cadeaux ne manquent pas. On a tous dans notre entourage un nerd, un otaku, un retrogamer, un geek, bref, une personne complétement fan de tout ce qui fait la web-comic-sub-game-culture.

J’espère que cette liste d’idée cadeaux vous plaira, vous aidera, vous inspirera pour que votre noël et celui de vos proches soit encore plus pixellisé et nerdy que d’habitude ;)

Read the rest of this entry »

Tags: , ,

juillet 31, 2011 2

Déploiements automatisés : ruby, ssh et doigts de pieds en éventail !

By in gestion de projets

Quand j’ai pris mes nouvelles fonctions, il y a quelques mois maintenant, au sein d’Ykone, j’avais beaucoup de travail en attente : des bugs, des évolutions, des améliorations… et pas mal de réflexion et un peu de recul sur les process en cours. J’ai déja abordé l’implantation de scrum chez nous, et si le travail est loin d’être achevé, tous les intervenants dans la boucle ont pris les devant et commencent à prendre leur part du travail très au sérieux (malgré quelques couacs inhérents à la taille de notre structure).

L’autre point très sensible qui m’a rapidement occupé (ne serait-ce que de part la réflexion nécessaire dans un premier temps), le workflow du pôle technique.

Read the rest of this entry »

Tags: , , ,

juillet 17, 2011 0

Durant les 10 dernières secondes …

By in geek stuff

… 88 000 commentaires ont été postés sur Facebook !

Je poste rarement ce genre de doodle, widget, et autres friandises à consommer rapidement sur le net, mais là, je ne sais pas, c’est impressionnant…

Trouvé sur http://www.personalizemedia.com/garys-social-media-count/

Tags: ,

juillet 8, 2011 0

[guest blogging] Le retrogameblog et moi

By in Jeux-vidéos

Un rapide coup de pub pour vous signaler qu’en tant que retrogamer, amateur de pixels, j’ai été invité à participer à une expérience intéressante : écrire 2 articles sur le retrogaming.

Read the rest of this entry »

Tags: , , ,

juin 27, 2011 0

Travailler comme dev front-end chez Viadeo

By in interview, Réseaux Sociaux, Viadeo

Je me demande souvent comment le poste de développeur front-end est perçu, sollicité, challengé dans d’autres boite que la mienne. Aussi, j’ai décidé de rentrer en contact avec différents hommes et femmes occupant ce type de poste parfois mal compris, pour tenter de comprendre ce que font/sont les front-ends d’aujourd’hui. Comme premier invité, je n’ai pas eu à chercher très longtemps: Alex est un ancien collègue, et il travaille désormais chez Viadeo, le réseau social et professionnel.

Read the rest of this entry »

Tags: , ,

juin 27, 2011 4

Performance web: compression des frontaux JS/CSS

By in Javascript, Performances Web

Comme par enchantement, une illumination à touché il y a quelques mois Google : plus un site web va vite, mieux il se charge, plus les utilisateurs sont contents et trouvent ce qu’il cherchent. La vitesse d’un site est donc devenu l’un des facteurs de l’équation complexe que Google applique pour classer les sites dans ses résultats de recherche. Ça, c’est un fait.

Alors concrètement, pour améliorer les performance de vos sites, il n’existe pas de formule magique; beaucoup d’huile de coudes, quelques tuyaux venant des pros (Yahoo! et Google en tête) et du temps. Alors, lorsque comme moi vous êtes confrontés à des problemes de performance sur des applications assez massives, il faut s’armer des bons outils et des bonnes techniques pour perdre le moins de temps possible et rendre vos améliorations pérennes.

Read the rest of this entry »

Tags: , , , ,