NoSQL : le Cern utilise MongoDB pour unifier ses accès aux données

Une gestion des données à grande échelle 

Cornell est l’une des nombreuses institutions mondiales qui participent aux expérimentations menées au Cern. Kuznetsov, physicien et ingénieur informaticien qui a travaillé au centre de recherche dans le passé, est impliqué notamment dans le groupe qui a la charge de la gestion des données dans le centre. 

Selon lui, il y a cinq ans, l’équipe en charge de gérer les données du CMS s’est retrouvée confrontée à un problème de découverte de données (data discovery), dû notamment à un nombre élevé de bases de données; ce qui nécessitait alors une interface utilisateur capable de dissimuler la complexité de l’architecture aux physiciens. Son souhait était de développer une interface sur le modèle de Google qui pourrait alors retourner des réponses précises aux requêtes dont la forme ne serait pas pré-définie. 

« Nous disposions d’une grande variété de bases de données et de formats multiples - HTML, XML, JSON, etc... S’ajoutait à cela la dimension sécurité. La complexité était, et est toujours, très importante », commente-t-il. 

L’équipe a alors découvert le monde des bases de données NOSQL et, plus précisément, l’approche « orienté document », qui semblait correspondre aux besoins. MongoDB faisait office de favori sur ce terrain car la technologie se prêtait bien au produit final, à savoir une interface à partir de laquelle effectuer des requêtes en mode texte. 

MongoDB est l’un des sous-ensemble des bases de données NOSQL orientées documents, comme CouchDB de la Fondation Apache. 

Barry Devlin, un expert dans le domaine du datawarehouse et bloggueur pour le site B-Eye Network (une publication TechTarget) explique : « Vous avez dit documents ? Si ce concept est confus, sachez que vous n’êtes pas le seul. Dans ce cas précis, nous ne parlons pas de documents textuels utilisés par des humains. Nous utilisons plutôt le terme au sens informatique et programmation, comme un ensemble de données collectées, stockées ensemble à des fins pratiques, pour en faciliter le traitement, généralement sans schéma pré-défini. » 

Dix pétabytes par an 

Le CMS s’étend sur plus de 100 datacenters, bâtis sur un modèle trois-tiers et génère plus de 10 pétabytes de données chaque année, qu’elles soient réelles, simulées ou sous forme de métadata. Ces informations sont stockées et récupérées depuis des sources de données relationnelles et non relationnelles, comme des bases de données classiques, d’autres orientées documents, des blogs, des wikis, des systèmes de fichiers et des applications spécifiques. 

Pour pouvoir rechercher et agréger ces informations dans un environnement hautement complexe, le projet Data Management and Workflow Management (DMWM) du CMS a créé un système d’agrégation de données (DAS - Data agrégation system), bâti sur MongoDB. 

Ce DAS fournit une couche au-dessus des sources de données et permet aux scientifiques d’interroger librement ces données via des requêtes en mode texte, puis d’agréger les résultats issus de cet environnement distribué et multi-fournisseurs, tout en préservant l’intégrité des données, les politiques de sécurité et le format des données. Le DAS présente ensuite la donnée dans un format défini. 

Toutes les requêtes DAS peuvent être formées en mode texte, soit sous forme de mots-clés ou de paires clé/valeur (une paire représentant une condition). Les utilisateurs peuvent ainsi interroger le système via un langage simple de type SQL qui est ensuite transformé en une syntaxe de requête MongoDB - un fichier JSON (JavaScript Object Notation), affirme Kuznetsov. 

« MongoDB ne nécessitant pas de schéma de données pré-défini, nous avons la possibilité de stocker des données DAS suivant n’importe quelle structure, sans tenir compte du fait qu’il s’agisse de dictionnaires, de listes, de paires clé/valeur, etc... Ainsi, chaque clé DAS dispose d’attributs qui décrivent sa structure JSON », poursuit-il. Pour lui, il est clair « qu’il n’y avait rien de spécifique qui répondait à nos exigences ». 

A Cornell, d’autres équipes, comme celles du département ornithologie, rencontrent elles aussi le même problème et ont montré de l’intérêt pour MongoDB. Pour Kuznetsov, dans ce cas, l’analytique devrait être l’ingrédient principal. Le système devrait s’enrichir avec les requêtes déjà passées et être capable de répondre à davantage de questions, plus librement ». 

« La beauté de MongoDB, souligne-t-il, est que le langage de requête est dans le système », à l’inverse de CouchDB, par exemple, également utilisé au Cern, qui nécessite de coder chaque requête. 

« DAS est utilisé 24 heures par jour, 7 jours sur 7, par les physiciens du CMS, des opérateurs  et des gestionnaires de données des centres de recherche du monde entier. En moyenne, chaque requête interroge des centaines de documents, chacun de plusieurs Ko. Nous obtenons des résultats de l’ordre de 6000 documents par seconde, pour des données mises en cache », conclut-il enfin.   

Traduit de l'anglais par la rédaction