Teradata greffe un module in-memory à sa base de données

Est-il possible d’exploiter la puissance du in-memory dans un contexte de Big Data, avait lancé Scott Gnau, le président des Terarata Labs à l’occasion de la conférence Teradata Universe 2013, qui s’est déroulée en avril dernier à Copenhague. Un teaser pour la nouvelle annonce du spécialiste de l’entrepôt de données et de l’analytique : sa vision du concept du in-memory qui prend aujourd’hui concrètement forme sous les traits de Teradata Intelligent Memory.

«Intelligent», car pour Teradata, le concept du stockage en mémoire des données se veut plus modéré qu'il pourrait l’être chez certains des éditeurs de solutions In-memory, comme SAP avec HANA par exemple. En revanche, il se rapproche de très près de la démarche In-memory de Microsoft avec Hekaton ou encore d'IBM avec BLU qui devrait être intégré à la prochaine évolution de DB2.

L’éditeur part en effet du principe qu’il n’est pas nécessaire de monter en mémoire systématiquement toutes les données. Mais seulement celles sur lesquelles le nombre de requêtes est le plus important, les plus sollicitées et celles, donc, qui nécessitent un accès accéléré.

Intelligent Memory peut ainsi être considéré comme une extension du module Teradata Virtual Storage, présent dans l’entrepôt de données du groupe, et dont la vocation est d’ajuster le niveau de stockage des données, selon des scenarii types choisis par l’entreprise, des niveaux de performances, et bien sûr des niveaux de coûts.

Virtual Storage détermine ainsi la «température» des données (des plus chaudes - les plus requêtées - aux plus froides) et les fait migrer automatiquement vers un stockage sur SSD - pour les plus chaudes - ou sur disque dur plus classique - pour celles nécessitant un accès moins fréquent. Dans ce dernier scenario, les données y sont compressées (via une fonction baptisée compress-on-cold).

Intelligent Memory y associe désormais le stockage en mémoire RAM (même si rappelons-le Teradata proposait une technologie de caching), en créant un espace dédié dans la mémoire qui, selon l’éditeur, peut être configuré en fonction de la quantité de mémoire souhaitée.

«Il est inutile et peu pratique de garder toutes les données en mémoire, car elles n'ont pas toutes la même valeur, justifiant leur stockage dans une mémoire coûteuse», explique Teradata dans un communiqué.

Des algorithmes développés par l’éditeur montent en mémoire ainsi automatiquement les données les plus fréquemment utilisées, les trient, les datent et les classent, puis assurent leur mise à jour ainsi que leur synchronisation dans cet espace mémoire. Les données y sont stockées en colonnes ou en lignes (tout en étant également compressées) afin d’optimiser la performance des requêtes et leur analyse.

Avec Intelligent Memory, intégré à la version 14.10 de Teradata Database sortie au second trimestre 2013, Teradata vient proposer un énième scénario possible en matière de gestion des données. En ligne avec son concept d’architecture Unified Data Architecture qui porte sur le mariage de l’entrepôt de données du groupe à Aster Analytics pour la découverte des données et l’analytique, et enfin à Hadoop.

Objectif visé : proposer une réponse adaptée à tous les cas d’usage en matière d’analyse de données et ce, quel que soit le type et le volume de données. Ainsi, explique l’éditeur, Intellligent Memory peut être associé à Hadoop. Les données stockées dans Hadoop peuvent être extraites avec SQL-H (un connecteur SQL augmenté développé par Teradata) puis montées en mémoire via Intelligent Memory selon le niveau de leur fréquence d’utilisation.