AWS dope RedShift à l’analyse de données dans S3

A l’occasion de l’AWS Summit de San Francisco, AWS a décidé de jouer un peu la carte de l’intégration entre ses services Cloud pour proposer une extension des capacités de RedShift à S3. La société a aussi présenté un service de cache pour muscler  les performances de DynamoDB, la base de données NoSQL du groupe.

Avec RedShift Spectrum, AWS entreprend d’étendre purement les capacités de requêtage avancées de son entrepôt de données aux données non structurées, stockées dans le service S3 de la marque. Le tout avec le même SQL, et sans avoir à transformer et charger les données. Spectrum traite les données directement dans S3, telles quelles, avec leurs formats ouverts (CSV, TSV, Parquet, Sequence et RCFile). Une façon d’intégrer et d’associer ces données froides et contextuelles du Big Data aux données structurées et critiques de l’entrepôt de données, mais sans avoir à la manipuler.

Opérer ces traitements directement dans S3 était aussi l’un des arguments phare du service Athena lancé en décembre dernier par AWS. Toutefois, Athena ne répond pas aux mêmes cas d’usage. Le service est présenté comme un service dit « serverless », applicable par des utilisateurs pour générer des rapports ad hoc, à partir de données stockées – effectivement – dans S3. Spectrum permet quant à lui de prolonger les capacités de requêtage avancées de RedShift, initialement cantonnées aux seules données structurées, aux données non structurées contenues dans S3 – un moteur unique pour des sources plurielles. « Vous êtes libre de stocker vos données où vous voulez, dans le format que vous voulez et les avoir à disposition pour traitement quand cela est nécessaire », explique d’ailleurs AWS dans une FAQ. L’utilisateur s’appuie sur S3 et ses coûts plus bas que celui d’un RedShift.

« Si vous disposez d’un datalake, vous n’avez pas à charger et décharger les données, selon vos capacités », commente Adam Brook, ingénieur Cloud chez Relus Technologies, un partenaire d’AWS, chez nos confrères de SearchDatamanagement (groupe TechTarget, propriétaire du MagIT). « Cela donne une configuration bien plus intéressante en termes de coûts car vous n’avez pas besoin de provisioner de nouveaux clusters et de payer pour ces nœuds. ». D’autant que Spectrum s’appuie sur la partionnement des données pour distribuer et accélérer les requêtes. Spectrum est facturé en fonction des données extraites de S3 pour les requêtes, à raison de 5$ par téraoctet.

RedShift Spectrum est actuellement limité à quelques zones aux Etats-Unis (US East – Virginie du Nord ; US East – Ohio ; US West – Oregon). Le service sera déployé dans d’autres zones dans les prochains mois.

Avec Spectrum, AWS s’aligne finalement sur une tendance de fond qui consiste à assembler dans une unique plateforme suffisamment de fonctionnalités pour répondre aux cas d’usages les plus courants dans les entreprises, et aux nouvelles architectures applicatives. Celles-ci nécessitent par exemple de conjuguer des données transactionnelles à d’autres externes afin d’en faciliter l’analyse. Les bases NoSQL, à l’image de DataStax DSE et CouchBase, adaptent d’ailleurs leur moteur pour cela. Tout comme le monde Hadoop, comme MapR et sa Converged Data Platform.