AWS ouvre son service d’analyse de Big Data en temps réel

En bêta limitée depuis le mois dernier, le service Kinesis d’AWS est officiellement accessible à tous (en bêta publique), a indiqué le spécialiste des services cloud. Annoncé lors de la dernière édition de Re:Invent, Kinesis est un service de collecte et d’analyse de données en volume dont la particularité est d’ajouter la très critique notion de temps réel au traitement des Big Data. Selon AWS, son service peut « collecter et traiter des centaines de téra-octets de données par heure, provenant de centaines de milliers de sources ». Des données issues des logs de sites de Web, des réseaux sociaux, des systèmes financiers ou de production, mais également des très tendances réseaux de capteurs.

Concrètement, l’idée est de collecter les flux, de les analyser et de permettre leur intégration dans des applications qui consomment des masses de données mises à jour en temps réel. Tableaux de bord, système d’alertes, analyses comportementales, applications « responsives », etc ….

« Jusqu’alors, la plupart des traitements Big Data étaient effectués via des modèles batch, comme ceux effectués par Hadoop, ou encore via des technologies de bases des données, comme les entrepôts de données », rappelle Amazon dans un communiqué. Ce traitement en mode batch ne permet pas « de supporter des applications qui doivent traiter en temps réel des flux continus de données sans cesse mis à jour », poursuit le spécialiste du cloud. Des outils maisons ont alors été développés, mais « souvent difficiles à assembler, à opérer, trop rigides […] ». L’analyse de données en temps réel est en effet souvent cité comme une des lacunes d’Hadoop.

C’est justement cela qu’AWS veut combler avec Kinesis :  déporter dans le cloud ces traitements en temps réel de données Big Data. Logiquement, la firme de Seattle joue la carte de l’intégration avec ses services existants. Les données ainsi traitées par la moulinette Kinesis peuvent ensuite être injectées dans S3, Amazon Elastic Map Reduce (Amazon EMR) ou encore Redshift, l’entrepôt de données Cloud de la société.

Rappelons au passage que Google, de son côté, propose un service baptisé BigQuery qui permet quant à lui d’analyser des grands volumes de données via des requêtes SQL.

Kinesis est pour l’heure déployé dans le datacenter de Virginie d’AWS, les autres régions suivront dans « les prochains mois ».