AWS Athena : comment améliorer la performance des requêtes… et réduire ses coûts

Formater les données dans S3

Athena s’appuie sur le standard SQL. Les développeurs ont souvent recours à des backends SQL sur leurs Big Data pour leurs analyses. Une application peut par exemple enregistrer chaque action d’un utilisateur lors d’une session puis créer un fichier log dans S3. L’application peut alors stocker ce fichier dans un format CSV ou texte brut, mais Athena fonctionne mieux avec des données au format Parquet. Apache propose d’ailleurs une bibliothèque C++ pour Parquet ainsi que des adaptateurs pour d’autres langages comme Node.JS par exemple.

Le module node-parquet est simple à utiliser et montre comment compresser ses données dans un format Parquet pour S3 et Athena. Le code ci-dessous passe les données dans un format Parquet et les charge dans S3 :

const parquet = require('node-parquet');

var schema = {

  user_id: {type: 'int32'},

  action_name: {type: 'byte_array'},

  action_value: {type: 'byte_array', optional: true},

  browser: {type: 'byte_array'},

  location: {type: 'byte_array'},

  ip_address: {type: 'byte_array'},

  start_time: {type: 'int32'},

  end_time: {type: 'int32'},

};

var data = [

  [ 1234, 'Login', null, 'Chrome', 'Ohio', '10.0.0.1', 1496941960, 1496942080],

  [ 1234, 'Search', 'Chris Moyer', 'Chrome', 'Ohio', '10.0.0.1', 1496941960, 1496942080],

  [ 1234, 'View', 'Book: Building Applications in the Cloud', 'Chrome', 'Ohio', '10.0.0.1', 1496941960, 1496942080],

  [ 1234, 'Add to Cart', 'Building Applications in the Cloud', 'Chrome', 'Ohio', '10.0.0.1', 1496941960, 1496942080],

  [ 1234, 'Checkout', '1 Item', 'Chrome', 'Ohio', '10.0.0.1', 1496951960, 1496952080],

];

var writer = new parquet.ParquetWriter(`${session_id}.parquet`, schema);

writer.write(data);

writer.close();

writer.on('end', () => {

  s3.upload({

    Bucket: 'my-parquet-data',

    Key: '${session_id}.parquet',

    Body: fs.createReadStream(`${session_id}.parquet`),

  }).promise().catch(e => {

    // Retry logic if there's an issue, or alert

    // if nothing can be retried.

  });

});

Les fichiers Parquet reposent sur un formatage strict, vous devez donc définir le schéma avant de charger les données dans S3. Cette opération garantit aussi que ces fichiers seront tous conformes au même schéma et qu’Athena pourra donc plus facilement traiter ces données.  GZIP peut également être utilisé pour compresser les données et améliorer davantage les performances des requêtes.

Interroger les données avec Athena

Une fois les données chargées dans S3, il faut créer une table virtuelle dans Athena. Cela informe Athena sur la façon de parser les données dans un format SQL. Utilisez les expressions regulières ou indiquez que le format d’entrée est Parquet. Les données seront automatiquement déplacées vers le bon schéma et la bonne table.  Assurez-vous également de bien indiquer quelles colonnes doivent être chargées dans Athena ; sélectionnez enfin le format et le nom des colonnes créées lorsque les données sont sauvegardées dans S3.

Les partitions, qui sont identiques aux indexes, peuventt aussi améliorer les performances des requêtes. Vous pouvez par exemple partionner l’ID de l’utilisateur et le nom de l’action ; ce qui aura pour effet de regrouper rapidement toutes les activités d’un unique utilisateur ou le type d’actions.

Une fois la configuration d’Athena finalisée, toutes les requêtes, qu’elles soient exécutées à partir de la console AWS Management Console ou l’API d’Athena, seront effectuées directement sur S3. Il n’y a aucun cache ni synchronisation, les données sont automatiquement mises à jour et la facture n’est calculée que lorsque une recherche est effectuée.

Amazon Athena est ainsi très utile pour les développeurs qui ne souhaitent pas maintenir un serveur SQL. Toutefois, ce service n’est efficace que si les requêtes sont peu fréquentes. Les applications qui se reposent sur des requêtes permanentes, doivent quant à elles s’adosser à des bases de données comme Aurora ou un entrepôt de données comme RedShift.