BillionPhotos.com - Fotolia

AWS se débarrasse de l’appellation Elasticsearch Service

Le 8 septembre, AWS fait une croix sur la dénomination de son service d’indexation et de recherche Amazon Elasticsearch Service, pour la remplacer par Amazon OpenSearch Service. Une opération qui n’a rien de banal.

OpenSearch est un projet open source qui émerge du conflit entre AWS et Elastic. Depuis 2015, le fournisseur propose Amazon ElasticSearch Service et était l’un des initiateurs du projet Open Distro for Elasticsearch, deux appellations qui avaient fait friser les moustaches des dirigeants d’Elastic. Le 27 septembre 2019, Elastic portait plainte contre AWS pour publicité mensongère et contrefaçon de marque déposée auprès du district nord de la Californie, accusation réfutée par le fournisseur de cloud. Cette action en justice est toujours en cours.

Entretemps, Elastic a acté le 21 janvier 2021 un changement de licence pour ses projets Elasticsearch et Kibana, passant d’Apache 2.0 à une licence SSPL, une variante propriétaire de la licence AGPL, malgré la gratuité possible et l’accès au code source. Rapidement, les responsables d’AWS ont orchestré la création d’une bifurcation (fork) open source basée sur les versions 7.10.2 d’Elasticsearch et de Kibana, à savoir OpenSearch et OpenSearch Dashboards.

Cette distribution remplace Open Distro for Elasticsearch.

AWS a choisi de substituer Amazon Elasticsearch Service par OpenSearch Service, pour éviter la contrefaçon de marques.

OpenSearch étant disponible en version 1.0 depuis juillet 2021, AWS a donc choisi de substituer Amazon Elasticsearch Service par OpenSearch Service, pour éviter la contrefaçon de marques. Les initiales du service sont désormais OSS, tout comme les trois lettres utilisées pour désigner les logiciels open source (Open Source Software). À y regarder de plus près, ce n’est pas si anecdotique que cela, voire un brin provocateur.

Dans un article de blog, Channy Yun, Principal Developer Advocate chez AWS, insiste encore une fois sur le fait que la licence SSPL appliquée aux codes source d’Elasticsearch et Kibana dans leurs distributions communautaires, et la licence Elastic, qui protège les produits de son concurrent, ne sont pas open source.

Il est de bon de que rappeler qu’Elastic et AWS s’appuient sur le même projet de base : Apache Lucene. De plus, OpenSearch n’est pas encadré par une fondation et AWS n’a pas mis en place de comité de gouvernance pour diriger collégialement le projet. En clair, AWS est l’hôte et le contributeur principal d’OpenSearch, ce qui présente des risques similaires à la gouvernance autrefois orchestrée par Elastic.

AWS mise sur la rétrocompatibilité

Avec OpenSearch Service, AWS entend offrir une compatibilité avec 19 variantes antérieures d’Elasticsearch en plus de la version 1.0 d’OpenSearch. Le géant du cloud assure rétroporter les correctifs de bugs et de sécurité vers ces différentes itérations, mais certaines de leurs capacités ne sont potentiellement pas prises en charge. Le fournisseur recommande d’adopter OpenSearch « pour profiter des dernières fonctionnalités et améliorations », au moment de déployer un nouveau cluster.

Il est possible de migrer vers la fork d’Elasticsearch (depuis les versions 6.8 à 7.10, ce qui demande à minima une double migration pour les usagers des moutures antérieures), toutefois ce processus est irréversible, prévient AWS.

OpenSearch Service s’accompagne également de la disponibilité d’une nouvelle API et du renommage de 21 opérations liées à cette interface, des instances de stockage et de calcul et des appels de métriques dans CloudWatch. AWS promet aussi une prise en charge des API existantes avec la dernière mise à jour du service, toujours dans le but affiché de minimiser les changements cassants au sein des applications en production.

Quant à OpenSearch Dashboards, AWS est beaucoup moins précis concernant la rétrocompatibilité avec Kibana, mais la documentation du projet open source laisse à penser qu’une procédure similaire existe.

Les avantages d’OpenSearch vus par AWS

La version managée d’OpenSearch apporterait des fonctionnalités supplémentaires par rapport à ElasticSearch sous licence Apache 2.0, comme des intégrations avec des services d’authentification (LDAP, SAML, Kerberos, JWT, Active Directory) et de gestion des rôles.

Cette fork dispose d’une syntaxe en requêtes SQL, et prend en charge les détections d’anomalies via un algorithme random cut forest, le reporting, la gestion des index, un outil d’étude de performances, un framework de détection des causes profondes, l’analyse des traces, des seuils d’alertes paramétrables, une recherche basée sur un modèle k-NN, Piped Process Language, un langage de requêtes pour affiner les recherches, et des notebooks consacrés aux visualisations de données. Cette dernière fonction ainsi que les transformations des index et du streaming de données seraient spécifiques à OpenSearch 1.0.

Beaucoup de capacités similaires sont proposées dans les distributions commerciales d’Elasticsearch et dans la suite ELK. Dans OpenSearch Service, Amazon maintient en revanche des connecteurs spécifiques vers ses services CloudWatch, CloudTrail, Kinesis et S3.

Comme souvent, AWS promet de supporter plusieurs zones de disponibilité, des nœuds de master dédiés, et des backups automatisés à partir d’instances EC2 basées sur l’architecture Graviton.

De son côté, Elastic a dévoilé en août dernier les versions 7.14 d’Elasticsearch et de Kibana, et prévoit d’organiser sa conférence annuelle au début du mois d’octobre prochain. L’éditeur semble concentré sur le développement de ses offres XDR et d’observabilité. Il n’a pas commenté publiquement l’annonce d’AWS.

Pour approfondir sur Big Data et Data lake