Avec ECK, Elastic poursuit sa démarche de simplification d'Elasticsearch

Simplifier le déploiement d’ELK avec Kubernetes

ECK doit réduire le temps de déploiement et de gestion de la stack Elastic avec la prise en charge des mises à jour proposées par l’éditeur. Il est possible de gérer plusieurs clusters, d’adapter leurs capacités à la demande et de les sécuriser à l’aide de certificats TLS. Les clients peuvent paramétrer l’architecture hot-warm-cold dans les clusters containérisés.

En principe, les utilisateurs doivent utiliser l’outil de ligne de commande kubectl dans la version 1.11 ou plus, la plateforme Kubernetes 1.12+ ou Openshift 3.11+ et la stack Elastic à partir de la 7.1. Cela permet d’automatiser les tâches administratives à la manière d’un Kubernetes Operator auquel on aurait ajouté des options de sécurisation.

L’idée est de traiter de manière dynamique les données et les métadonnées issues des logs, des métriques et des APM à l’aide de l’architecture Kubernetes maintenant standard dans l’industrie. ECK supporte également Elastic Local Volume. Cette fonctionnalité doit faciliter la gestion du stockage local persistant, son expansion ou sa réduction.

Avec ECK, Elastic répond à une demande des clients et poursuit là sa démarche multicloud.

Selon les avis rassemblés sur Gartner Peer Insights, la pile ELK s’avère parfois difficile à déployer et à maintenir. Hautement personnalisable, la plateforme requiert un paramétrage affiné et une attention toute particulière au moment d’effectuer une mise à jour. Les utilisateurs louent cependant l’efficacité des outils de monitoring et de recherche (certains préfèrent ELK à Splunk, par exemple).

Ce n’est pas la première fois que l’éditeur souhaite simplifier son produit. En février 2019, il avait présenté le format ECS (Elastic Common Schema), un format de données commun aux logs, aux APM et aux métriques. La version 7.5 de la suite Elasticsearch introduit Kibana Lens, une solution de visualisation de données simplifiée pour les utilisateurs métiers.

En face, d’autres acteurs font bouger les lignes et veulent s’emparer de parts de marché d’Elastic. AWS propose une version managée d’Elasticsearch qui fait polémique et commercialise AWS Kendra, un moteur de recherche d’entreprise comparable à l’offre Enterprise Search. MongoDB intègre le moteur d’indexation et de recherche open source Apache Lucene (le même qui est injecté dans Elasticsearch) dans sa plateforme de base de données cloud Atlas pour que ses clients évoluent dans un environnement unifié.

« Elastic souhaite se positionner contre AWS et surtout contre l'offre managée AWS-ES,  mais sa stratégie est plus large que de seulement fournir des clusters Elasticsearch managés. Il s’agit d'aller au-delà et de fournir une plateforme multi-solution, cloud-agnostique autrement dit multi-cloud. », répond Bahaaldine Azarmi, Head of Solutions Architecture SEMEA chez Elastic.

« Nous venons du search, notre promesse de départ est de donner l’accès au temps réel à des données, quelle que soit la structure dont elles dépendent », déclare le responsable.

Le monitoring d’applications et la sécurité, moteurs de la croissance d’Elastic 

Selon le responsable, historiquement, Elastic aide les entreprises à surveiller les performances, la bonne santé, de leurs applications et de leurs systèmes. « Avec le rachat d’Endgame [un éditeur spécialiste de la protection de terminaux N.D.L.R.], maintenant les clients nous considèrent comme un acteur de la sécurité. Nous offrons une chaîne d’outils complète pour l’investigation », vante-t-il.

Elastic s’inscrit auprès des acteurs du marché de la cybersécurité en proposant des outils d’aide à la remédiation et de protection des postes de travail. Perçu comme un acteur de la recherche d’entreprise, l’éditeur se détache peu à peu de cette image.

« Tout ce qui concerne les logs, les métriques et la sécurité sont des cas d’usage plus proéminents que la recherche d’entreprise. C’est aussi parce que les volumes de données sont plus faibles. Imaginons un client qui veut faire de la recherche sur 9 millions de documents. Cela peut représenter environ 10 To au total. En sécurité et en monitoring d’applications, les logs et les métriques peuvent représenter jusqu’à 10 To par jour », assure Baha Azarmi.

« Elastic souhaite se positionner contre AWS et surtout contre l'offre managée AWS-ES, mais sa stratégie est plus large que de seulement fournir des clusters Elasticsearch managés. ».

Si les deux cas d’usage de l’observabilité (APM, Logs, Metrics) et de la sécurité (SIEM, Endpoint Security, Maps) prédominent sur le volet recherche de documents (App Search, Site Search, Enterprise Search), Elastic affirme ne pas abandonner cet aspect. « Nous investissons un peu plus sur la partie APM parce que nous voulons que la solution soit prête pour le marché, de même pour Endpoint [la solution issue du rachat d’Endgame N.D.L.R.], mais nous ne négligeons aucune des solutions que nous proposons », déclare Baha Azarmi.

Elastic veut clarifier les usages de sa plateforme

Toutefois, les capacités élargies disponibles dans les solutions d’Elastic provoquent une certaine confusion chez les clients et les observateurs. Recherche de données, analytique, sécurité, monitoring et visualisation sont autant de cas d’usages rendus possibles par les technologies de l’éditeur.

« Parfois, des gens se plaignent d’Elasticsearch quand ils l’utilisent comme une base de données. Nous leur répondons que la plateforme n’est pas conçue pour cet usage ».

Elasticsearch dispose d’un data store qu’une minorité de développeurs utilise comme une base de données NoSQL pour leurs applications. 

« J’ai consulté il y a peu le site DB Engines [un site dédié aux partages des connaissances sur les bases de données N.D.L.R.]. J’ai été surpris de voir qu’Elasticsearch est classé septième en tant que base de données, juste derrière IBM Db2. Cela m’inquiète. Quel signal cela donne-t-il au marché ? ».

« "Elasticsearch est tellement simple à déployer et pour stocker les données au format JSON, alors pourquoi j’irais m’embêter à installer une base de données pour ensuite y mettre par-dessus la pile Elastic". Je caricature, mais c'est le chemin mental qu’empruntent beaucoup de développeurs ». Dans cette démarche, ils oublient des choses », estime Baha Azarmi.
« A un moment, les développeurs auront besoin de jointures, d’une interface SQL, et d’un aspect transactionnel. Parfois, des gens se plaignent d’Elasticsearch quand ils l’utilisent comme une base de données. Nous leur répondons que la plateforme n’est pas conçue pour cet usage, c’est une vision à court terme » ajoute-t-il.

De même, Kibana a longtemps été considéré comme « une plateforme de data vizualisation et d’analytique pour des DevOps », affirme le responsable. « Dans l’approche de rendre Kibana plus accessible, il faut que nous gardions en tête que des métiers vont se connecter à la plateforme pour représenter des analyses ».

Elastic se frotterait donc à Qlik, Tableau et consorts. Il s’agit d’une stratégie « à plus long terme », tempère Baha Azarmi.