Splunk s’appuie sur le Machine Learning pour séduire les métiers
Splunk met à jour tous ces outils d’analyse de données avec deux moteurs de Machine Learning qui assistent les utilisateurs dans la découverte d’événements.
Permettre à l’entreprise de mener de meilleures analyses prédictives en mettant de l’intelligence artificielle au plus près des données. Les nouvelles versions des logiciels Splunk lancées fin octobre seront dotées de deux moteurs de Machine Learning qui leur permettront, soit de mieux guider les requêtes des utilisateurs à l’aide d’une batterie d’algorithmes prêts à l’emploi, soit de détecter tous seuls les signaux qui méritent une alerte. L’enjeu est d’ouvrir les possibilités d’analyse aux métiers sans connaissance technique et d’aider les entreprises à être plus proactives dans l’optimisation, la sécurité et l’attrait de leurs services.
Lors du salon annuel de l’éditeur qui se tenait fin septembre à Orlando, en Floride, Rick Fitz, le vice-président de Splunk, a clairement posé ses produits en alternative aux solutions décisionnelles de la galaxie Big Data. « En général, le Big Data passe par l’embauche de data scientists qui perdent 85% de leur temps à trouver les données dont ils ont besoin, à les convertir dans un format de travail et à tester dessus le bon fonctionnement de leurs requêtes 4GL. La nouvelle version de Splunk Enterprise 6.5 reconnaît toute seule le bon motif de données, affiche toute seule les anomalies et propose toute seule de les analyser avec les requêtes les plus cohérentes par rapport au contexte. Il n’y a plus d’algorithmes statistiques à développer pour détecter une fraude, un dysfonctionnement ou la raison d’une baisse de régime dans vos activités. Toutes les informations sont à la portée du salarié lambda », a-t-il dit.
Deux moteurs de Machine Learning
Le nouveau Splunk Enterprise 6.5 et sa déclinaison en SaaS, Splunk Cloud, se dotent ainsi d’une interface redessinée avec de nouvelles vues qui listent les données par modèles et affichent ces modèles en colonnes selon le type d’analyses possibles. A partir de ces éléments, les analystes peuvent construire des tableaux génériques pour toujours rassembler les détails d’un événement de la même manière et construire dans la foulée des tableaux de bord avec de jolis graphiques. De nouveaux assistants aident ensuite à personnaliser des algorithmes de tri/recherche/analyse ; pour l’heure, Splunk Enterprise 6 .5 inclut environ 300 algorithmes Python prêts à l’emploi. Les historiques sont ensuite soit stockés de manière compressée dans la base interne du serveur d’analyse Splunk, soit exportés vers un cluster Hadoop censé être peu cher.
À Splunk Enterprise s’ajoutent des versions personnalisées pour les administrateurs système (Splunk IT Service Intelligence 2.4) et les responsables de la sécurité (Splunk Enterprise Security 4.5 et Splunk User Behavior Analytics 3.0). Ces implémentations sont désormais livrées avec une batterie de modèles de détection d’événements et une nouvelle console de contextualisation automatique propres à chacun des domaines.
Le moteur de Machine Learning qui met automatiquement les données dans le bon contexte est issu du rachat de Metafor en 2015. « Il agit au moment où les données entrent dans Splunk pour y être indexées. Il applique des algorithmes statistiques qui vérifient si les données reçues correspondent à un comportement attendu (prédéfini ou appris au fur et à mesure). Cela va au-delà de la reconnaissance du format des données ; l’algorithme peut par exemple détecter que deux machines se parlent alors qu’elles ne le font jamais habituellement, ce qui est typique des attaques de type APT. L’avantage opérationnel dans ce cas est qu’une alerte est immédiatement émise à propos d’un événement qu’un humain n’aurait jamais pu déceler depuis sa console de surveillance », explique Snehal Antani, le directeur technique de Splunk. Il jure que l’exécution de ce moteur de Machine Learning n’entraînera pas l’achat de ressources de calcul supplémentaires sur le serveur qui exécute Splunk.
Le second moteur de Machine Learning, celui qui conseille le type d’analyse le plus approprié pour un type de données dans un contexte particulier, est issu du rachat de Caspida, également en 2015. « L’intérêt est qu’il nous permet de présenter le moindre événement sous forme d’API, afin de pouvoir le traiter avec du code SPL externe », ajoute Snehal Antani. Selon lui, plus que la simple présence d’un assistant analytique, ce moteur doit permettre le développement par des éditeurs tiers de tableaux de bords et de règles conçus pour des métiers en particulier : RH, finances, marketing, etc. Splunk dispose déjà de tels plugins métiers sur son portail Splunkbase, mais sans contextualisation pour l’instant.
Un outil d’analytique plus large mais plus technique
Splunk aurait aujourd’hui 12 000 clients dans le monde. Parmi lesquels des banques et des industriels de renom (Coca Cola...). Pourtant, Splunk est un ovni dans le monde de l’analytique. Conçu dès 2003 pour les informaticiens comme un outil de collecte et d’analyse des logs - soit bien avant que l’on ne parle de Big Data -, Splunk a appris à lire au fil du temps n’importe quels flux de données qui entrent dans un système. Bases de données SQL ou NoSQL sont comprises, pour peu qu’il existe un agent de collecte dédié installé sur le système source, et Splunk dresse ensuite un historique des événements à des fins d’analyse. Son champ d’investigation est donc plus large que celui des codes Hadoop habituellement utilisés par-dessus MapReduce, les vedettes du monde Big Data.
En revanche, l’analyse se fait sur un historique et non sur la donnée brute. « Cela convient très bien aux entreprises car elles voient d’abord dans Splunk un outil qui les aide à améliorer la sécurité de leurs systèmes et la qualité des services qu’elles proposent à leurs clients comme à leurs salariés (applications SaaS, mobiles...). Ce n’est que dans un second temps qu’elles veulent aller plus loin dans l’analyse métier. Et, à ce titre, il s’est créé toute une galerie de plugins pour des besoins ultra-niches », observe David Shpritz, consultant pour le cabinet de conseil Aplura.
En coulisses, il se glisse néanmoins que les compétences manquent pour supporter le très informatique Splunk parmi les métiers non techniques des entreprises. Ce qui fait le bonheur de certains : « honnêtement, Splunk est du pain béni pour des toutes petites entreprises de services comme la nôtre. La demande est telle pour Splunk, qu’une grande banque britannique a même signé chez nous sur la foi de nos compétences et non de notre pédigrée », confie un jeune informaticien. Lui-même a été embauché comme spécialiste Splunk parce qu’il savait utiliser les expressions régulières sous Linux.
Depuis un an, Splunk accorde des sessions gratuites de formation, quitte à mobiliser ses formateurs aux dates choisies par les élèves s’ils viennent d’une entreprise susceptible de signer un gros contrat de licence. Désormais, Splunk propose même le téléchargement gratuit de Splunk Light (limité au traitement de 20 Go de données par jour) pour les étudiants, les associations et... les entreprises qui souhaiteraient le tester avant de mettre la suite complète en production.
Le prix moyen qu’une entreprise paie annuellement pour une suite Splunk est de 15 000 $.
