« Process Intelligence Graph » : Celonis met de l’huile dans les rouages de sa plateforme

« Celocore » : Celonis anticipe l’accroissement des volumes de logs à traiter

De fait, ses plus grands clients chargent des données en provenance d’un nombre grandissant de systèmes sources.

Un client français en provenance de l’industrie automobile a évoqué 15 à 30 SI connectés. Dascher, un géant allemand de la logistique, mentionne de son côté plus de 80 logiciels et plateformes sources. Ocado Group, un spécialiste britannique du retail et de l’automatisation de la logistique, traite plus de 20 milliards d’enregistrements dans la plateforme de Celonis et prévoit de quadrupler le volume d’événements.

Or, il ne s’agit pas seulement de prendre une « photo » des processus pour les analyser après coup. L’enjeu et de synchroniser la connexion avec les systèmes sources et de rafraîchir les données afin de piloter en flux tendu (sinon en temps réel).

« Pour beaucoup d’entre vous, la disponibilité, la fraîcheur et l’évolutivité des données est essentielle pour vous permettre de prendre chaque jour la bonne décision au bon moment », affirme Divya Krishan, vice-présidente du marketing produit chez Celonis.

Celonis Data core est en réalité un emballage marketing pour une suite de mises à jour concernant les fonctions d’intégration et de transformation de données de la plateforme effectuée depuis le début de l’année 2024.

Dans cette dernière, la création d’un flux de données commence par l’ouverture d’un pool, le réceptacle des sources, des jobs et de la supervision d’intégration.

Ensuite, il convient de connecter les sources, de préparer les jobs ETL en lien avec les modèles de données censés représenter les processus. Un tableau de bord permet de superviser ces flux.

Dans cette logique, Celonis a retravaillé son extracteur JDBC « on premise » pour mieux prendre en charge les bases de données Oracle et SAP HANA, Oracle Fusion BICC, Delta (Databricks), Snowflake et Google BigQuery (dont les tables externes). Surtout, l’éditeur offre la possibilité de gérer l’activation des threads parallèles. Ainsi, une extraction peut être effectuée en activant 5 à 40 threads concurrents.

Il a également revu le planificateur de son moteur de requête de sa base de données in-memory SaolaDB pour optimiser l’exécution des instructions PQL sur les modèles de données concoctés par les clients.

 « Cela signifie que vous pouvez vous attendre à une amélioration de la vitesse jusqu’à 14 fois, à un volume 20 fois supérieur à celui de la concurrence, et à une mise à l’échelle quel que soit le volume de vos données. Les performances seront maintenues même pendant les périodes de pointe », promet Divya Krishan. « Par exemple, une des plus grandes chaînes de pharmacie aux États-Unis disposant de l’une des 15 plus grandes implémentations de SAP analysait 5 milliards de lignes de données. Un volume que les concurrents ne pouvaient pas prendre en charge », assure-t-elle. « Les premiers tests effectués avec Celonis indiquent une multiplication par dix de la fraîcheur des données. Le temps de chargement des tableaux de bord a baissé de 95 % ».

Rafraîchir les données en flux tendu

Sous le capot, pour les tâches de transformations de données, Celonis utilise Vertica, une base de données analytique massivement parallèle apparue à l’âge d’or d’Hadoop. En disponibilité limitée, elle permet d’effectuer des transformations delta, c’est-à-dire l’exécution d’upserts de données dans la base SeloaDB quand les sources proviennent de SGBD relationnel (PostgreSQL, SQLite, MySQL, SAP HANA, etc.). L’éditeur a également simplifié la configuration de cette fonctionnalité dans son « Realtime Cockpit » afin d’accélérer le rafraîchissement des données en provenance de S/4HANA et SAP ECC.

Depuis sa marketplace, Celonis propose 86 connecteurs préconfigurés spécifiques à des processus dans une quarantaine de logiciels. À cela s’ajoute une quarantaine de connecteurs payants fournis par des partenaires.

« Nous travaillons actuellement à l’adaptation des connecteurs de processus existants pour inclure les transformations Delta », précise la documentation de l’éditeur. « Nous disposons d’un modèle pour SAP O2C [Order to Cash, N.D.L.R] (…) que nous pouvons partager sur demande ».

Via Vertica encore, Celonis prenait déjà en charge les topics Apache Kafka. Ici, la plateforme de streaming d’événements est davantage utilisée pour activer des automatisations dans Celonis EMS.

Mais l’éditeur ajoute, là encore en disponibilité limitée, une API « standard » d’ingestion de données « en temps réel ». Bâtie sur le protocole d’Amazon S3, elle doit simplifier l’extraction de données de provenance de data lake comme Databricks, Snowflake ou encore Redshift. L’éditeur entend supporter aussi bien le service de stockage objet d’AWS que ceux des concurrents « compatible S3 », dont Azure.

L’autre promesse c’est de simplifier l’exploitation de flux d’ingestion de données existants, puisque les acteurs comme Informatica, Confluent, Talend, MuleSoft et autres exploitent eux aussi le protocole S3, en sus d’assurer l’évolution automatique des schémas. En revanche, il convient de transformer les données pour les adapter aux modèles de données de Celonis.

Rendre exploitable l’Object-Centric Process Mining

En parlant de modèle de données, la majorité des évolutions poussées par l’éditeur concerne OCPM.

Ces quatre lettres désignent l’« Object-Centric Process Mining », une approche que Celonis pousse depuis 2021.

Historiquement, le process mining est un enfant du BPM et donc un outil d’analyse des événements (activité et horodatage) liés aux cas ou aux processus modélisés dans diverses plateformes.

Or, selon Celonis, l’accès aux logs des systèmes sources ne suffit pas et cette analyse est souvent fragmentée, car liée à un cas spécifique dans un système.

Pour relever ce défi, l’OCPM doit aider à concevoir un métamodèle constitué d’objets, d’événements et de relations entre les deux précédents éléments. Celui-ci se nomme l’OCDM : l’Object-Centric Data Model. Il est accessible depuis l’été 2023.

« Un objet est une représentation de quelque chose lié à votre entreprise, et un événement est une représentation de quelque chose qui est arrivé à un ou plusieurs de ces objets », indique la documentation de l’éditeur. « Avec l’exploration de processus centrée sur l’objet, les événements sont liés à des objets plutôt qu’à un cas unique, ce qui permet de visualiser des processus complexes et interactifs sous tous les angles ».

Concrètement, un objet peut être une entreprise, un client, une commande, une facture, etc. Un objet est accompagné d’attributs : un ID, un prix, une devise, etc. Un événement, toujours horodaté, correspond par exemple au paiement d’une facture, une prise de commande, l’envoi d’une marchandise, etc. Plus largement, un événement évoque un changement d’état qui affecte un ou plusieurs objets dans un processus.

L’éditeur a standardisé des types d’objets, d’événements et de relations afin de ne pas dépendre de la dialectique des systèmes sources.

Si ce modèle est agnostique, il faut bien pouvoir faciliter le formatage des données en provenance des SI sources. Il est possible d’effectuer ce travail manuellement depuis la plateforme, mais Celonis est en train d’ajouter des flux ETL préconstruits pour divers processus sur sa marketplace. Il commence par SAP ECC et Oracle EBS en proposant 16 flux préconstruits pour modéliser les processus « clés » (comptabilité fournisseurs, comptabilité clients, gestion des commandes, approvisionnement et gestion des stocks). L’équivalent pour Oracle Fusion est en bêta. Il ajoute par ailleurs des méthodes pour automatiser les mises à jour des types d’objets et d’événements, ainsi que pour sauvegarder les transformations spécifiques et plus largement manipuler les éléments de l’OCDM.

Des applications pour convaincre les grands comptes

Ces fondations doivent alimenter de nouvelles applications et des « starter kits ». Celonis en liste déjà 32 sur sa place de marché, dont Customer Service, Detention & Demarrage, Load Consolidation, Plant Maintenance Navigator (Marcadus), Maintenance Control Center (Ashling Partners), Cross Border Payments (ProcessLab) et Tax Ray (KMLZ). Elles couvrent des processus dans les domaine de l’expérience client, la logistique, le manufacturing, la banque et la finance.

Enfin, Celonis a présenté la bêta de Networks, un moyen pour partager des processus entre des partenaires. Dans le cas présent, il s’agissait de répondre au besoin de Conrad Electronic, un distributeur allemand d’équipements électroniques et informatiques BtoB. Il cherche à mieux gérer ses achats et ses commandes auprès de ses fournisseurs Schukat Electronic et TD Synnex. Celonis Networks permet aux trois acteurs de partager automatiquement 5000 mises à jour de commande par jour à travers un système EDI et un modèle commun combinant des données ERP et TAM. Concrètement, cela permet de savoir en temps réel qu’une commande ne sera pas prête pour la date de livraison prévue et de la replanifier ou de la compléter en partie si elle a été divisée en plusieurs livraisons. Les fournisseurs, eux, peuvent plus facilement gérer la gestion des grosses commandes et des items perdus. Après cette phase de prototypage, Celonis espère convaincre davantage d’acteurs.

Les fondations et les applications forment ce que l’équipe marketing de l’éditeur nomme Process Intelligent Graph (ex – Process Sphere). Pour l’heure, une centaine de clients sont en train d’adopter l’approche OCPM avec des déploiements « live ». À titre de comparaison, Celonis revendique plus de 5000 clients.