RTE veut optimiser l'exploitation de ses lignes électriques avec la suite Elastic X-Pack

Kafka en début de chaîne d'intégration de la donnée

D'un point de vue technique, les données mises en ligne sur le portail Open Data de Météo France sont dans un format courant dans le domaine météorologique, le GRIB2, un format de fichier compressé qui est utilisé pour les échanges entre les instituts météorologique dans le monde.

« Elasticsearch nous facilite l'accès à cette donnée en nous cachant la complexité de cette conversion de ce format GRIB2 - qui est très particulier et réservé à l'origine au monde des météorologistes ( à un format JSON beaucoup plus standard dans le monde Big Data et qui nous permet de consommer cette donnée de manière beaucoup plus large ».

Le modèle de prévision de Météo France livre ses informations cinq fois par jour. En amont de la chaîne d'intégration, Kafka joue le rôle de buffer entre les phases d'acquisition et de transformation des données réalisée par Logstash. « Kafka assure la stabilité de la chaine d'acquisition, car si le producteur ou le consommateur de la donnée tombe, Kafka joue le rôle de tampon et permet de reprendre le traitement au bon endroit. Sur ce plan, Kafka résout pour nous de nombreux problèmes techniques potentiels sur cette chaîne » explique Akli Rahmoun.

Derrière Kafka, un pipeline relativement classique a été mis en place entre Logstash et Elastic Search, Logstash consommant les données envoyées par Kafka et les met en forme en JSON selon le mapping prédéfini afin que celles-ci soient indexées par Elastic Search.

Pour l'instant le projet n'en est encore qu'au stade du PoC. Il ne requiert que 5 VM relativement classiques en termes de dimensionnement. Cette architecture est portée par le Cloud interne de RTE mais l'ingénieur estime que celle-ci est totalement portable et reproductible sur un Cloud public sans difficulté.

Elasticsearch permet nativement le croisement de données géographiques

Ce cas d'usage chez RTE met en exergue les capacités d'Elasticsearch quant au traitement des données géographiques.

Akli Rahmoun explique : « trois informations nous intéressent dans ces données météo : d'une part la date et l'heure qui est l'unité de temps la plus fine dans les données délivrées par Météo France, la géolocalisation puis la variable météo qui peut être la température, la vitesse du vent, le rayonnement solaire, la pluviométrie, etc. »

En parallèle, la géolocalisation de l'ensemble du réseau RTE a été indexée dans Elasticsearch, ce qui permet de croiser ces données géographiques très simplement afin de connaître la température, la pluviométrie et la vitesse de vent attendus sur une ligne électrique ou un poste de haute tension précis. « L'informations est immédiatement disponible sans qu'il soit nécessaire d'écrire une requête complexe. Ces calculs d'intersection entre données météo et données réseau sont réalisés par Elasticsearch. Ils simplifient énormément l'accessibilité à ces données. C'est l'information que recherchent très directement nos utilisateurs métier ».

Cette chaine d'intégration de données rapide permet à RTE d'imaginer de nouveaux scénarios d'utilisation de cette donnée météo en mode temps réel.

« Une fois les modèles établis dans un langage quelconque, l'idée est de déployer ces modèles dans des scénarios d'exploitation du réseau en temps réel. En fonction des données météo, de la situation du réseau et de l'état de la production et de la consommation, le but est de prédire le meilleur choix à faire en fonction des contraintes qui se présentent à l'instant T. »

Et si le transporteur d'énergie n'imagine pas encore le pilotage de ses infrastructures en temps réel par des algorithmes, ces modèles pourraient être une aide précieuse aux dispatcheurs afin de prendre des décisions beaucoup plus précise que ce qu'ils peuvent faire actuellement. « C'est ce qui leur permettra d'optimiser l'utilisation du réseau sans mettre en péril la sureté du réseau, des biens et des personnes. »

La brique Machine Learning du X-Pack d'Elastic permettra elle de mieux anticiper les évolutions de l'état des lignes : « Nous pourrons réactualiser le calcul de la marge sur chacune des portées d'une ligne et lever des alertes de manière anticipée lorsqu'on constatera des dérives sur une ligne et prédire le risque d'engagement de la marge. Nous pourrons attirer l'attention du dispatcheur sur ces endroits où le risque est élevé si les conditions météo se maintiennent. »

Le PoC a permis de démontrer la facilité avec laquelle on peut croiser des données géographiques et météorologiques avec Elasticsearch. L'équipe Big Data de RTE travaille actuellement sur cette plateforme de traitement de données temps réel pour un déploiement prévu pour le début de l'année 2018. Toutefois, les premiers cas d'usages seront dans un premier temps relativement classiques sur Elasticsearch, à savoir la centralisation de logs, et des tableaux de bord Kibana pour naviguer dans les données.