LARD : l’open source au service d’une aviation sûre et (semi) autonome

L’aide à l’atterrissage, une marotte des avionneurs

C’est loin d’être une découverte pour l’industrie aéronautique, constate Thierry Sammour, vision-based navigation leader chez Airbus, lors de l’Open Source Expérience Summit. L’expert rappelle que l’écosystème s’est emparé de cette problématique en équipant les appareils commerciaux de fonctions d’aide à l’atterrissage. Les autoland ont justement été implantés dans des avions de ligne dès la fin des années 1960 pour aider les pilotes à atterrir lorsque la visibilité est trop faible ou en cas de dégradation des conditions météorologiques. Ceux-là nécessitent généralement un système d’atterrissage aux instruments (Instrument Landing System ou ILS) ou un système d’atterrissage hyperfréquences (MLS).

Ces moyens de radionavigation sont mis en place à l’aide d’émetteurs directionnels installés le long des pistes pour désigner la meilleure trajectoire lors de la descente de l’avion. Or l’installation coûteuse de ces équipements et leurs effets sur le nombre d’atterrissages à l’heure ont décidé les compagnies aériennes et les constructeurs à se tourner majoritairement vers des balises GPS et GNSS qui n’occasionnent pas d’installations aux abords des pistes. « Aux États-Unis, moins de 20 % des aéroports sont équipés d’une approche ILS, alors que c’est l’un des systèmes de guidage les plus utilisés au monde », assure Thierry Sammour.

 Malheureusement, les appareillages GNSS couplés à des capteurs inertiels sont sujets à défaillance, prévient-il.

Outre un enjeu de sécurité, c’est, pour le secteur, un sujet clé dans l’émergence de l’avion semi-autonome, au contrôle d’un seul pilote. En 2020, Airbus a terminé les tests liés au projet ATTOL (Autonomous Taxi, Take-Off and Landing). Le fabricant a réalisé environ six vols d’essai d’un A350 équipé de cette solution d’IA permettant de rendre autonomes le roulage, le décollage et l’atterrissage de l’appareil.

Pour cela, le constructeur a, entre autres, misé sur une amélioration des dispositifs d’affichage tête haute (HUD). En détectant la piste à l’aide de la vision par ordinateur et en combinant cette information avec celles en provenance des systèmes de bord de type GPS/GNSS, il est possible d’indiquer au pilote la bonne trajectoire d’approche. Il s’agit de réduire la charge cognitive du pilote. Si cette idée semble intéressante à explorer, il faut déjà entraîner le modèle de computer vision capable de détecter les pistes d’atterrissage. Et pour former un tel algorithme, il faut les bonnes données. Dans le cadre du projet ATTOL, plus de 450 vols d’essai ont été nécessaires « à la collecte de données vidéo brutes, afin de nourrir et d’affiner les algorithmes », indique Airbus. Une opération coûteuse. Pour rappel, l’Airbus A350 est vendu à un prix catalogue avoisinant les 350 millions d’euros. Il faut ajouter à cela le coût d’opération d’un tel appareil.

Dans le cadre du projet de recherche DEEL (DEpendable and Explainable Learning), les chercheurs d’Airbus, d’Onera, de Scalian et de l’IRT Saint Exupéry se sont justement confrontés à la faible qualité, voire l’absence de jeux de données d’images open source. Que ce soit les simulateurs de vol professionnels ou les caméras embarquées dans les avions de ligne, ni leurs images ni leurs métadonnées ne sont disponibles publiquement.

Pour pallier ce manque, les chercheurs ont produit et diffusé le jeu de données LARD (Landing Approach Runway Detection), sous licence MIT. Ils ont constitué leur propre méthodologie afin de produire et de publier ces données synthétiques et réelles.

De nombreuses pistes à explorer

Il a d’abord fallu déterminer les informations génériques pour détecter la piste d’atterrissage, mais aussi le cône d’approche de la piste. La distance à la piste, les angles d’approches verticaux et horizontaux, la position des axes de tangage, de roulis et de lacet de l’avion sont autant d’informations complémentaires pour accomplir cette tâche. Les chercheurs ont pris en compte différents environnements qui entourent ces longues bandes de goudron : les zones urbaines, rurales, les bords de mer, les déserts, etc.

Comme il est plus simple et moins coûteux de générer des données synthétiques, les équipes se sont intéressées aux simulateurs disponibles sur le marché. Il y a les solutions industrielles, dont celles d’Airbus, de Thalès, d’ENAC et d’Onera, mais aussi les jeux vidéo/simulateurs de vol amateurs : Flight Simulator, Xplane, GeoFS ou encore FlightGear. L’autre solution consiste à se tourner vers les globes virtuels, dont Bing Map, Geoportail ou Google Earth. Après avoir comparé les outils accessibles, les responsables ont fait le choix de Google Earth Studio pour la qualité des images de piste générées et leur ressemblance avec les prises de vues réelles à leur disposition.

Automatiser la production d’images synthétiques annotées

Annexe au globe virtuel éponyme, Google Earth Studio permet de gérer la position de caméras dans un espace 3D géolocalisé, l’heure, la taille des images, du champ de vision et de rendre des séries d’images ou des vidéos. En complément des outils de Google, les chercheurs ont imaginé un générateur de données synthétiques pour compléter les données au format JSON correspondant aux pistes de différents aéroports, de générer des scénarii d’atterrissage et d’automatiser la labélisation.

En pratique, il s’agit de combiner les informations en provenance d’une base de données consacrées aux pistes et un dépôt de fichiers dédié aux paramètres de l’approche. Ces deux jeux de données préliminaires sont ensuite soumis à Google Earth Studio. Les images générées sont labélisées pour former un jeu de données finales incluant les images, les labels et les métadonnées. L’annotation automatique sert notamment à estimer le cône d’approche à partir d’une matrice de projection s’appuyant sur la position (axes X, Y, Z) dans l’espace et les coordonnées WGS84 (latitude, longitude, altitude) de la piste, ainsi que la position de l’avion et le champ de vision associé à la caméra.

Dans un même temps, les chercheurs ont demandé l’autorisation à six aviateurs vidéastes postant leur vidéo sur YouTube d’exploiter leurs fichiers encodés en 2K (1920 x 1080 pixels) et en 4K (3840 x 2160 pixels). Le dépôt GitHub consacré à LARD réunit plus de 17 000 images synthétiques, dont plus de 1 800 images réelles. Il est divisé en deux portions. Le set d’entraînement est composé de plus de 14 000 images générées à partir de 32 pistes dans 16 aéroports différents. Le set de test est divisé en deux portions, l’une contient 2 221 images synthétiques issues de 79 pistes situées dans 40 aéroports différents et l’autre contient 1 800 images issues de vidéo d’approche à l’atterrissage.

Le tout permet déjà au modèle d’annotation et à un modèle de computer vision de détecter la piste d’atterrissage sur les vidéos synthétiques et réelles. En revanche, ces données ne concernent que des atterrissages dans de bonnes conditions météorologiques, de jour ou de nuit. « Sur Google Earth, il fait toujours beau », plaisante Thierry Sammour.

Un enjeu de standardisation

Il serait intéressant de nourrir LARD avec des images d’atterrissage par mauvais temps ou dans le cas d’une approche abrupte, entre autres. Ce n’est pas, pour autant, la priorité. Le défi premier des chercheurs est de mobiliser une plus large communauté afin d’enrichir encore le jeu de données. Selon le responsable des systèmes de navigation basés sur la vision chez Airbus, LARD a déjà permis de réunir des experts de la certification, de l’explicabilité et de l’embarqué dans l’IA appliquée à l’aviation autour d’un cas d’usage spécifique. Il s’agit, par ailleurs, de renforcer les collaborations entre les acteurs industriels privés et les organismes de recherche.

Outre la difficulté de constituer une base de données de vidéo conséquente, Thierry Sammour considère que, à l’instar de l’adoption de l’ILS, concerne toute l’industrie. Selon lui, LARD participe à l’obtention d’un consensus autour de ces technologies de vision par ordinateur dans le domaine de l’aviation. In fine, il s’agit de faire naître des algorithmes entraînés à partir de données de haute qualité qui devraient servir à tous les industriels de l’aéronautique, même quand ils sont rivaux.