Ingestion de données

L'ingestion de données regroupe les phases de recueil et d'importation des données pour utilisation immédiate ou stockage dans une base de données. Ingérer quelque chose consiste à l'introduire dans les voies digestives ou à l'absorber.

Les données s'acheminent en continu ou s'ingèrent par lots. Quand les données sont ingérées en temps réel, chacun de leurs éléments sont importés tels qu'émis par la source. Quand elles le sont par lots, leurs éléments sont importés par portions à intervalles réguliers. Pour être efficace, l’ingestion de données doit commencer par hiérarchiser les sources de données, valider chaque fichier et acheminer les éléments de données vers la bonne destination.

Les sources de données se comptent souvent par centaines et les formats, par dizaines. Quand les entreprises traitent d'innombrables sources de Big Data aux formats variés, la difficulté est d'ingérer ces données à une vitesse raisonnable et de les traiter efficacement pour rester concurrentiel. Raison pour laquelle les éditeurs proposent des programmes logiciels adaptés à des environnements informatiques ou des applications logicielles précis. Le logiciel qui automatise l'ingestion des données peut aussi comporter des fonctions de préparation qui structurent et organisent les données afin que des programmes d'informatique décisionnelle ou d'analytique métier les analysent à la volée ou ultérieurement.