Kafka a désormais son moteur SQL

Etendre la portée de Kafka

Comme avec Hadoop ou encore Spark, cette idée de rapprocher SQL de Kafka a pour vocation de lever les barrières de l’adoption de ce framework Open Source, alors que justement, le traitement des flux de données et le temps réel deviennent de plus en plus répandus dans les entreprises. Pour autant, Kafka restait jusqu’alors l’apanage de techniciens avertis, capables d’écrire des lignes de code. Avec SQL, une couche d’abstraction vient s’ajouter pour s’ouvrir à des utilisateurs, un peu plus métier. « KSQL lève les obstacles que l’on connait dans le traitement de flux de données, et apporte une interface SQL simple et entièrement interactive pour les données dans Kafka. Vous n’avez plus besoin d’écrire du code dans un langage de programmation comme Java ou Python », écrit d’ailleurs Neha Narkhede, la co-fondatrice et actuelle CTO de Confluent, dans un billet de blog.

KSQL, disponible dans une première version de test (et en lignes de commandes), s’appuie sur SQL. Mais il ne s’agit pour l’heure que d’un dialecte limité qui a dû épouser les caractéristiques des flux de données Kafka. Naha Narkhede explique qu’avec le temps, KSQL supportera une grammaire SQL plus aboutie. La communauté Open Source devrait maintenant y contribuer.

Parmi les usages cités par Confluent, on retrouve le monitoring en temps  de systèmes, la détection d’anomalies dans les systèmes de sécurité ou encore l’intégration de données (une forme d’ETL dopé aux stéroïdes) et le développement d’applications.

Pour autant, apporter une interface SQL à des flux de données n’est pas une première en soi. On se rappelle par exemple de Kinesis Analytics chez AWS, qui s’appuie sur le moteur de SQLstream, Blaze.