Magie de la GenAI : Lakehouse Apps devient Databricks Apps

Databricks sort l’argument financier pour gérer plus de charges de travail

D’après Databricks, ses clients doivent utiliser des plateformes d’éditeurs tiers pour compléter le développement de chatbots, d’applications analytiques alimentées par l’IA, etc. Cependant, la combinaison de données propriétaires, de systèmes d’IA tels que les LLM et des plateformes de développement tierces, risque d’entraîner des violations accidentelles de données. En outre, cela coûte cher.

Le développement d’applications d’IA est complexe, risqué et coûteux en grande partie à cause des déplacements de données. Il faut d’abord trouver et extraire les données d’une plateforme de stockage, puis développer l’application dans un IDE ou une autre plateforme de data science. Enfin, l’application doit être déployée et gérée sur un environnement distinct.

Databricks Apps promet de simplifier ces étapes fastidieuses.

La solution intègre des frameworks tels que Dash, Flask, Gradio, Shiny et Streamlit (un outil open source dont le principal contributeur a été acquis par Snowfake). En outre, elle est livrée avec des modèles Python préconstruits censés accélérer le processus de développement. Si les développeurs préfèrent travailler dans un IDE tel que Visual Studio Code ou PyCharm, Databricks Apps les prend en charge également.

Selon l’éditeur, Apps doit éliminer la gestion du déploiement avec un système managé et serverless intégré au sein de la plateforme. Quant aux aspects de gouvernance, Apps hérite des fonctions telles que le contrôle d’accès et le lignage des données accessibles via le catalogue Unity.

Alors qu’AWS, Google Cloud, Microsoft et Snowflake ont tous fait de l’IA un point central du développement de leurs produits, leurs outils équivalents ne sont pas aussi intégrés que ce que Databricks a construit, selon Donald Farmer.

Rattraper Snowflake (bis repetita)

« Snowflake a rattrapé son retard, mais le développement continu de Databricks est très convaincant », juge M. Farmer. « Microsoft Fabric, bien sûr, vise à devenir une plateforme unifiée similaire à Databricks, mais il s’agit toujours d’un produit inférieur. Google Cloud Platform et AWS disposent d’une large gamme de services d’IA et de ML, mais ils ne sont pas aussi profondément intégrés dans la plateforme. »

Ce qu’oublie de mentionner Donald Farmer, c’est que Snowflake s’est engagé dans la prise en charge d’applications sur sa plateforme avant son concurrent. Sa place de marché, ces Native Apps, ainsi que l’acquisition de Streamlit lui ont permis de prendre un certain ascendant en matière de mise à disposition d’applications analytiques ou d’IA.

Et c’est justement le type d’applications mises en avant par Databricks dans son billet de blog consacré à Apps. Outre l’IA, l’éditeur imagine que ses clients peuvent se servir de sa solution afin de développer des solutions de visualisation de données, d’analytiques ou de mesure de la qualité de données. Autant d’éléments en développement chez Snowflake depuis près de deux ans (donc en disponibilité générale ou presque).

Aussi le service n’est pas véritablement nouveau. Databricks avait lancé la préversion publique Lakehouse Apps en 2023. Le renommage et l’orientation de l’offre sur l’IA générative semblent indiquer que la précédente formule n’a pas pris auprès des clients, ou qu’elle n’était pas suffisamment mûre.

Une course à la simplification

Qu’importe, l’impulsion derrière Databricks Apps est venue des commentaires des clients, selon Shanku Niyogi, vice-président de la gestion des produits de Databricks.

« Les clients (…) nous ont fait part du fait que la création et le déploiement d’applications de données internes ont toujours été un processus complexe et chronophage », rappelle M. Niyogi. « Ils ont spécifiquement demandé des moyens plus faciles pour tester de nouvelles fonctionnalités tout en maintenant un environnement sécurisé. Avec l’explosion de l’IA, ce besoin ne fait que croître. »

Databricks Apps n’est pas une fin en soi, selon Shanku Niyogi. Dans les faits, le chargement et le déploiement d’applications sont la partie la plus évoluée du service. Le service ne prend en charge que le langage Python et ne respecte pas encore les normes HIPAA et PCI DSS, pourtant très réclamées aux États-Unis.

L’objectif du fournisseur est de mettre les données et l’IA à la disposition d’un large public d’utilisateurs, avance-t-il. À cette fin, Databricks prévoit d’investir dans le développement de nouvelles fonctionnalités intégrées à Mosaic AI et d’ajouter d’autres capacités par le biais de partenariats.

 Cela inclut des moyens simplifiés pour développer des applications, de nouvelles fonctionnalités Mosaic AI afin de créer, déployer et mesurer des systèmes d’IA, ainsi qu’un investissement continu dans un écosystème de partenaires.

Donald Farmer souligne que l’accent mis par Databricks sur l’amélioration des flux de travail d’IA et de machine learning est pertinent. Il suggère de renforcer le support pour les métiers. Et la prise en charge de technologies émergentes comme les modèles multimodaux sera essentielle dans les deux prochaines années. Il voit Databricks Apps comme un « début prometteur » pour Databricks dans cette nouvelle direction.