Ignite 2018 : SQL Server 2019 intègre Spark et progresse sous Linux

Un support intégré d’HDFS et d’Apache Spark

 Avec SQL Server 2019, l’éditeur franchit un pas supplémentaire, puisqu’il va inclure une microdistribution Hadoop qui apporte le support de HDFS et de Spark à SQL Server. Parmi les composants intégrés à cette distribution figurent notamment la passerelle d’authentification Knox d’Apache, le framework de sécurité Ranger et le planificateur de tâches Livy. Tous sont mis en œuvre sous forme de conteneurs Linux orchestrés par Kubernetes.

Le moteur d’analyse de données in-memory Apache Spark s'est imposé comme l’un des composants indispensables d’Hadoop au cours des dernières années. Il permet aux entreprises d’analyser rapidement de grands volumes de données. Mais son installation est souvent hors de portée des entreprises.

En intégrant une version prête à l’emploi de Spark à SQL Server 2019, Microsoft pourrait donc accélérer l’adoption de Spark, notamment dans les PME et les entreprises de taille moyenne et faciliter également l’utilisation du framework par les développeurs et les départements de grands comptes.

L’intégration de Spark à SQL Server participe aussi d’une évolution de la gestion des données dans les entreprises. De plus en plus les analystes cherchent à mêler analyse des données non structurées (logs, journaux, flux sociaux, etc.) et analyse de données structurées. C’est par exemple le cas dans le commerce en ligne où les utilisateurs ont besoin de combiner traitements transactionnels et analyse de données non structurées (moteur de recommandation, parcours de navigation, analyse comportementale, etc.)

Cette évolution de SQL Server s’accompagne aussi d’un support accru de Kubernetes. Désormais, il est possible de déployer des configurations sophistiquées du SGBD (avec support de la réplication et du failover) sous forme de conteneurs préconfigurés en s’appuyant sur Kubernetes. Microsoft fournit des images prêtes à l’emploi dans son propre registre (dont des images Red Hat Linux). 

Le lancement de la préversion de SQL Server 2019 s’accompagne de l’arrivée d’Azure Data Studio (ex-SQL Operations Studio), un outil d’administration open source qui permet la gestion de bases de données SQL Server dans le cloud Azure mais aussi on-premises. L’outil fonctionne aussi bien sous Linux et MacOS que sous Windows.

Une version Linux renforcée

SQL Server 2019 rapproche un peu plus les capacités des versions Linux et Windows. Microsoft a dévoilé la première mouture de SQL Server pour Linux en 2017 et continue depuis à faire évoluer sa base de données.

La dernière édition apporte notamment le support de la réplication sous Linux ainsi que celui du coordinateur de transactions de Microsoft (MSDTC).Kubernetes peut désormais orchestrer des conteneurs SQL Server pour mettre en œuvre des configurations hautement disponibles faisant usage de la fonction SQL Server Always On Availability Groups. SQL Server 2019 pour Linux supporte aussi désormais OpenLDAP.

Côté gestion de données, SQL Server 2019 pour Linux inclut aussi les services de Machine Learning de SQL Server (RevoScaleR, MicrosoftML,sqlRutils, olapR). Notons pour terminer que Microsoft supporte aussi désormais les dispositifs de mémoire persistante sous Linux. Via le support de pmem, tout fichier SQL Server placé sur un support de stockage en mémoire peut désormais fonctionner en mode « illuminé » (« enlightened mode »).

Ce mode permet à SQL Server de contourner la pile de stockage traditionnelle de Linux et d’accéder au stockage persistant comme s’il s’agissait d’un périphérique mémoire (au lieu de passer par de coûteuses opérations d’entrées/sorties, SQL Server utilise alors des opérations Memcpy, ce qui réduit considérablement la latence d’accès et dope les performances.

Microsoft n’a pour l’instant pas fourni de date de disponibilité pour la version finale de SQL Server 2019. Mais comme son nom le laisse entendre, le nouveau SGBD devrait logiquement faire son apparition dans le courant de l’année à venir.