Netflix met à l’Open Source sa technologie de clustering

L’équipe d’ingénieurs de Netflix, le spécialiste de la vidéo en streaming, travaille sur une technologie baptisée Dynomite dont la vocation est de permettre de créer des environnements de bases de données distribuées avec des bases qui justement ne sont pas en mode cluster. 

L’objectif de Dynomite est de « transformer ses bases sur serveur unique en clusters pair-à-pair pouvant être facilement dimensionnés », résume Netflix dans un billet de blog. 

Cette technologie Open Source, qui s’inspire de Dynamo et s’appuie sur l’expérience de l’équipe interne sur Cassandra, est d’abord née pour un usage interne à Netflix. La société s’adosse essentiellement à des bases uniques pour supporter son infrastructure et exploite des techniques de sharding pour optimiser ses performances. Celles-ci consistent à répartir les données sur différents systèmes. Mais elles restent difficiles à gérer, explique en substance Netflix sur son blog.

Grosso modo, avec Dynomite, l’idée est de créer un cluster de serveurs uniques dans des datacenters, entre lesquels sont répliquées les données. Chaque datacenter étant partitionné, de façon à accélérer l’accès aux données en cas de pic de trafic, et à maintenir un niveau élevé de performances et de disponibilité. Il s’agit donc d’une couche de sharding combinée à de la réplication.

Pour l’heure, seuls Redis et memcached sont supportés, précise encore Netflix, mais d’autres datastores devraient suivre. D’ici quelques semaines, les communications entre datacenters devraient également bénéficier du chiffrement.