Minio cible les développeurs avec son stockage objet compatible S3

Un stockage objet simple et compact déployable sous forme de conteneur Docker

Le logiciel de stockage objet de la firme, Minio Cloud Storage, a été développé en langage Go et est fourni avec plusieurs SDK pour les langages Go, Java, JavaScript et Python. Le code source du logiciel est accessible sur GitHub (sous licence Apache) et il aurait déjà été téléchargé plus de 490 000 fois.

AB Periasamy, cofondateur et CEO de Minio

Minio peut se déployer comme un exécutable traditionnel sous Windows, Linux, MacOS ou FreeBSD. Mais dans 90% des cas, il est mis en oeuvre sous la forme d’un conteneur Docker. Le logiciel n’a pas pour ambition de concurrencer les grands systèmes de stockage objet massifs comme Scality ou IBM Cloud Storage, mais plutôt de délivrer du stockage au plus près des applications. Idéalement, explique Anand Babu Periasamy, l’objectif est que les développeurs déploient programmatiquement leurs applications en même temps que Minio.

Le logiciel dispose de deux modes de fonctionnement. Le premier permet de mettre en place un stockage compatible S3 au-dessus de volumes classiques en mode bloc. Déployé sur un serveur x86 ou ARM, Minio peut consommer un volume de stockage et le faire apparaître comme un stockage S3. Dans ce mode Minio permet à un développeur de disposer d’un stockage objet à peu près n’importe où, y compris sur sa machine de travail. L’intégrité des données est assurée par les mécanismes mêmes de protection du volume sous-jacent. S’il s’agit d’un simple disque dur et qu’il tombe en panne, les données sont perdues. En revanche, s’il s’agit d’un volume SAN, le niveau de protection dépend de la baie de stockage.

Le second mode de déploiement, bien plus sophistiqué, est baptisé Distributed Minio. Dans ce mode, Minio est capable d’agréger la capacité de multiples volumes résidants sur un ou plusieurs serveurs physiques ou virtuels en un espace objet protégé par un mécanisme de code à effacement. Distributed Minio peut agréger jusqu’à 16 disques dispersés sur un maximum de 16 nœuds différents(1 disque par serveur sur 16 machines, 2 disques par serveur sur 8 machines, etc.). Le logiciel assure l’intégrité des données tant qu’au moins la moitié des disques du cluster restent disponibles. Et il est possible de créer de nouveaux objets sur le cluster dans que sur un total de n disques, n/2 +1 disques sont accessibles. Minio intègre également un mécanisme de protection contre la corruption silencieuse des données (ce que l’on appelle « bit-rot »).

L’object store est compatible avec le protocole S3 et accepte l’écriture de tout type d’objets tant que leur taille unitaire ne dépasse pas 5 To. Point intéressant, Minio supporte aussi les mécanismes de notification Lambda d’AWS, ce qui permet à certains événements de déclencher des appels à des fonctions spécifiques. Cela peut aller de la conversion automatique d’une image ou d’une vidéo après ingestion, à la mise en œuvre de mécanisme de scoring ou de filtrage de données.

Minio Client : un ensemble de commandes shell pour gérer, répliquer ou synchroniser des données entre stockage S3

Minio est aussi fourni avec Minio Client ou « mc », un composant client indépendant qui fonctionne avec tout type de stockage S3 et délivre l’équivalent de commandes shell Unix pour le stockage objet. Minio Client inclut ainsi des commandes comme ls, cp, diff, mkdir, mirror, rm ou rsync, et permet par exemple de lister les objets d’un bucket, de répliquer de façon transparente le contenu d’un bucket d’un stockage S3 à un autre, ou de synchroniser les données d’un service de stockage local Minio vers un autre stockage compatible S3 (et vice-versa). Il est à noter que Minio Client fonctionne avec Minio, mais aussi avec toute forme de stockage compatible S3. Pour l'anectode, il est par exemple couramment utilisé par les équipes de Scality pour répliquer des données d'un stockage objet à un autre.

Minio dispose déjà d’une large communauté, avec plus de 125 contributeurs actifs au code du logiciel. Il est téléchargeable et utilisable  gratuitement, mais comme dans le cas de nombreux projets open source, Minio entend générer des revenus via ses prestations de support. De façon intéressante, la cible de l’éditeur est plutôt celle des très grands comptes. Lorsque nous devenons un composant critique chez certains clients, ceux-ci sont prêts à nouer un contrat avec nous pour du support, indique le CEO de Minio. La firme n’entend toutefois pas se disperser et veut privilégier les grands contrats. Elle se satisfait tout à fait de voir des partenaires assurer le support de clients plus petits. Cela lui permet de concentrer l’essentiel de ses efforts sur l’enrichissement du code de Minio.

Minio X : Un moteur d'apprentissage machine au service de la gestion des données

Le prochain projet de la firme est d’ailleurs en cours de développement. Baptisé Minio X, il s’agit d’un moteur d’apprentissage machine autonome, qui pourra être couplé à Minio. L’idée est de permettre d’exploiter plus intelligemment les contenus stockés dans le stockage objet, mais aussi d’enrichir les métadonnées de façon automatique afin de permettre des recherches plus intelligentes sur les données. Minio X permettra par exemple sur une base de photos de poser des questions de type « trouver les personnes aux yeux bleus » ou « trouver les photos de chiens ». Minio X devrait faire ses premiers pas en 2017.