Guides Essentiels
Voir tous les articles de ce guide
Actualites
Cet article fait partie de notre guide: Conteneurs : Mémo sur les principaux acteurs du marché

Myriad : un projet pour marier Apache Mesos et YARN

Afin de faciliter la gestion de grands clusters Hadoop, MapR et Mesosphere ont lancé le projet Myriad qui vise à permettre le dimensionnement automatique d'un cluster Hadoop sur Mesos.

Christophe Bardy
par
Publié le: 13 févr. 2015

L’éditeur de distributions Hadoop MapR et la start-up Mesosphere, spécialisée dans l’automatisation de datacenters, Mesosphere se sont alliés pour créer la technologie Myriad, dont l’objectif est de simplifier l’administration des clusters Hadoop en s’appuyant sur la technologie de gestion de cluster Apache Mesos. Mesos est au cœur du datacenter OS de Mesosphere et est utilisé par des géants comme AirBnB, eBay, NetFlix, Paypal, Twitter ou Viadeo pour gérer des clusters à grande échelle.

Interfacer les fonctions de gestion de cluster de Mesos avec le job scheduler YARN

L’idée de Myriad est séduisante. Il s’agit de laisser au scheduler d’Hadoop, YARN, la gestion des jobs Hadoop et de confier à Mesos l’allocation automatique de ressources à YARN. En combinant les deux technologies, le but est de mutualiser les ressources d’un cluster générique entre des applications différentes (Hadoop, OpenStack, …), mais aussi de permettre le redimensionnement et la réallocation dynamique de ressources aux différentes applications du cluster. 

Myriad est un framework qui se déploie sur Mesos et bien qu’en phase précoce de développement, il est aujourd’hui en test chez eBay et Twitter et des travaux sont en cours pour en faire un projet au sein de l’incubateur Apache. En attendant le code de Myriad est téléchargeable sur GitHub

Pour approfondir sur Administration et supervision du Cloud