Comment eBay utilise son propre cloud OpenStack

eBay fait désormais tourner ses principales applications, dont son site web, sur un cloud OpenStack qu’il a déployé lui-même.

Il y a trois ans, le site web d’eBay fonctionnait sur une infrastructure interne traditionnelle, aujourd’hui, 95 % de l’activité de la place de marché en ligne s’effectue sur son cloud OpenStack, a expliqué Suneet Nandwani, le patron de l’ingénierie Cloud d‘eBay lors de la conférence Cloud World Forum de Londres.

 

 efforts OpenStack d’eBay ont tout d’abord commencé dans le cadre d’un projet visant les développeurs du site, mais depuis l’infrastructure a évolué pour servir l’ensemble des besoins critiques de la société. Le cloud OpenStack de la firme est désormais une infrastructure multitenant, multirégion, disponible à la demande pour l’ensemble des métiers d’eBay et il a tous les attributs d’un cloud public, mais opéré en interne explique Nandwani.

Pour la société, il s’agissait de disposer d’une infrastructure robuste, évolutive et agile à même de supporter toutes ses marques, y compris les sites eBay et Paypal.

Construire une infrastructure cloud

Après avoir décidé qu’il avait besoin d’une infrastructure de type cloud, l’équipe IT d’eBay a dans un premier temps bâti une infrastructure qui n’était pas basée sur OpenStack. Mais il ne s’agissait pas d’une idée très raisonnable a expliqué Nandwani, sans indiquer la technologie sélectionnée dans un premier temps. La firme s’est alors tournée vers OpenStack pour bâtir son cloud car elle a estimé qu’il présentait l’avantage d’être assez mûr, mais aussi open source. « Nous voulions éviter de dépendre d’un fournisseur. C’était une exigence claire de notre par » ajoute Nandwani.

La plate-forme devait aussi satisfaire aux exigences réglementaires auxquelles sont soumises certaines activités du groupe et notamment la spécification PCI DSS.

Aujourd’hui l’infrastructure cloud fait tourner plus de 7000 instances serveurs et la firme commence à retirer le bénéfice de ses investissements dans le cloud. « Tout d’abord nous avons sensiblement réduit le temps de déploiement d’une application pour nos développeurs de 4 semaines dans la précédente infrastructure de datacenter à 30 minutes sur le nouveau cloud » explique Nandwani. « Nous avons aussi gagné en efficacité opérationnelle et avons économisé sensiblement en matière d’investissements matériels – eBay parle d’une réduction à deux chiffres en millions de dollars…

Mai ce n’est pas tout, : l’infrastructure cloud a apporté d’autres bénéfices comme la flexibilité du mode self-service, la plus grande simplicité de développement et l’automatisation de l’infrastructure. « Nous avons aussi réduit le temps de provisioning d’un rack de serveurs de 45 jours à juste 3 jours », ajoute Nandwani.

Une meilleure gestion des capacités

L’une des grandes exigences de l’équipe IT était aussi d’avoir une vision transparente de ses actifs et d’améliorer sa gestion des capacités. « Nous ne disposions pas d’un inventaire précis de nos actifs et nous ne savions pas quels actifs étaient utilisés de façon optimale et comment nous pouvions les gérer. Le cloud nous a donné une transparence sur nos actifs » indique Nandwani. « Il nous fallait des fonctions de gestion des capacités sophistiquées car nous ne pouvons nous permettre une défaillance du site eBay ».

Le problème était qu’avec son infrastructure historique, il était compliqué de prévoir les capacités : « nous surestimions nos besoins et avions tendance à surpayer car il était inconcevable de manquer de capacité », explique le patron du cloud d’eBay. Le fait de disposer d’une infrastructure cloud a été à venir à bout de ce problème et l’équipe IT est désormais à même de prédire plus efficacement ses besoins. L’équipe IT sait aussi désormais reporter l’usage des capacités et les refacturer (chargeback).

Cette capacité de Chargeback permet de refacturer précisément l’utilisation des capacités aux différents métiers. L’objectif est de rendre conscient les utilisateurs du coût réel de l’IT et de planifier leurs budgets en conséquence. « D’ici 2015, nous saurons refacturer complètement notre infrastructure cloud aux utilisateurs » explique Nandwani.

Les défis de l’Open source

La bascule vers un cloud open source n’a toutefois pas été sans défis. « Le problème avec OpenStack est que la technologie est ope et que nous n’avons pas un fournisseur vers lequel nous tourner pour résoudre nos problèmes. Nous devons les régler nous-même. » explique Nandwani. Malgré cela, l’équipe a poursuivi ses travaux sur OpenStack du fait de ses interfaces ouvertes et car l’équipe a acquis une expertise du système. « Nous avons des développeurs qui ont l’expérience de la plate-forme OpenStack et partage leur code avec la communauté ».

Nandwani a aussi mentionné dans son intervention un billet de blog publié par un membre de son équipe, « OpenStack n’est pas le cloud » qui a fait coulé beaucoup d’encre.« Ce billet a fait se lever pas mal de sourcils. Mais quand vous regardez la question de près, un cloud est un service, alors qu’OpenStack est un ensemble d’API et de technologies open source ». Pour transformer ces API en cloud, l’équipe a dû concevoir un réseau, mettre en place une gestion des configurations, ajouter des capacités d’autoscaling, de métrologie et de refacturation, de haute disponibilité, de gestion de logs, de monitoring et d’alerte, de gestion de SLA…

« Tout cela requiert du travail et de l’expertise. Aussi si vous tentez de mettre en place un cloud sans une équipe compétente, le processus pourrait être délicat » a indiqué Nandwani aux clients entreprises présents dans la salle.

Pour accroître la productivité de ses applications et de ses VM, eBay est en train de doper ses capacités en matière d’hyperviseurs libres et en matière de Linux. « Nous réduisons progressivement notre infrastructure Microsoft et VMware » indique Nandwani. « VMware reste une composante majeure de notre périmètre interne, mais nous espérons réduire notre dépendance de façon drastique dans les 2 à 3 ans à venir en déployant plus de KVM ».

Adapté d'un article en anglais d'Archana Venkatraman, ComputerWeekly