Twitter prépare une migration de ses clusters Hadoop vers le Cloud de Google

Twitter envisage officiellement de déplacer une partie importante de sa plateforme de traitement de données Hadoop vers la plateforme Google Cloud afin de renforcer la résilience de son infrastructure, a expliqué le spécialiste des réseaux sociaux dans un billet de blog intitulé « A new collaboration with Google Cloud » (en français, « une nouvelle collaboration avec Google Cloud »).

La société californienne est connue pour maintenir de nombreux clusters Hadoop, de plus de 300 pétaoctets de données. La société a d’ailleurs affirmé dans un billet de blog publié en janvier 2017 (via son blog d'ingénierie) que son plus gros cluster contenait 10 000 nœuds.

Traditionnellement, Twitter s’appuie sur ses propres datacenters pour héberger ces clusters. Ils sont utilisés pour effectuer des tâches de data warehouse et de traitement de données, ainsi que pour prendre en charge la dimension temps réel nécessaire à la plateforme de micro-blogging.

Mais, la société a déclaré travailler désormais avec Google pour migrer ses capacités de stockage froid et ses clusters Hadoop vers  la plateforme Cloud du géant de Mountain View.

« Au cours des dernières années, nous avons évalué nos besoins en matière de plateforme et d'infrastructure afin de nous assurer que nous sommes bien en place pour répondre aux besoins de notre service », a écrit Parag Agrawal, le CTO de Twitter. « Cette migration, une fois achevée, permettra d'accélérer le provisioning de ressources, d'accroître la flexibilité, d'accéder à un écosystème plus large d'outils et de services, d'améliorer la sécurité et de renforcer les capacités de reprise après sinistre. »

"D’un point de vue architectural, nous serons désormais en mesure de séparer le calcul du  stockage pour cette classe de workloads Hadoop. Cela présente un certain nombre d'avantages opérationnels et de mise à l'échelle sur le long terme », a-t-il encore souligné dans ce même billet de blog.

Evidemment, ce partenariat ne serait que la première pierre d’un édifice bien plus important, souligne à son tour Brian Stevens, le CTO de Google Cloud. Selon lui, cet accord devrait ouvrir la voie à une collaboration technologique encore plus importante entre les deux entreprises dans les années à venir. Il note également une forte proximité entre la stratégie d’ingénierie de Twitter et ce qu’offre Google Cloud à l’échelle mondiale. La Google Cloud Platform apportera à Twitter « la flexibilité technique et la cohérence qu'exige sa plate-forme ».

L’annonce de ce partenariat entre les deux entreprises coïncide avec l’actualité. Twitter a en effet affirmé  qu'un bug dans ses systèmes pouvait avoir fissuré la sécurité et le stockage de certains mots de passe d'utilisateurs.