Puces dédiées à l’AI : que faut-il en penser ?

De la  première à la seconde génération

Le développement des TPU, que ce soit ceux de première génération que ceux de seconde génération annoncée en mai 2017, répondent d’abord aux besoins propres de Google.

« Notre premier TPU a été conçu pour exécuter efficacement des modèles de Machine Learning- pour traduire un ensemble de phrases ou choisir le prochain coup dans le jeu de Go. Mais ces modèles devaient encore être entraînés séparément. L’entrainement d'un modèle est encore plus difficile que son exécution, et cela nécessite des jours ou des semaines de calcul sur les meilleurs CPU et GPU pour atteindre des niveaux de précision », écrit Google dans un billet de blog, daté du 17 mai 2017.

Si les équipes de recherche et d'ingénierie ont fait « d’importants progrès » en matière d’entrainement à l’échelle des modèles en utilisant le matériel disponible, la première génération de TPU « était limitée pour répondre à nos besoins en ML », continue ce même blog. Le nouveau système ML de Google a été développé pour éliminer les goulots d'étranglement et optimiser les performances globales, en utilisant (tant au niveau de l’entrainement que de l’exécution) des TPU de seconde génération, poursuit la société. Google n'a pas répondu aux demandes d'interview pour détailler cet aspect.

Pour les DSI, cela signifie que leurs applications de ML sur les TPU Cloud de Google seront plus performants et plus productives, tant dans le développement que dans leur exécution, affirme Mark  Hung.

TPU vs GPU et CPU

Actuellement, la plupart des entreprises en sont à exécuter leurs applications de Machine Learning sur des CPU ou des GPU.

Mais selon certains experts, les TPU sont bien différents des CPU et GPU qui ont des comportements volontairement plus généralistes, conçus pour les applications 3D par exemple. Les TPU conçus par Google sont quant à eux optimisés pour les applications spécifiques de Machine Learning. Plus précisément, les TPU sont conçues pour gérer l’entrainement et l'inférence, et ce, plus rapidement que d'autres technologies.

« Les plateformes généralistes n'ont pas les performances nécessaires pour répondre à la puissance de calcul imposée par l'IA », explique de son côté Hadi Esmaeilzadeh, professeur adjoint au Georgia Tech College of Computing.

Cependant, la course est lancée. En effet, Google n'est pas le seul fournisseur à proposer une nouvelle génération de puces pour l’AI,  déclare Qirong Ho, vice-président de l'ingénierie de la société américaine Petuum. « Tous les fabricants de puces souhaitent participer. »

ARM, AMD, Intel, Nvidia, Qualcomm Technologies et de nombreuses start-ups ont tous du hardware dédié pour le Machine Learning et l’intelligence artificielle, admet-il.

Mais tous les experts sont d’accord : il est encore trop tôt pour comparer les technologies et déterminer leurs avantages et leurs inconvénients.

Toutefois, souligne l’analyste, comme les TPU sont spécifiquement conçues pour le Machine Learning, les DSI se retrouvent limitée par leur portée. « Il s'agit d'un système hautement spécialisé », poursuit Qirong Ho, soulignant que les GPU peuvent tout aussi bien gérer le Machine Learning et l'apprentissage non machine.

Autre écueil, confirmé par nos experts : les responsables informatiques sont encore dans le flou en ce qui concerne le coût et le ROI, car les prix et le coût par workload utilisant le Cloud TPU de Google ne sont pas encore annoncés. Les responsables IT attendent également de savoir combien leur coûteront les autres options de calcul. Cela les empêche donc de faire des comparaisons de prix.

A cela s’ajoute le fait, les TPU de Google ne pourront pas être utilisés par les entreprises souhaitant opérer leurs travaux de ML sur site, car Google ne met à disposition son offre que via son Cloud.

Mais au final conclut Hadi Esmaeilzadeh, l’Ai et la Machine Learning évoluent si rapidement qu'il est trop tôt pour que quiconque puisse miser sur une technologie en particulier. « Il ne s'agit pas de savoir qui va plus vite, mais plutôt d’identifier quelles seront les avancées algorithmiques qui apparaîtront dans les années à venir ».