Big Data : pénurie de main d’oeuvre et formation, deux enjeux de l’analytique

Si l’on en croit les consultants et les responsables IT, il existe deux importants défis à relever en matière d’analytique et de Big Data : la technologie est encore brute et peu conviviale et le marché souffre d’un manque d’experts confirmés.

De nombreuses technologies liées au Big Data - comme Hadoop et MapReduce - viennent du monde Open Source, développées par des pionniers de l’Internet comme Google et Yahoo, pour résoudre leur problématique de traitement des données en volume, tant structurées que non structurées, et des coûts associés. Conséquence directe de ses origines, la plupart des technologies n’offrent pas le niveau de maturité et d’accessibilité des bases de données traditionnelles et des suites intégrées de gestion de données. De plus, l’offre reste encore très limitée en matière d’outils analytiques complémentaires, qui pourraient alors rendre ces environnements plus familiers aux spécialistes du data warehouse ou de l’analytique.

«La courbe d’apprentissage y est abrupte, notamment à cause d’une multitude de nouvelles technologies non documentées», affirme  Ron Bodkin, Pdg de Think Big Analytics, une société de conseil spécialisée dans le Big Data. « La majorité des développeurs sont habitués à travailler sur des systèmes de gestion de base de données relationnelles, qui ont des modèles de stockage et de traitement différents .»

Alors que les équipes spécialisées dans le data management ont une expertise poussée en matière de gestion et d’organisation de données hautement structurées, de modélisation, de création de rapports en SQL, ces compétences conventionnelles ne se traduisent pas bien dans le monde non structuré du Big Data. Un monde où les lignes de commande et les technologies de bases de données NoSQL forment les piliers de la plupart des outils.

«Il faut être capable de mettre les mains dans le cambouis», souligne Will Duckworth, vice président de l’ingénierie logicielle chez Comscore, une société de service marketing et d’analyse Web qui a développé et implémenté une stratégie big Data ces dernières années. « Il ne s’agit pas de produits pré-packagés où il suffit d’ouvrir une boite, d’installer un logiciel sur des serveurs et le mettre en production. Vous devez disposer de bons administrateurs systèmes avec des solides connaissances pratiques sur les méthodes de développement de ces environnements. »

A la recherche du statisticien

L’intérêt de l’analytique Big Data est de proposer des possibilités de modélisation prédictive et d’analyser les tendances futures. Mais le développement de modèles pour les applications d’analyses prédictives n’est pas une compétence que l’on trouve chez un utilisateur métier lambda ou même chez un analyste traditionnel. De plus, le gros des données sont disponibles dans un format brut, en provenance de sources telles que les logs Web ou encore de capteurs. Ainsi, il est nécessaire d’avoir sous la main des experts, en mathématiques et en statistiques pour développer des modèles analytiques avancés, capables de dégager des tendances, livrer des éclairages....bref ce qui rend utile le Big Data, au final.

«En plus d’avoir à recruter des compétences IT capables de créer de la valeur, vous allez devoir affronter la plus grosse pénurie à nos yeux autour du Big Data : celle des experts en traitement des données (data scientist) - des personnes titulaires de doctorats en statistiques», explique Brian Hopkins, analyste principal chez Forrester Research. «La plupart des données sont brutes - ce n ‘est pas quelque chose qu’il suffit de lire pour en extraire de la valeur. L’entreprise aura toujours besoin d’un expert chevronné qui saura comment exploiter cette information brute. Et l’acquisition de ses talents devront être inclus dans le projet d’utilisation.»

Chez Comscore, dont le modèle économique consiste à mouliner de gros volumes de données Web pour déterrer des tendances, de nombreux analystes sont formés à la modélisation prédictive et ont un profil suffisamment technique pour comprendre l’impact d’une requête sur les performances globales du système. D’autres, toutefois, ne disposent pas de ce niveau d’expertise, souligne Duckworth. Ainsi Comscore a investi du temps et l’argent dans l’apprentissage afin de les pousser à réfléchir en terme de scalabilité de la donnée ainsi que sur des détails, comme le partionnement et le chargement des données, lorsqu’ils développent leurs modèles et leurs requêtes.

D’ailleurs, le groupe a conçu son système Big Data en y intégrant des procédures de vérifications. Par exemple, si une personne envoie une requête qui peut potentiellement planter le cluster, le système affiche une fenêtre afin de s’assurer que l’utilisateur a pleinement conscience des ramifications et des conséquences de son opération. «A pleine charge, tout peut très vite se casser, ajoute-t-il.

Comscore s’est également équipé d’une application packagée qui ajoute un environnement de type SQL à son stack Big Data Hadoop afin de rendre son environnement plus familier aux utilisateurs traditionnels.

La formation a également été intégrée à la stratégie Big Data de Zions Bancorporation, une banque de Salt Lake City qui a déployé des technologies Big Data pour lui permettre de créer des modèles d’analyse et d’intégrer la gestion du risque à plusieurs de ses offres d’emprunts. Mais cette formation ne portait pas uniquement sur l’apprentissage de compétence Hadoop ou n’était pas qu’un cours intensif de statistiques. En revanche, une grande partie du temps a été consacrée à acclimater les membres de l’équipe technique à un nouveau mode de gestion des données.

«Il s’agit d’une nouvelle technologie que les DSI, plus traditionnelles et conservatrices, peuvent être réticentes à implémenter», commente Clint Johnson, qui a occupé le poste de vice président en charge du data warehouse, BI et de l’analytique chez Zions. «Les administrateurs systèmes et de bases de données ont construit l’ensemble de leur carrière sur des compétences spécifiques et vous leur imposez des nouvelles technologies qu’ils se doivent d’apprendre. Il existe ainsi des enjeux culturels avec lesquels il faut composer.»

Adapté de l’anglais par la rédaction