Bruno Legeard, Smartesting : "le test connaît aujourd'hui sa révolution industrielle"
Pour le directeur technique de l'éditeur Smartesting - et professeur de génie logiciel à l'université de Franche Comté -, le test fonctionnel, où il s'agit avant tout de valider la bonne intégration d'une application à un SI et sa bonne adéquation aux besoins fonctionnels des utilisateurs, ne peut plus être le parent pauvre du développement. Tout simplement parce que les budgets qui lui sont consacrer ces dernières années sont en expansion constante. Seule solution selon lui : industrialiser les tests, via des méthodes, des outils et des équipes dédiées.
LeMagIT : On dit souvent que le test est le parent pauvre du développement, l'activité qui voit le plus souvent ses budgets rognés. Cette situation perdure-t-elle ?
Bruno Legeard : La situation est paradoxale. Historiquement, c'est vrai que le test est le parent pauvre du développement. Mais c'est aussi une activité dont les coûts n'ont fait qu'augmenter au fil des ans. Selon la dernière étude de Pierre Audouin Consultants, le marché de la sous-traitance centrée sur cette activité, qui sert de baromètre au marché, a crû de 12 % en 2009. D'autres études montrent que le budget de l'assurance qualité atteint en moyenne 30 % du budget global de développement d'un applicatif, soit plus que la production du code elle-même, estimée généralement à 25 % du total. Il y a quelques années seulement, ces ratios étaient inversés. Plusieurs éléments se conjuguent pour expliquer ce phénomène. D'abord l'industrialisation du développement proprement dit a commencé plus tôt, au cours des années 90 ; ce qui a contribué à faire baisser ce poste budgétaire dans la facture totale. D'autre part, avec l'évolution de l'IT, le recours aux ERP s'est accru. Et, avec eux, on produit beaucoup de fonctionnel complexe avec un coût de développement plus faible. Mais le besoin de qualification, lui, reste inchangé.
Le marché du testing en France
Selon PAC, le marché français du testing (on parle aussi parfois de TRA, tierce recette applicative) se monte à environ 500 millions d'euros pour les prestataires. Le cabinet prévoit une croissance annuelle aux environs de 10 % jusqu'en 2012. Le top 3 est occupé par Sogeti, Atos-Origin et Steria, suivis par Logica, Accenture et Sopra.
LeMagIT : Comment se sont structurées les DSI pour maîtriser ce budget ?
B.L. : Depuis le début des années 2000, des efforts ont été entrepris pour maîtriser ce poste budgétaire. Tant sur l'organisation, la professionnalisation des métiers du test, que sur l'outillage ou le recours à la sous-traitance. 80 à 90 % des grands comptes du CAC 40 disposent aujourd'hui d'équipes spécialisées, travaillant avec des méthodologies de création de référentiels de test en rapport avec les besoins fonctionnels de l'entreprise et avec les risques associés à la future application. La plupart des organisations affichent une vraie maturité dans la gestion de leurs référentiels, avec des outils dédiés remplaçant Word et Excel, des données centralisées et des accès distribués. En amont, la création et la maintenance des plans de tests restent des points de peine. Tout comme l'exécution automatique des tests, qui, en aval, donne encore des résultats mitigés.
LeMagIT : Quels sont les segments sur lesquels se concentre aujourd'hui la recherche universitaire ?
B.L. : Dans le domaine du test unitaire (réalisé par les équipes de développement, ndlr), on travaille surtout sur les techniques de vérification automatique des propriétés du code. Dans le segment du test fonctionnel, les travaux portent sur la génération du plan de test d'une part, et sur l'automatisation de l'exécution des tests d'autre part. C'est sur la première de ces deux activités qu'intervient Smartesting. A partir des spécifications fonctionnels, via une modélisation UML des comportements métier attendus, notre outil accélère la création du plan de tests. Et le met à jour à chaque évolution de l'application.
LeMagIT : Sur quels domaines de la chaîne du test interviennent les prestataires ?
B.L. : Tant sur la qualification fonctionnelle, qui est réalisée en même temps que le développement pour vérifier que les exigences sont couvertes, que sur les tests de recette métier, qui s'assurent que les principaux processus métier sont traités correctement. Si les seconds s'effectuent souvent à l'intérieur des équipes MOA, les premiers peuvent être pris en charge en centres de services. Par le prestataire chargé du développement - j'ai l'impression que c'est d'ailleurs la tendance, tout risque de dérive étant écartés par des audits des plans de test - ou par une seconde SSII.
Smartesting, un essaimage universitair
Le projet Smartesting est né au sein du laboratoire informatique (CNRS/INRIA) de l’Université de Franche-Comté. Créé en 2003, alors sous le nom de Leirios, l'éditeur commercialise un produit permettant d'automatiser la conception des plans de tests à partir des spécifications fonctionnelles. Un logiciel qui travaille en complément des principaux outils du marché comme HP Quality Center ou IBM Rational Quality Manager.Rebaptisée en 2008, la société a réalisé cette même année un million d'euros de chiffre d'affaires. Et a budgété un doublement de ce chiffre pour 2009.
Présent chez des grands comptes (BNP, SNCF) ou des intégrateurs (Sogeti, Atos), Smartesting a aussi créé une filiale en Inde en 2008 afin de cibler les prestataires indiens. Avec pour ambition de réaliser 25 % de son CA sur le sous-continent dès 2010. Focalisé sur les systèmes d'information, plutôt que sur l'embarqué, la société travaille aussi avec SAP pour proposer des modèles de tests génériques pour cet environnement ERP. Objectif : faciliter les tests de non régression. "Pour les utilisateurs SAP, le coût des tests est devenu un frein à la migration", explique Bruno Legeard.
LeMagIT : Quel est le poids de l'offshore dans cette activité ?
B.L. : Il est considérable dans le monde anglo-saxon. Dans un marché mondial pesant environ 13 milliards de dollars selon Gartner, les Indiens en contrôlent 40 %. Sur le marché français, on est évidemment très loin de ce niveau, du fait de la barrière linguistique. On peut estimer que la part des tests réalisés offshore est similaire à la part des développements déjà délocalisés. Et je ne pense pas que cela soit plus difficile à gérer. Les prestataires indiens, dont certains comptent des plateaux de tests employant jusqu'à 1 000 personnes, amènent beaucoup d'automatisation, ce qui s'avère intéressant pour la non régression ou l'exécution de tests. Mais les SSII locales, comme Atos, Sogeti ou Accenture, ont su répliquer à ces véritables usines à tests indiennes et cette évolution intégrant du nearshore ou de l'offshore. Toutes sont désormais capables d'adresser l'ensemble du spectre.
LeMagIT : Avec ses nombreuses itérations, le développement agile ne chamboule-t-il pas les activités de tests ?
B.L. : Il l'a remis en valeur ! Car l'organisation doit développer une capacité à tester chaque itération. Ce qui impose une plus grande automatisation, des méthodes, des outils, permettant de faire par exemple un test de non régression toutes les trois semaines. Même ainsi industrialisés, le budget des tests augmente un peu avec l'agilité, même si ces méthodes de développement intègrent une dimension centrée sur la qualité du code.
En savoir plus :
- Industrialiser le test fonctionnel, par Bruno Legeard, Fabrice Bouquet et Natacha Pickaert, aux éditions Dunod.
