Linux, une référence dans la qualité logicielle selon Coverity

Linux est encore un «citoyen modèle» en terme de qualité logicielle, a révélé le rapport 2012 de l’éditeur Coverity, spécialisé dans les tests de développements intégrés. Avec une densité de défauts de 0,66 (nombre de défauts pour 1000 lignes de code), l’OS en 2012 est parvenu à maintenir un taux de qualité performant, en dépit de l’analyse de quelque 500 000 lignes de code supplémentaires, insérées entre 2011 et 2012 (des versions 3.2 à 3.7). A titre de comparaison, en 2011, la version 2.6 du noyau Linux avait été classée par Coverity comme la référence en matière de qualité logicielle avec une densité de défauts de 0.62 pour presque 7 millions de lignes de code analysées. Coverity indique que la dernière version de Linux, la 3.8, reste la référence en proposant un taux inférieur à cette moyenne et affichant une densité de défauts de l’ordre de 0,59, garantit Coverity, pour 7,6 millions de lignes de code passées au crible. Cette tendance se retrouve ainsi dans l’ensemble des conclusions de cette édition du Coverity Scan. Ce baromètre s’appuie sur l’analyse de quelque 450 millions de lignes de code, issu de projets Open Source et propriétaires (à partir des analyses des clients Coverity). Verdict : si globalement il apparait que les logiciels Open Source et propriétaires offrent des projets d’une qualité logicielle identique (avec un taux de densité de 0,69 pour l’Open Source et 0,68 pour le propriétaire - supérieur au standard de l’industrie dont le taux est à 1, rapporte Coverity - , la différence se situe alors dans le rapport défauts / taille du projet. Étonnamment, illustre le rapport, plus le nombre de lignes de code dans les projets Open Source augmente, plus la densité de défauts est élevée. C’est l’inverse pour les projets propriétaires. Ainsi dans les projets propriétaires comprenant entre 500 000 et 1 million de lignes de code, la densité moyenne de défauts est de 0,98, mais celle-ci passe à 0,66 pour les projets de plus de 1 million de lignes de code. La densité de défauts des projets Open Source comprenant entre 500 000 et 1 million de lignes de code est de 0,44, mais passe à 0,75 au-delà, constate Coverity dans son rapport. Même idée sur les projets à moins de 100 000 lignes de code : la densité de défauts est de 0,51 pour les logiciels propriétaires, contre 0,40 pour les logiciels Open Source. Faut-il y voir un trouble dans le modèle de développement communautaire qui constitue l’épine dorsale de l’Open Source ? Non, répond en substance Coverity, mais cela est en revanche le résultat de pratiques et de la prise en compte des tests dans les phases de développements. «Dans les projets commerciaux, les phases de lancement (moins de 100 000 lignes de code) ne bénéficient généralement pas de lourds investissements dans les technologies et les processus de tests ; ce qui peut ainsi conduire à une densité ainsi qu’à l’introduction de défauts en nombre plus élevé. Ces projets ne fédèrent peut-être pas les développeurs les plus talentueux, comme le font les projets Open Source dans leurs phases de lancement. Dans les projets comprenant entre 500 000 et 1 million de lignes de code, de nombreux projets commerciaux (NDLR, propriétaires) intègrent les tests de développement en réponse à des problématiques liées à la qualité, ou en tant que programme d’entreprise», explique Coverity dans son rapport. Ce dont semblent alors souffrir les projets Open Source, si l’on en croit Coverity.