Qualité logicielle : Open Source et propriétaire dans un mouchoir de poche, selon Coverity

Pour la première fois dans l’histoire de son baromètre annuel sur la qualité des logiciels Open Source, Coverity a décidé de confronter une base de code issue de solutions à code ouvert à une autre issue de solutions dites propriétaires. Résultat : les logiciels Open Source comportent, en moyenne, légèrement moins de défauts, mais à taille identique, la qualité des logiciels semble équivalente, rapporte le spécialiste de la qualité logicielle (et éditeur d’outils d’audit de code).

Ainsi, dans son rapport «Coverity Scan Open Source Integrity Report 2011 », Coverity a passé au crible quelque 37 millions de lignes de code de 41 projets Open Source qu’il qualifie des plus actifs dans la communauté. En moyenne, la densité des défauts (qui définit le nombre de défauts pour 1 000 lignes de code analysées) est de 0,45. En moyenne, les projets Open Source comportent 832 000 lignes de code.

Les quelques 41 bases de code propriétaires, extraites de clients anonymes de Coverity, ont quant à elles permis de scanner 300 millions de lignes de code. Une base largement supérieure à celle des logiciels Open Source, donc. Pour un nombre moyen de 7,5 millions de lignes de code, la densité moyenne de défaut est alors ressortie à 0,64, note Coverity dans son rapport, soulignant que la moyenne de l’industrie du logiciel correspond à 1.0. Open Source et propriétaires sont ainsi en dessous de cette moyenne.

Une base certes plus importante, constate Coverity qui affirme qu’à base de code équivalente, la qualité du code des logiciels Open Source et propriétaires tend à atteindre une densité de défauts similaire - même si cette analyse ne repose sur aucune donnée véritablement concrète, finalement. A titre d’exemple, Coverity s’appuie sur Linux. L’OS Open Source, icône du mouvement et qui rassemble l’une des communautés les plus importantes et actives, ressort, après avoir subi l’audit Coverity, à 0,62 en termes de densité de défauts, pour 7 millions de lignes de code. Une densité «quasiment identique à celle de son équivalent en code propriétaire», commente Coverity. L’éditeur a scanné la version 2.6 du noyau Linux. « La frontière entre logiciel open source et logiciel propriétaire va progressivement s’estomper avec l’utilisation croissante de l’Open Source dans les développements de logiciels commerciaux », souligne Coverity dans son rapport.

En dépit d’un processus de développement communautaire, les logiciels Open Source suivent également une équation type du développement : plus le base de code est importante, plus le risque de défauts est grand, constate encore Coverity. Ainsi, si le noyau Linux 2.6 affiche, avec ses 7 millions de lignes de code, une densité de défauts de 0.62, PHP 5.3 ressort à 0,20 pour 500 000 lignes de code et PostGreSQL 9.1 à 0,21 pour un peu plus d’un million de lignes de code.