Blog / Regards (Lab)

Ce que nous avons appris en testant 3 copilotes IA sur le terrain

Notre pôle Lab consacre 10% du temps ingénierie du groupe à l'exploration. Ce trimestre, le sujet était simple à énoncer : parmi les copilotes IA disponibles sur le marché, lequel apporte un gain réel sur nos missions de développement, et lequel n'est qu'un effet de mode dont on s'écarte après deux semaines ?

L'inconnue de départ

La littérature marketing de chaque éditeur promet un gain de productivité de 30 à 50%. Aucune de ces promesses n'est vérifiable a priori, et elles reposent rarement sur des tâches comparables aux nôtres — souvent des benchmarks de code neuf sur un projet vierge, pas de la maintenance sur une base de code existante de plusieurs années, qui est notre réalité quotidienne sur la majorité des missions.

La méthode

Nous avons testé trois copilotes IA pendant quatre semaines chacun, sur un même panel de tâches réelles : correction de bugs sur du code existant, écriture de tests, documentation technique, et revue de code. Chaque ingénieur a noté le temps réellement gagné (ou perdu) par tâche, pas une impression générale en fin de semaine — l'impression subjective de gain de productivité avec un outil IA est notoirement peu fiable si elle n'est pas mesurée tâche par tâche.

Ce qui a surpris

Le gain le plus net n'a pas été sur l'écriture de code neuf, où les trois outils se valaient à peu près, mais sur la documentation technique et la revue de code — deux tâches que les ingénieurs ont tendance à négliger sous pression de délai, et sur lesquelles un copilote IA change réellement le volume produit. À l'inverse, sur la correction de bugs complexes dans du code ancien mal documenté, les trois outils ont généré autant de fausses pistes plausibles que de solutions correctes — un ingénieur senior reste indispensable pour trier.

La rencontre avec les autres pôles

Ce constat a directement nourri deux décisions : le pôle Digital a intégré un copilote IA dans son flux de revue de code sur les missions clients, avec un cadre clair sur les tâches où il apporte un gain net. Le pôle Academy a ajusté le contenu de la formation « IA générative pour les équipes techniques » pour insister sur cette distinction — quels usages sont fiables, lesquels nécessitent une vérification systématique.

Le résultat

Un gain de temps mesuré de 15 à 20% sur les tâches de documentation et de revue de code, contre un gain quasi nul et un risque accru sur le débogage de code ancien complexe — une nuance rarement présente dans la communication des éditeurs eux-mêmes.

La suite

La prochaine expérimentation du Lab portera sur l'usage de ces mêmes outils pour la maintenance prédictive industrielle — un contexte encore différent, avec ses propres contraintes de fiabilité.

À retenir — un copilote IA change la donne sur des tâches répétitives et bien cadrées, beaucoup moins sur les tâches qui exigent un jugement d'expert — la vraie compétence est de savoir laquelle est laquelle.

Discuter de cette expérimentation

À lire aussi