Sommaire
Sur les 2 661 plans clos par nos agents IA d’implémentation entre août et octobre 2026, 443 (16,6 %) avaient au moins un échec de vérification enregistré avant la clôture [1]. Voilà ce que notre harnais voit : aucun taux d’interception n’est publiable, et 14 de nos 48 garde-fous ne laissent aucune trace.
Junyr est construit en grande partie par des agents IA qui écrivent du code sous une session orchestratrice unique, et le harnais désigne tout ce qui les entoure, en logiciel comme en procédure. Cet article rapporte ce que nous savons compter, ce que nous ne savons pas, et les cinq erreurs de notre propre méthode que nous avons corrigées en route.
- Avant la clôture : 443 plans sur 2 661 portent au moins un échec enregistré, et près des deux tiers d’entre eux (63,7 %) avaient encore un contrôle rouge à la clôture.
- Après la clôture : 190 plans (7,1 %) sont cités par un rapport de bug ultérieur, mais ces liens ne sont justes que dans 6 à 35 % des cas, ce qui ramène à 11 à 66 plans.
- Garde-fous : sur 48, 9 tiennent un compteur de déclenchements, 25 laissent une trace indirecte et 14 n’en laissent aucune.
- Prochaine étape : un plan de télémétrie a été soumis à notre registre le 4 novembre 2026. Il attend une décision humaine.
Le harnais, c’est tout ce qui encadre nos agents d’implémentation
Notre harnais est l’ensemble des dispositifs logiciels et procéduraux qui encadrent les agents IA chargés d’implémenter Junyr, et quelques règles de méthode le tiennent ensemble. Nous avons exposé l’idée générale dans notre article sur l’ingénierie de harnais [2].
- Planifier par défaut. Rien n’est implémenté sans demande explicite, et un humain approuve chaque plan.
- Un seul orchestrateur écrivain à la fois. Une session unique pilote les agents d’implémentation, comme dans notre article sur l’orchestration frugale [3].
- Pas de Git. Un registre en base tient lieu d’historique, l’approche exposée dans notre article sur le retrait de Git [4].
- Mise en production par un geste humain. Les agents préparent un candidat ; une personne le met en production.
Pour un dirigeant, neuf termes suffisent pour suivre la suite.
| Terme | Ce que cela signifie |
|---|---|
| Plan | La description écrite d’un travail, approuvée par un humain avant qu’aucun agent ne démarre |
| Prise en charge (claim) | Le moment où un agent s’approprie un plan approuvé |
| Lane | Un lot de travail confié à un agent |
| Vague | Un groupe de lanes lancées ensemble |
| Empreinte déclarée | La liste des fichiers qu’une lane annonce vouloir toucher |
| Pré-image | Une copie de référence des fichiers déclarés, prise avant le démarrage de la lane |
| Barrière | Le contrôle qui compare les fichiers modifiés à l’empreinte déclarée et peut déclencher un STOP (un arrêt) |
| Freeze | Le gel des arbres de code et le build en isolation |
| Promotion | Le geste humain qui met en production un candidat gelé |
Un plan franchit sept étapes, et 48 garde-fous les jalonnent : Préparation 4, Prise en charge 7, Lane 8, Revue et barrière 9, Portes de règles 7, Gel et promotion 8, Nuit et suivi 5 (voir Figure 1). Chaque garde-fou laisse une trace de l’un des trois types, et les carrés de la figure indiquent lequel.
Les compter était la partie facile.
443 plans sur 2 661 avaient un échec enregistré avant la clôture
Entre août et octobre 2026, 443 des 2 661 plans clos (16,6 %) avaient au moins un échec de vérification enregistré avant la clôture, et 63,7 % de ces 443 portaient encore un contrôle rouge au moment où le plan a été marqué terminé [1].
- Où les échecs se concentrent (voir Figure 2) : lint (contrôles de style) 14,1 %, pytest (tests) 13,1 %, revue adverse 8,4 %, live 6,7 %, navigateur 6,6 %, revue de sécurité 3,2 %, règles 2,9 %, base de données réelle 1,9 %, typecheck (vérification des types) 1,3 %, concurrence 1,3 %. Les contrôles mécaniques viennent en tête, et la revue adverse, conçue pour trouver la faute, se classe troisième.
- Trois étapes n’ont enregistré aucun échec : la pré-image (sur 759 lignes), le reçu de lane et la red-proof. Un zéro est ambigu, car il peut signifier que rien n’a échoué ou que les échecs n’y sont pas enregistrés, et l’enregistrement seul ne dit pas lequel.
- Comment lire ce chiffre : un échec enregistré montre qu’un contrôle s’est déclenché pendant le travail. Nous ignorons si le défaut serait arrivé en production.
La couverture a varié de mois en mois : tout chiffre avant la clôture est une borne basse
L’enregistrement couvrait 49,6 % des plans en août, 99,9 % en septembre et 100 % en octobre, tandis que la part des plans en échec passait de 7,2 % à 36,9 %, puis à 9,0 % (voir Figure 3) [1].
La couverture règle un point : août ne se compare pas aux autres mois, car la moitié des plans n’avait aucun enregistrement et leurs échecs n’ont jamais été comptés. Elle n’explique pas le pic de septembre. Doubler la couverture pouvait à peu près doubler la part d’échecs, et cette part a été multipliée par cinq ; octobre, couvert tout aussi complètement, retombe à 9,0 %. Nous ne savons pas pourquoi septembre ressort, et nous n’en tirons aucune conclusion.
- Août : la couverture est trop faible pour comparer avec les mois suivants.
- Septembre et octobre : la couverture est presque complète, ce qui en fait les deux seuls mois comparables. La baisse de 36,9 % à 9,0 % est réelle dans les enregistrements, et nous n’avançons aucune cause.
- Conséquence : tout agrégat avant clôture est une borne basse, à lire surtout sur septembre et octobre.
Le pic de septembre reste inexpliqué.
Après la clôture, 11 à 66 plans portent probablement un défaut ultérieur
Un rapport de bug ultérieur cite 190 des 2 661 plans clos (7,1 %), mais une citation est un signal faible, donc nous avons lu un échantillon aléatoire de 30 liens entre rapports de bug et plans [1].
- La lecture : 5 défauts réels, 10 simples références, 11 problèmes d’outillage ou de test et 4 cas flous.
- Le taux : 5 sur 30 font 17 %, avec un intervalle de confiance à 95 % de 6 à 35 %. Appliqué aux 190 plans cités, cela donne 11 à 66 plans, soit 0,4 % à 2,5 % des plans clos.
- Le point central : 17 % donnerait environ 32 plans. Nous citons la fourchette, car un chiffre unique prétendrait plus que ce que 30 cas permettent.
- Le premier échantillon : un premier lot d’une dizaine de rapports, jugé « majoritairement réel », était biaisé. Sur le tirage aléatoire, le chiffre est tombé à 17 %.
La fourchette est le résultat.
Aucun taux d’interception n’est publiable, et quatre conditions l’expliquent
Notre premier visuel divisait les défauts interceptés par la somme des interceptés et des échappés, et donnait 60 à 70 %. Nous l’avons retiré. Ce qui le remplace est plus court : le harnais rapporte ce qu’il voit, et ce qu’il empêche reste non mesuré. Quatre conditions manquent pour dire plus.
- Pas de contrefactuel. Rien ne compare les mêmes plans avec et sans harnais, donc nous ne savons pas ce qui se serait passé.
- Pas de lien causal mesurable. Seuls 25 plans sont à la fois enregistrés en échec et cités par un rapport de bug ultérieur. Parmi les plans avec un échec enregistré, 5,5 % ont été cités ensuite, contre 7,5 % pour les autres. Cet écart n’est pas significatif, et le rapport des deux taux, calculé mois par mois, va de 0,41 à 0,88.
- Couverture variable. L’enregistrement couvrait la moitié des plans en août et presque tous ensuite.
- Liens peu fiables. Seuls 6 à 35 % des liens entre rapports de bug et plans sont justes.
Voici un tableau que nous pouvons réutiliser tel quel.
| Ce que nous pouvons dire | Ce que nous ne dirons pas |
|---|---|
| 16,6 % des plans clos (443 sur 2 661) avaient au moins un échec de vérification enregistré avant la clôture. | « Le harnais intercepte X % des défauts. » |
| Après la clôture, 11 à 66 plans portent probablement un défaut ultérieur signalé. | « 190 plans étaient défectueux. » |
| Sur nos 48 garde-fous, 14 ne laissent aucune trace exploitable. | « Septembre montre une dégradation de la qualité. » |
| Nous ne savons pas encore quel modèle d’IA est le plus fiable dans ce cadre : l’information n’est pas enregistrée. | « Les modèles X sortent plus souvent du cadre que les modèles Y. » |
48 garde-fous, 14 sans trace : le point faible est l’observabilité
Nous avons réparti les 48 garde-fous en trois classes de trace, numérotées dans l’ordre du pipeline : 9 tiennent un compteur de déclenchements, 25 laissent une trace indirecte que nous ne pouvons que déduire d’autres enregistrements, et 14 ne laissent aucune trace exploitable [1]. Le point faible est l’observabilité. Un garde-fou sans trace peut très bien fonctionner, mais nous ne pouvons ni le prouver ni le mesurer.
Sept comptes d’activité donnent une idée de ce que les traces montrent.
- Fraîcheur : 24 plans périmés sur 797 sondés.
- Resoumissions : 1 169 resoumissions et 481 plans abandonnés, 85 % des resoumissions intervenant en moins de 7 jours. La cause n’est pas enregistrée.
- Barrière : 37 STOP sur 13 runs, avec 547 chemins signalés.
- Porte de règles : en échec sur 43 plans.
- Freeze : 81 candidats gelés jamais promus (avec une preuve vide), 36 promus et 7 prêts.
- Preuves différées : 163, dont 129 en retard, parmi lesquelles 105 de navigateur et 21 de contrôles live. Les 3 restantes ne sont pas attribuées.
- Rejeu vérité terrain : 90 FAIL sur 2 336 lignes, dans un seul run, donc nous ignorons sa représentativité.
Vu n’est pas prouvé.
Personne ne peut dire quelle lane a quitté son empreinte
Aucune table n’attribue une écriture hors de l’empreinte déclarée à une lane précise, et le modèle d’IA qui a exécuté une lane n’est enregistré nulle part. Nous ne pouvons pas comparer les modèles, ni compter combien d’implémenteurs écrivent hors de leur zone.
Pour les six plus gros STOP (90, 69, 83, 81, 50 et 35 fichiers), nous avons lu les causes à la main.
- Non attribué : deux STOP, de 90 et 69 fichiers.
- Clôture de résidu : un STOP, de 83 fichiers, où l’orchestrateur ferme un résidu mécanique.
- Pré-images suivantes : un STOP, de 81 fichiers, qui appartiennent à une vague ultérieure.
- Fusion refusée par l’outil : deux STOP, de 50 et 35 fichiers.
Notre lecture qualitative, que nous n’avons pas démontrée, est que la plupart des STOP viennent de l’orchestration : résidus déclarés et vagues qui se chevauchent. Les comptes obtenus par recherche textuelle sont un plancher.
Cinq erreurs dans notre propre méthode, corrigées avant publication
Chaque erreur ci-dessous a changé un chiffre ou une affirmation de cet article, et le tableau donne la correction appliquée.
| Erreur | Correction |
|---|---|
| Un ratio d’interception de 60 à 70 % dans notre premier visuel | Retiré, faute de contrefactuel et de lien causal mesurable |
| Un premier échantillon d’une dizaine de rapports de bug, jugé majoritairement réel | Remplacé par un tirage aléatoire de 30 cas : 17 % réels, intervalle à 95 % de 6 à 35 % |
| Un premier visuel qui ne couvrait que 14 étapes de vérification | Remplacé par l’inventaire des 48 garde-fous |
| Un libellé, « bloqués par revue », trompeur : une revue négative inclut aussi des prémisses réfutées | Renommé « revue négative » |
| Une recherche de plans de correction par titre, qui rendait 0 résultat | Remplacée par le signal « plan cité par un rapport de bug » |
Que demander à l’équipe qui construit vos outils avec des agents IA
Si votre entreprise fait construire ses outils métier par des agents, la décision qui découle de nos chiffres touche au délai et au risque : n’acceptez pas un bénéfice promis tant que l’instrument qui le mesurerait n’existe pas. Nous ne donnons aucun montant en euros, faute de mesure pour l’étayer.
- Instrumenter avant de promettre. Demandez ce qui est enregistré aujourd’hui, avant toute affirmation de gain.
- Demandez quels contrôles laissent une trace et lesquels n’en laissent pas. Dans notre cas, la réponse est 34 sur 48 avec une trace, et 14 sans.
- Séparez ce qui est vu avant la livraison de ce qui remonte après. Pour nous, c’est 16,6 % d’un côté et 11 à 66 plans de l’autre, deux grandeurs différentes.
- Refusez tout taux d’interception qui arrive sans contrefactuel.
Notre propre prochaine étape est un plan de télémétrie, soumis à notre registre le 4 novembre 2026 et revu par un agent adverse.
- Une table appelée
harness_firingsenregistre, pour chaque déclenchement : le garde-fou, le résultat, la cause, le run, le plan, la lane et le modèle d’IA. - L’écriture se fait au mieux et ne modifie jamais le code de sortie d’un outil existant. Le rapport est en lecture seule.
- La revue a corrigé quatre points : isoler les tests sur une base de travail, n’émettre que depuis un registre live, ne dériver que les causes que la barrière calcule déjà, et dire que seule une dizaine des 48 garde-fous recevront un émetteur, les autres étant étiquetés « non instrumentés ».
- Le plan n’est pas approuvé : l’approbation appartient à un humain.
- Deux questions restent ouvertes : enregistrer le modèle pour chaque lane ou seulement pour les lanes sensibles, et rendre lisibles par une machine les raisons d’arrêt du freeze.
Un premier jeu de données exploitable demandera plusieurs vagues d’exploitation.
Cinq choses que nous ignorons
- Le taux d’interception du harnais.
- Quel modèle d’IA implémente le mieux dans ce cadre.
- Combien d’implémenteurs écrivent hors de leur zone.
- L’efficacité des 14 garde-fous sans trace.
- La représentativité du rejeu vérité terrain, puisqu’il provient d’un seul run.
D’ici là, nous rapportons ce que nous voyons.
Cet article repose sur un seul jeu de données interne : un projet, une équipe, trois mois. Il n’y a pas de groupe témoin. Le lien entre rapports de bug et plans repose sur un échantillon de 30 cas, le rejeu sur un seul run, et les causes des STOP ont été lues à la main sur les six plus gros seulement. La base de développement utilisée contient le registre complet, et la production n’a pas été utilisée. Les chiffres ont été produits par des agents IA et recoupés par d’autres agents (sous-agents Haiku pour les contre-vérifications, un agent Opus pour l’inventaire), et n’ont pas fait l’objet d’un audit indépendant.
Méthode : la source est le registre devflow (plans, vérifications, rapports de bug, candidats de release, preuves différées). Les outils sont des requêtes SQL en lecture seule et les journaux de runs. Les garde-fous de la mesure sont un tirage aléatoire de 30 cas, un intervalle de confiance à 95 % et la rétractation du ratio sans fondement.
Pour aller plus loin : la même discipline du déclaré, du mesuré et de l’inconnu appliquée à la vitesse, à la puissance et au prix d’un modèle, dans La frontière tourne au gaz. L’essentiel de l’IA de bureau peut s’en passer..
Sources
- Junyr, registre devflow et journaux de runs, mesures du 4 novembre 2026, documents internes, non publics.
- Junyr, L’ingénierie de harnais : la couche logicielle qui transforme un modèle en agent, article de blog, 20 septembre 2026.
- Junyr, Orchestration frugale : cinq règles tirées de la facture d’une session multi-agents, article de blog, 27 septembre 2026.
- Junyr, Retirer Git du flux actif sans perdre le rollback : notre pilotage par roadmap, article de blog, 15 juillet 2026.
Questions fréquentes
Un harnais d'implémentation IA réduit-il les défauts ?
Nous ne pouvons pas le dire. Notre harnais enregistre les échecs qu'il voit, mais nous n'avons ni contrefactuel ni lien causal mesurable entre un garde-fou et un défaut évité, donc aucun taux d'interception n'est publiable.
- 443 plans sur 2 661 (16,6 %) avaient au moins un échec de vérification enregistré avant la clôture.
- Les plans avec un échec enregistré ont été cités ensuite par un rapport de bug dans 5,5 % des cas, contre 7,5 % pour les autres, un écart non significatif.
- Notre premier ratio d'interception, de 60 à 70 %, a été retiré.
Quelle part des changements produits par des agents IA échoue à un contrôle avant la clôture ?
16,6 % : 443 des 2 661 plans clos entre août et octobre 2026 avaient au moins une vérification en échec enregistrée. C'est une borne basse, car l'enregistrement ne couvrait que 49,6 % des plans en août, et elle se lit surtout sur septembre et octobre.
- Le lint (14,1 %) et pytest (13,1 %) échouent le plus souvent ; la revue adverse arrive troisième avec 8,4 %.
- Près des deux tiers de ces 443 plans (63,7 %) portaient encore un contrôle rouge à leur clôture.
- L'enregistrement couvrait 99,9 % des plans en septembre et 100 % en octobre, ce qui fait de ces deux mois les seuls lisibles.
Pourquoi le taux d'interception d'un harnais est-il difficile à mesurer ?
Parce que quatre conditions manquent : un contrefactuel, un lien causal mesurable, une couverture d'enregistrement stable et des liens fiables entre rapports de bug et plans.
- Sans exécution qui contourne le harnais, nous ne savons pas ce qui se serait passé.
- Seuls 25 plans sont à la fois enregistrés en échec et cités par un rapport de bug ultérieur, et l'écart de 5,5 % contre 7,5 % n'est pas significatif.
- Dans un échantillon aléatoire de 30 cas, 6 à 35 % seulement des liens entre rapports de bug et plans étaient justes.
Que doit enregistrer une entreprise pour mesurer son harnais ?
Pour chaque garde-fou, le résultat, la cause, le run, le plan, la lane et le modèle d'IA, écrits dans une seule table au mieux de ce que l'outil permet.
- Notre plan est une table appelée harness_firings, alimentée sans jamais modifier le code de sortie d'un outil existant.
- Aujourd'hui, 14 de nos 48 garde-fous ne laissent aucune trace exploitable, et le modèle d'IA qui a exécuté une lane n'est pas enregistré.
- Une dizaine seulement des 48 garde-fous recevront un émetteur ; les autres seront étiquetés non instrumentés.
Les modèles d'IA sortent-ils souvent de leur zone autorisée ?
Nous l'ignorons. Aucune table n'attribue une écriture hors de l'empreinte déclarée à une lane précise, et le modèle qui a exécuté chaque lane n'est enregistré nulle part.
- Nous avons lu à la main les causes des six plus gros STOP de la barrière : deux non attribués, une clôture de résidu, un lot de pré-images suivantes, deux fusions refusées par l'outil.
- Notre lecture qualitative, non démontrée, est que la plupart des STOP viennent de l'orchestration.
- Les comptes obtenus par recherche textuelle sont un plancher.