Blog de développement

61 – Un modèle, un moteur, deux harnais : ce qui a vraiment fait la différence sur Japan Post

Dernière modification : 2026-11-15

Novembre 2026. Dix-huit portages du même automate en quinze jours. Celui-ci ne sert pas à déclarer un gagnant de plus, mais à mesurer ce que le billet 60 avait seulement deviné.

Ce que le billet 60 avait laissé en suspens

Le billet précédent opposait Claude Opus (cloud) à Qwen 3.8-Flash-Next servi par strixite, et finissait sur une quasi-parité, Claude devant d'un cheveu — une barre oblique mal orientée et un bug de données non remonté. Il se terminait par une affirmation qui, à relire, valait plus qu'elle n'était prouvée :

À modèle égal, changer d'agent déplace le résultat autant que changer de modèle.

Depuis, huit portages de plus sont passés par là, et l'un d'eux a été monté exprès pour tester cette phrase : même moteur, même modèle, même tâche, deux harnais. C'est le cœur de ce billet. Le reste — les dix-sept autres dossiers — sert de décor, et de section « ce qui a cassé ».

Le dispositif, et ce qui compte comme preuve

La tâche n'a pas bougé d'un pouce depuis le billet 60 : remplacer JapanPost_vbs.vbs (1 762 lignes mesurées) et le script Playwright qu'il appelait (582 lignes) par un CLI Python sous Linux, qui tamponne les bordereaux, fusionne, imprime, maille. Le livrable reste un PDF que l'on peut regarder, donc jugé.

Ce qui compte comme preuve n'a pas changé non plus :

  • un run ne vaut que si le modèle écrit et exécute lui-même ses tests ;
  • la fidélité du tamponnage est mesurée contre un PDF réellement produit par Persits sous Windows, pas contre le source du VBS ;
  • la racine de données est en lecture seule, et le bouton « Register Shipment » — qui enregistre un envoi réellement facturé — n'a jamais été cliqué.

Entre le 1ᵉʳ et le 15 novembre, dix-huit dossiers de portage ont été produits. Trois portent _crash_ dans leur nom, un est vide. Le banc est complet, on garde tout.

L'A/B : même moteur, même modèle, deux harnais

Le 15 novembre, deux portages sont sortis du même moteur local — Halogen, qui sert notre Qwen 3.8-Flash-Next sur le Beelink — sur la même tâche et avec les mêmes garde-fous. Le seul facteur qui change, c'est le harnais agentique.

OpenCode + HalogenQwen Code + Halogen
Fichiers Python1331
Lignes de Python1 9394 336
Fonctions de test rejouables081
Modules de testaucun7 (test_stamp_geometry, test_vbslib, test_fonts, test_rename, test_selfcheck, test_pipeline_bordereau, test_pdf_text_diff)
Auto-contrôles chiffrésoui (tools/selfcheck.py, tout passe)oui (tools/pdf_text_diff.py, 3 paires de référents)
Biffe à 25°correcte, mesurée au 0,002 ptcorrecte, verrouillée par un test nommé

Soyons exacts, parce que le raccourci serait injuste : OpenCode ne livre pas un travail non vérifié. Son selfcheck.py passe, ses écarts sont mesurés sous tolérance, et il rend la biffe inclinée au 0,002 pt près. Il ne livre pas de suite. La différence n'est pas entre vérifié et non vérifié, elle est entre vérifié aujourd'hui et vérifié demain.

Et c'est là que le harnais pèse. Qwen Code repart de la même matière et produit deux fois et demie plus de code, dont un répertoire tests/ qui se relance. Sur un portage dont l'ennemi est le détail de rendu, un test qui tourne encore dans six mois n'a pas la même valeur qu'un contrôle qui a tourné une fois.

Le défaut qui avait fait perdre le match est corrigé, et surtout verrouillé

Le billet 60 ne perdait que sur un point : la petite barre qui biffe le .00 de la colonne « Total Value » partait vers le bas au lieu du haut, et ratait sa cible. Le correctif, aujourd'hui, n'est pas une ligne changée, c'est une décision tranchée à l'exécution :


Persits  angle=25  ->  morph = (Point(x, H-y), Matrix(+25))
rendu attendu : origin (274,23 ; 338,74)  direction (0,9063 ; -0,4226)
Matrix(-25) rend  : origin (265,78 ; 338,74)  direction (0,9063 ; +0,4226)
                    

Matrix(-25) — le sens intuitif, celui qu'on écrit par réflexe — produit le miroir exact du bon rendu. Le banc contient maintenant un test qui s'appelle test_dash_25_degrees_direction et qui échouerait si quelqu'un « corrigeait » le signe un jour de nettoyage. Un bug corrigé se referme ; un bug verrouillé par un test ne se rouvre pas.

Les pièges que seul un test peut tenir

Le terrain de ce portage est fait de pièges qui ne ressemblent pas à des bugs. Chacun a coûté un run à quelqu'un, et chacun est devenu une ligne de test :

  • InStr du VBS est 1-based, et InStr(s, "") vaut 1 — une conversion naïve en find() décale tout d'un caractère, ou traite le cas vide à l'envers ;
  • le y de DrawText n'est ni la ligne de base ni le bas de boîte : c'est le bord haut de la boîte de ligne, d'où baseline = H - y + taille, avec un interligne de exactement 1 × taille ;
  • insert_font sur un .ttc Noto CJK embarque la police entière (~20 Mo) si l'on ne sous-ensemble pas, et la face JP est l'index 0 ;
  • le pdftotext de poppler rejette -bom, -table et -cfg que le binaire Windows du VBS utilisait (code retour 99) — il faut -layout, et le vérifier, pas le supposer.

Aucun de ces pièges ne distingue un bon modèle d'un mauvais : ils distinguent un run qui a exécuté d'un run qui a écrit.

La fidélité, mesurée

Le modèle de coordonnées n'est pas déduit du VBS, il est relevé sur des bordereaux estampillés sous Windows, par soustraction du brut et du estampillé. Les spans ajoutés par Persits doivent tous réapparaître dans notre production :

Paire (brut ↔ référence Persits)Spans ajoutésRésultat
20261030_153120_UN058416038JP4242 OK / 0 défaut, filets 1/1, images 1/1
20261030_153229_UN058359582JP3535 OK / 0 défaut, filets 1/1, images 1/1
20260914_192316_UN056840275JP3434 OK / 0 défaut

Écart de position : 0,00 pt. La hauteur de page est mesurée sur le PDF (841,68 pt), jamais supposée A4. Le seul écart qui reste est la longueur du filet de soulignement : +3,79 pt (151,298 contre 147,504), parce que le texte de remplacement est rendu par une police de substitution plus large que l'originale. Ce n'est pas une faute de l'agent, c'est une faute de typographie, et le correctif ne demande pas de code : déposer les trois polices Windows.

Ce que le banc dit aussi, et qu'on n'a pas envie de dire

Quatre choses, dans l'ordre de ce qui dérange le plus.

  1. Rien n'a jamais touché le vrai site. Aucun des dix-huit portages n'a cliqué « Register Shipment ». Le comportement en conditions réelles de l'automate reste non prouvé, pour tous les camps, y compris celui qui gagne ici.
  2. Le nombre de tests n'est pas une propriété d'un modèle, c'est une propriété d'un run. Le même couple harnais + moteur a produit 72, puis 81, puis 151, puis 39 fonctions de test selon les sessions. Comparer des compteurs de tests entre camps sans tenir le harnais, c'est comparer du bruit. Ce qui tient, c'est la comparaison à harnais constant, ou l'existence de la suite — pas sa taille.
  3. Halogen n'est ni le plus rapide ni l'ouvert. Le billet 59 le disait déjà publiquement : strixite décode plus vite (~56–70 t/s contre ~45) et il est sous AGPL, là où Halogen est un binaire sous EULA. On ne l'a pas choisi pour ça, on l'a choisi parce qu'il sert le GGUF de 111 Go déjà sur le disque, expose une API Anthropic en plus d'OpenAI, et se monte en un conteneur. Ce sont des raisons de montage, pas de supériorité.
  4. Trois runs ont cassé, un n'a rien produit. Un dossier vide, un plantage à 128k de contexte, un hipErrorLaunchFailure côté GPU, un run interrompu. Un banc sans ses échecs ne mesure rien.

Le verdict

CritèreQwen Code + HalogenOpenCode + HalogenClaude + Claude Code
Portage complet et exécutableouiouioui
Suite de tests rejouable81019
Auto-contrôles chiffrésouiouipartiel
Biffe 25°correcte + testcorrectecorrecte
Fidélité mesurée0,00 ptsous tolérance 0,5 pt0 écart
Débit du moteur~45 t/s~45 t/sdistant
Coût marginal~0 (local)~0 (local)facturé

Le gagnant de ce billet n'est pas un moteur. C'est un couple : Qwen Code comme harnais, Qwen 3.8-Flash-Next comme modèle, Halogen comme montage local. Et si ce couple l'emporte, ce n'est pas parce que le modèle y devient plus intelligent — c'est parce que le harnais lui impose d'écrire une suite, de la faire tourner, et de laisser derrière lui de quoi vérifier qu'il ne s'est pas trompé.

La leçon qui dépasse Japan Post

Changer de moteur coûte un conteneur, 111 Go de poids et une après-midi. Changer de harnais coûte un prompt et une exigence. Sur ce banc, la deuxième dépense a déplacé deux fois plus de résultats que la première.

La seconde leçon est la plus utile, parce qu'elle ne parle pas d'IA : un livrable d'agent ne se juge pas à ce qu'il fait la première fois, mais à ce qu'il garantit la dixième. Le selfcheck d'OpenCode avait raison le jour où il est passé. Le test_dash_25_degrees_direction de Qwen Code aura raison la prochaine fois qu'on touchera au signe d'une matrice.

Prochaine étape, et elle est la même depuis le billet 60 : le run supervisé contre le vrai site, avec le bouton qu'on n'a jamais osé cliquer.