Blog de développement

60 – Claude (cloud) vs Qwen local (strixite) : un refactor réel, jugé à la loyale

Dernière modification : 2026-11-13

Novembre 2026. Même tâche, deux moteurs, un livrable qu'on peut tenir dans la main. Honnête — un run chacun, variance non mesurée.

La tâche : pas un benchmark de salon

Pas de puzzle synthétique. Une vraie corvée de migration :

porter un automate Windows hérité — un script VBS qui enchaîne un script Playwright — qui enregistre des colis à l'international sur le site Japan Post, tamponne les bordereaux PDF, calcule les tarifs et prépare un mail. Vrai site, vrais PDF, vraies données.

Le livrable final est un PDF (déclaration tamponnée + bordereaux fusionnés) qu'on imprime. On peut donc le regarder et juger au millimètre.

Le dispositif

Qwen (local)Claude (cloud)
ModèleQwen3.8-Flash-NextClaude Opus
Moteurstrixite (HIP, gfx1151, ~56-70 t/s)API Anthropic
Agentqwen-code (natif OpenAI, sans pont)Claude Code
Coût marginal~0 (local, privé)facturé / abonnement

Règle d'équité : même prompt, même source, mêmes garde-fous (anti-vision : « PDF via pdftotext, jamais d'image »), même barre de test et de fidélité. La seule variable voulue d'un côté, c'est le couple moteur+agent.

L'exigence « à la loyale » (le test in fné) : un run ne compte que si le modèle écrit ET exécute lui-même ses propres tests, avec des preuves de fidélité mesurées. Un port supposé marcher, sans tests lancés, est un run invalide.

Les résultats

1. Le portage brut : les deux tiennent

Les deux ont produit un paquet Python fidèle et exécutable, loin d'une simple « linuxisation des chemins » : ré-architecture en modules (automate / bordereaux / cli / config…), options typées, CLI propre, tout en conservant la logique de navigation d'origine (mêmes sélecteurs du site).

  • Qwen : 98 tests unittest écrits et exécutés, fidélité 0,00 pt, polices sous-ensemblées. Le plus testé du banc.
  • Claude : 17 tests unitaires + un test d'automate contre un faux site local (le seul run à valider l'automate hors-ligne).

2. Le jugement du code : l'écart est là

C'est là que le cloud se distingue — non par la transcription, mais par l'audit :

  • Le bug de tarif (le script d'origine lit la colonne surface au lieu d'air) : les deux le repèrent et le signalent.
  • Un bug de données (adresses de la Réunion codées « 78400 » au lieu de 974xx) : seul Claude le capte. Qwen le recopie et bâtit sa logique dessus.

Claude joue l'ingénieur qui audite ; Qwen (via qwen-code) joue le testeur rigoureux qui signale un bug de logique — déjà beaucoup — mais ne remonte pas jusqu'au bug de données.

3. Le livrable PDF : quasi-égalité, Claude d'un cheveu

Sur la lecture et le tamponnage du PDF (le cœur visible), c'est presque l'égalité parfaite. Tout est juste des deux côtés sauf un détail, chez Qwen :

une petite barre oblique doit biffer un .00 dans la colonne « Total Value », orientée vers le haut. Qwen la dessine vers le bas et rate sa cible. Claude la fait correctement.

Défaut localisé au cordeau (pdfstamp.py : le glyphe de biffe est tourné avec le mauvais signe de rotation + un léger décalage). Mineur, isolé, corrigeable en quelques lignes — mais c'est le seul écart de rendu entre les deux.

4. Robustesse de l'automate : un incident, pas un verdict

Sur les runs live : un timeout de 60 s côté Claude sur le 2ᵉ envoi (le champ poids total du site a mis trop longtemps à apparaître) ; Annie passée, Marie-claire en échec, puis OK à la relance sans rien changer. Qwen a passé les deux du premier coup.

Honnêteté : un seul incident, code inchangé qui repasse ensuite → c'est très probablement de la « flakiness » du site (un hoquet de latence au-delà de la limite de 60 s), pas une faiblesse structurelle du port Claude. À confirmer seulement si ça se répète.

Hors sujet : l'impression

Ni Qwen ni Claude n'ont imprimé correctement — mais l'imprimante a été installée après les deux runs : aucun ne pouvait en connaître les conditions (sous Linux, aucune file CUPS ne sait réduire un PDF à 90 % — il faut le faire dans le code via Ghostscript). Ce n'est donc pas le juge de paix. Correctif appliqué aux deux ports après coup.

La lacune partagée : les interactions

Aucun des deux ne reproduit vraiment l'expérience des InputBox du VBS : cartouche à l'écran, valeur par défaut préremplie. Les deux se rabattent sur des invites au terminal qui ne reprennent pas in extenso les interactions GUI d'origine. Un angle d'amélioration commun, non traité.

Le verdict

CritèreQwen (strixite, local)Claude (cloud)
Portage fidèle + runnable✅ (98 tests, 0,00 pt)✅ (17 tests + faux site)
Signale le bug tarif✅✅
Capte le bug données (Réunion)❌✅
Tamponnage PDFquasi-parfait (1 défaut : la biffe)✅ parfait
Robustesse automate2/2 du 1er coup1 timeout (puis OK) — flakiness ?
Interactions VBS❌ partiel❌ partiel
Impressionhors critèrehors critère

Quasi-parité sur le livrable, Claude devant d'un cheveu (la biffe + l'audit métier). Et c'est là l'information intéressante : un Qwen local — ~56-70 t/s, gratuit, privé, open-source — arrive à portée de main d'Opus sur une tâche d'ingénierie réelle. L'étalon à battre, pour nous, c'est désormais strixite + Qwen ; on cherche mieux, et « un peu moins bien » reste acceptable si les à-côtés (local, ouvert, débit, confidentialité) penchent dans le bon sens.

La leçon qui dépasse le match

Le point le plus durable n'est pas « qui gagne », c'est :

à modèle égal, changer d'agent déplace le résultat autant que changer de modèle.

Le même Qwen passe de transcripteur silencieux (piloté par Claude Code, dans une variante antérieure) à testeur qui signale un bug métier (piloté par qwen-code). Le harnais — l'agent, le prompt, la barre de tests imposée — pèse autant que les poids du réseau. Quand on compare des « IA qui codent », on compare en réalité des couples modèle+agent, et l'oublier fausse tout.

Un run par camp, pas d'étude de variance. Les deux ports sont figés comme artefacts de référence (le défaut de biffe de Qwen est documenté, non corrigé, à dessein).