Le modèle passe, le harness reste

Le 1er septembre 2026, Anthropic publiait Claude Fable 5.1. Le lendemain, Google sortait Gemini 3.8 Flash, et le jour suivant OpenAI dévoilait Astra. xAI suivait le 21 avec Grok 4.7^[1][2]. Le 22, Anthropic revenait avec Opus 5.5, qui égale Fable 5.1 sur l'essentiel des tâches pour un coût inférieur de 40 % à celui d'Opus 5^[3]. Cinq modèles frontier en trois semaines, sans compter les versions plus modestes publiées entre-temps.

Dans ce paysage, la question qu'on me pose le plus souvent en atelier sonne un peu à contretemps : « quel modèle faut-il choisir ? » Je la comprends. Pendant vingt ans, on a choisi une base de données, un langage ou un cloud pour une décennie, et on voudrait procéder de la même façon. Seulement, un modèle ne se choisit pas comme une fondation. Il s'use, il se remplace, et sa durée de vie se compte en mois. La question qui mérite qu'on s'y arrête porte sur ce qu'on construit autour, et sur ce qui en restera quand il sera parti.

Un an, à peu près

Inutile de croire les commentateurs sur parole : les fournisseurs publient eux-mêmes leurs calendriers de retrait. Chez Anthropic, Claude Sonnet 3.7, lancé en février 2025, a été retiré douze mois plus tard jour pour jour. Opus 4 et Sonnet 4 ont tenu treize mois, Opus 4.1 exactement un an. Pour ses modèles actuels, l'éditeur affiche un plancher de retrait fixé à un an après la sortie^[4]. Chez OpenAI, GPT-5, sorti en août 2025, a été déclaré obsolète dix mois plus tard et sera coupé le 11 décembre 2026 ; o3 disparaîtra le même jour, après vingt mois de service. Le cas extrême reste GPT-4.5 preview, retiré moins de cinq mois après son lancement^[5].

Le renouvellement s'accélère encore. Anthropic a publié six versions d'Opus entre novembre 2025 et septembre 2026^[4][3]. Chez Google, Gemini 3.6 Flash, présenté le 21 juillet, avait un successeur six semaines plus tard^[6][1]. Les préavis vont de soixante jours chez Anthropic à six mois environ chez OpenAI. Fin 2025, Anthropic a même pris des engagements formels sur la conservation des poids de ses modèles retirés, ce qui revient à reconnaître que les migrations forcées font partie du métier et qu'elles ont un coût^[7] : un composant central de nos systèmes change désormais à peu près une fois par an, qu'on le veuille ou non.

Le malentendu des 95 %

C'est avec ce calendrier en tête qu'il faut relire la statistique la plus commentée de 2025. Selon le projet NANDA du MIT, environ 95 % des pilotes d'IA générative en entreprise n'ont produit aucun effet mesurable sur le compte de résultat^[8]. Le chiffre a fait la une de Fortune et brièvement ébranlé les marchés^[9]. Il appelle des nuances. Les critiques ont fait remarquer, à juste titre, que tout pilote non déployé à l'échelle y compte comme un échec, et que le rapport décrit surtout des organisations mal armées pour évaluer, acheter et intégrer^[10]. Cette lecture corrigée m'intéresse davantage que le chiffre brut, parce que d'autres études la confirment. Gartner prévoit l'annulation de plus de 40 % des projets agentiques d'ici fin 2027, pour des coûts mal maîtrisés, une valeur jamais démontrée ou des risques mal contrôlés^[11]. Le MIT relève d'ailleurs que les solutions construites avec un partenaire spécialisé réussissent deux fois plus souvent que les développements internes improvisés^[8].

McKinsey fournit la mesure la plus parlante, parce qu'elle revient chaque année. En 2025, 88 % des organisations utilisaient l'IA quelque part, mais 39 % seulement en voyaient l'effet sur leur résultat. Parmi tous les facteurs étudiés, celui qui expliquait le mieux la valeur était la refonte des processus de travail, que seuls 21 % des adopteurs avaient engagée^[12]. L'édition d'août 2026 donne 37 % d'entreprises qui attribuent une part de leur résultat à l'IA, et une proportion de « high performers » toujours proche de 6 %. Huit répondants sur dix affirment pourtant que l'IA les rend plus productifs à titre personnel^[13]. Entre les deux enquêtes, les modèles ont été remplacés plusieurs fois et ont nettement progressé ; l'effet sur les comptes n'a pas bougé. La différence se joue autour du modèle, dans l'organisation et dans l'outillage.

Capacité et fiabilité

L'environnement compte davantage que le modèle parce que la capacité d'un modèle et la fiabilité d'un système sont deux grandeurs distinctes, qui ne progressent pas au même rythme. Le benchmark τ-bench de Sierra, devenu une référence pour les agents de service client, l'a montré le premier. Les meilleurs agents réussissaient moins d'une tâche sur deux, et ce taux tombait autour de 25 % quand on leur demandait de réussir huit fois de suite la même tâche^[14]. Une équipe de Princeton menée par Arvind Narayanan a depuis donné un nom à cet écart, le « capability-reliability gap ». Sur douze métriques de fiabilité appliquées à quinze modèles, près de deux ans de progrès spectaculaires des capacités n'ont apporté que de faibles gains de fiabilité^[15].

Attendre le modèle suivant ne suffira donc pas. L'écart se réduit avec ce qu'on installe autour du modèle : des règles, des vérifications, des garde-fous, des reprises sur erreur. Les Anglo-Saxons appellent cela le harness. Le mot désigne le harnais, celui qui permet d'atteler une force puissante mais imprévisible et d'en tirer un travail utile.

Ce qui prend de la valeur quand le modèle en perd

Le premier de ces actifs, ce sont les évaluations. Greg Brockman, président d'OpenAI, écrivait dès 2023 que les evals sont « étonnamment souvent tout ce dont vous avez besoin »^[16]. Drew Breunig est allé plus loin, dans une formule que je reprends volontiers : « votre eval est l'actif IA le plus précieux que vous possédiez, pas votre modèle, pas vos prompts »^[17]. Une suite d'évaluation qui décrit ce que votre métier appelle un travail bien fait vous rend maître du calendrier. Chaque nouveau modèle devient un candidat qu'on auditionne en quelques heures, et la migration imposée par un fournisseur se règle comme une formalité. Hamel Husain, dont les travaux font référence sur le sujet, observe que les produits d'IA qui échouent ont presque tous la même cause : l'absence d'un système d'évaluation solide^[18]. Les chercheurs de Berkeley qui ont étudié le « criteria drift » apportent un argument supplémentaire. Les critères d'évaluation n'existent pas avant l'usage : on les découvre en lisant ce que produit le système^[19]. Chaque organisation forge donc les siens, et personne ne peut les lui vendre tout faits.

Encore faut-il que ces evals vous appartiennent vraiment. Le 3 juin 2026, OpenAI a annoncé la fermeture de sa plateforme d'évaluation hébergée, de son Agent Builder et de son API de prompts réutilisables, tous trois coupés le 30 novembre. L'éditeur recommande de migrer les evals vers Promptfoo, un outil open source qui tourne en local ou dans la chaîne d'intégration continue^[20]. Les équipes qui avaient confié leurs jeux de test au fournisseur du modèle doivent désormais les déménager en même temps que lui : l'outillage d'un éditeur vit à son rythme, et le vôtre doit pouvoir s'en passer.

Le deuxième actif, c'est le contexte, et avec lui la mémoire de l'entreprise. Andrej Karpathy a popularisé l'expression « context engineering », qu'il définit comme « l'art délicat de remplir la fenêtre de contexte avec exactement la bonne information pour l'étape suivante »^[21]. Anthropic en a fait une discipline d'ingénierie à part entière, qui traite le contexte « comme une ressource finie au rendement marginal décroissant »^[22]. Ce contexte contient pour l'essentiel ce que l'entreprise sait : ses règles métier, ses conventions, sa documentation vivante, l'historique de ses décisions. Une fois structurée pour être servie aux agents au bon moment, cette mémoire sert au modèle d'aujourd'hui comme à tous ceux qui lui succéderont.

Le troisième actif est l'intégration, qui s'est standardisée en moins de deux ans. Le Model Context Protocol, lancé par Anthropic fin 2024 puis adopté par OpenAI, Google et Microsoft, a été confié en décembre 2025 à une fondation neutre placée sous l'égide de la Linux Foundation. On comptait alors plus de dix mille serveurs publics^[23]. Dans le même temps, le marché de l'outillage LLMOps croît de plus de 20 % par an^[24] : les connecteurs, eux aussi, survivent aux modèles qui les empruntent.

La recherche commence à chiffrer ce que le terrain pressentait. Sur SWE-bench Mobile, un benchmark bâti sur une base de code iOS de production, vingt-deux configurations d'agents ont été comparées. À modèle strictement identique, un facteur six sépare le meilleur harness du moins bon^[25]. L'environnement du modèle pèse désormais plus lourd que le passage d'une génération à la suivante. Stanford est allé un cran plus loin en traitant le harness comme un objet à optimiser. Sa boucle Meta-Harness confie à un agent de code le soin d'inspecter, de diagnostiquer et de réécrire le harness lui-même. Elle dépasse l'état de l'art de la gestion de contexte de près de huit points, avec quatre fois moins de tokens^[26]. Le harness se mesure, se conçoit et s'améliore, comme n'importe quel actif d'ingénierie.

Le manifeste de l'agentic factory

J'en tire quatre règles, que j'applique dans les projets que j'accompagne et qui forment le manifeste de ce que nous appelons une agentic factory.

La première : ne jamais se lier à un modèle. Toute architecture doit passer ce que j'appelle le test du remplacement. Si le fournisseur retire votre modèle lundi, vous devez pouvoir basculer en quelques jours, avec des evals pour prouver que rien n'a régressé. Si la bascule demande un mois ou plus, l'architecture a un problème.

La deuxième : budgéter les evals comme de l'infrastructure, à l'abri des arbitrages de planning. C'est le seul investissement IA dont la valeur augmente mécaniquement avec le temps, puisque chaque échec rencontré en production vient enrichir la suite de tests.

La troisième : traiter la mémoire et le contexte comme de la propriété intellectuelle. Ce que vos agents savent de votre entreprise vous appartient. Ce savoir doit être versionné, audité et transportable d'un modèle à l'autre comme d'un fournisseur à l'autre. Les evals et les prompts entrent dans ce périmètre, puisqu'on vient de voir qu'ils peuvent disparaître avec la plateforme qui les héberge.

La quatrième : industrialiser la boucle, au-delà du seul prompt. C'est elle qui fait d'une démonstration impressionnante un système dont on ose dépendre.

Pour qui a déjà subi une migration forcée, le titre de ce paper tient de l'évidence. Il a pourtant une conséquence budgétaire que peu d'organisations ont tirée : si le modèle est un consommable et le harness un actif, la répartition de l'investissement doit s'inverser. Moins d'énergie à suivre le classement de la semaine, davantage à construire ce qui permet de profiter de n'importe quel modèle. Septembre 2026 l'a montré mieux qu'aucun argument : cinq nouveaux modèles en trois semaines, et aucun n'a de raison de rester longtemps en tête. Les modèles passeront, c'est leur métier, et personne ne sait lequel remportera la prochaine manche. Le jour où il arrivera, ce qui comptera, c'est d'avoir déjà en main la seule chose qu'il ne vous apportera pas : la machine à en tirer de la valeur.