IAGentic

Journal de veille sur l'usage appliqué de l'IA, chez soi et en entreprise : ce qu'on lui fait faire, ce qu'il faut pour commencer, ce que ça coûte et où ça casse.

outil

OpenAI confie à Codex la chasse aux régressions de ChatGPT

OpenAI décrit le 19 novembre la Performance Factory, un système qui fait tourner des sessions Codex dans son cloud sur les régressions de performance de ChatGPT. Une alerte ouvre une tâche, un agentIA agentiqueModèle qui boucle : il choisit une action, le plus souvent un appel d'outil, en lit le résultat, puis recommence jusqu'à l'objectif ou l'abandon. La boucle est ce qui distingue un agent d'une réponse unique.Fiche du lexique cherche la cause, une seconde session Codex tente de réfuter son diagnostic, un ingénieur valide le correctif, un troisième agent vérifie le retour à la ligne de base. En un peu plus de trois mois, ce premier flux a suivi plus de 1 700 enquêtes et trouvé la cause racine dans plus de 600 cas, soit 17 enquêtes automatisées par jour.

par Gyom 20 novembre 2026 à 13:02 6 min de lecture rubrique : Automatiser

etiquettes : En entreprise · Hébergé · Coût

Rosace de pétales cyan et crème, logo OpenAI stylisé, sur aplats magenta et jaune et trame d'imprimerie

ChatGPT sert des millions de conversations, et une lenteur qui s'installe se voit avant qu'on sache d'où elle vient. Jusqu'ici, un ingénieur ouvrait les métriques, comparait des traces, relisait le code du service suspect et redescendait jusqu'au commit fautif. OpenAI raconte comment ce travail est passé à des agents, dans une note d'ingénierie publiée le 19 novembre.

1 700 enquêtes en trois mois, 600 causes racines

Le Regression Workflow, premier flux construit dans la Performance Factory, a suivi plus de 1 700 enquêtes depuis sa mise en service et identifié la cause racine dans plus de 600 cas. Rapporté à la période, cela fait 17 enquêtes automatisées par jour. L'équipe avait accumulé plus de trente outils de performance avant l'arrivée de Codex : profileurs processeur, profileurs d'allocations, analyseurs de traces, et le reste.

Le point de départ est une alerte sur un seuil. Le point d'arrivée est une vérification, après déploiement, que la métrique est revenue à sa valeur d'avant. Entre les deux, cinq étapes : détection, recherche de la cause, proposition de correctif, revue et déploiement par un ingénieur, vérification du rétablissement.

Quatre pièces, dont une qui ne fait que répartir le travail

Le système tient en quatre composants. Un service de tâches où les ingénieurs déclarent des flux sous forme de fichiers de configuration, une boucle de répartition qui attribue à un agent la tâche prête pour l'étape suivante, une API interne qui lance un tour de Codex dans le cloud, et des abonnements qui réveillent une tâche quand un événement arrive.

Une seconde session Codex pour réfuter le diagnostic

Les agents s'arrêtaient d'abord à la première explication plausible, et certaines de ces explications étaient fausses. OpenAI a donc ajouté une revue adversariale : une session Codex séparée reprend les hypothèses et cherche à les casser. Si un déploiement est soupçonné, les requêtes non exposées sont-elles restées saines. Si le changement a été annulé, la métrique est-elle revenue.

Un cas cité montre le garde-fou en action. Un agent avait relié des conversations ChatGPT en échec à des erreurs de téléchargement d'images et déclaré la cause trouvée. Le réviseur a remarqué que le service interne chargé de localiser les fichiers était déjà rétabli alors que les requêtes d'images échouaient encore. Le diagnostic n'expliquait pas la panne qui continuait, la tâche a été rouverte avec ce qui restait à établir.

Sur 100 diagnostics relus à la main, 70 jugés exacts

La mesure existe et elle est sévère. Sur 100 suggestions de cause racine relues manuellement par l'équipe, 70 ont été notées exactes, 30 demandaient un complément ou n'établissaient pas la causalité. L'évaluation sépare d'ailleurs deux choses : le moment où le problème a commencé, son ampleur et les requêtes touchées d'un côté, l'usage des preuves pour classer les causes possibles de l'autre. Un agent peut tomber juste sur l'heure et accuser le mauvais déploiement.

Le correctif tient moins bien que le diagnostic

OpenAI le dit sans détour : trouver la cause est plus facile que la corriger. Des correctifs proposés sont plus compliqués que nécessaire, ou introduisent un nouveau problème. Une revue adversariale s'applique donc aussi aux correctifs, pour vérifier qu'ils traitent bien la cause identifiée. Certains cas demandent un arbitrage d'architecture qu'un agent ne peut pas prendre : ajouter un cache accélère le service et fait servir des données périmées.

Chaque tâche produit un rapport lisible par un ingénieur : résumé de la régression, impact, cause racine, correctif proposé, séries temporelles, graphiques de flammes processeur et traces. L'ingénieur édite la demande de fusion ou écrit son propre correctif avec le diagnostic sous les yeux. S'il laisse un commentaire, le flux réveille un agent pour y répondre.

Une identité de service, les mêmes outils que l'ingénieur

Les agents tournent sous une identité de service, ce qui permet de borner leurs permissions et de distinguer leurs actions de celles des humains. L'accès porte sur les dépôts de code et sur l'observabilité de production : métriques, journaux, traces, profils processeur, instantanés de mémoire. Le travail en cloud autorise le parallélisme sans dépendre d'un portable ouvert, et sans gérer des machines de développement une par une.

Le levier est là. Une équipe de performance ne peut pas lire autant d'enquêtes qu'un parc d'agents peut en produire, et la première version du système lui donnait justement un écran plein de conclusions à trier. Le flux regroupe désormais les incidents liés, les classe par métrique et estime leur impact, pour que l'ingénieur passe son temps sur les arbitrages.

Relancer les incidents passés sans notes ni compte rendu

Changer de modèle ou retoucher une compétence d'investigation peut améliorer certains cas et en dégrader d'autres : OpenAI teste donc avant de mettre à jour. Les incidents de production passés servent de jeu d'essai, relancés avec le signal d'origine expurgé de ce qui donnerait la réponse. L'agent ne peut pas consulter de notes d'enquêtes antérieures, ni le compte rendu de l'incident, ni les résultats des passages précédents, et sa transcription est relue après coup.

La contrainte est technique autant que méthodologique : les métriques et les traces expirent, et les preuves collectées après le rétablissement trahissent la cause. Les résumés produits pour l'ingénieur se testent à part, sur des copies de tâches, avec un correcteur distinct qui vérifie si quelqu'un qui ne connaît pas le système comprend ce qui s'est passé.

Un agent par jour pour surveiller les agents

Un profileur cassé ou une permission manquante bloquent une enquête, et ce genre de panne se voit mal dans un rapport final. Un agent passe donc chaque jour sur les messages et les journaux des passages récents pour repérer les échecs d'outils et les erreurs d'accès, puis ouvre une tâche de correction quand la même erreur bloque plusieurs enquêtes. La Performance Factory se répare avec elle-même.

La suite annoncée sort du cadre de l'alerte : repérer les ralentissements et les optimisations sans qu'aucun seuil n'ait été franchi, en comparant des lots de profils, des vidages de tas et des traces entre versions. Un agent pourrait y voir une hausse modeste de processeur par requête, ouvrir une tâche, remonter à la cause et proposer la correction. OpenAI explore aussi la livraison de correctifs à faible risque sans relecture humaine, ce qui déplacerait la question du diagnostic vers celle du périmètre qu'on accepte de laisser à la machine.

Source primaire OpenAI, « How OpenAI's Performance Factory keeps ChatGPT fast », 19 novembre 2026

Retour au journal