OpenAI confie à Codex la chasse aux régressions de ChatGPT
OpenAI décrit le 19 novembre la Performance Factory, un système qui fait tourner des sessions Codex dans son cloud sur les régressions de performance de ChatGPT. Une alerte ouvre une tâche, un agentIA agentiqueModèle qui boucle : il choisit une action, le plus souvent un appel d'outil, en lit le résultat, puis recommence jusqu'à l'objectif ou l'abandon. La boucle est ce qui distingue un agent d'une réponse unique.Fiche du lexique cherche la cause, une seconde session Codex tente de réfuter son diagnostic, un ingénieur valide le correctif, un troisième agent vérifie le retour à la ligne de base. En un peu plus de trois mois, ce premier flux a suivi plus de 1 700 enquêtes et trouvé la cause racine dans plus de 600 cas, soit 17 enquêtes automatisées par jour.
par Gyom 20 novembre 2026 à 13:02 6 min de lecture rubrique : Automatiser
etiquettes : En entreprise · Hébergé · Coût
ChatGPT sert des millions de conversations, et une lenteur qui s'installe se voit avant qu'on sache d'où elle vient. Jusqu'ici, un ingénieur ouvrait les métriques, comparait des traces, relisait le code du service suspect et redescendait jusqu'au commit fautif. OpenAI raconte comment ce travail est passé à des agents, dans une note d'ingénierie publiée le 19 novembre.
1 700 enquêtes en trois mois, 600 causes racines
Le Regression Workflow, premier flux construit dans la Performance Factory, a suivi plus de 1 700 enquêtes depuis sa mise en service et identifié la cause racine dans plus de 600 cas. Rapporté à la période, cela fait 17 enquêtes automatisées par jour. L'équipe avait accumulé plus de trente outils de performance avant l'arrivée de Codex : profileurs processeur, profileurs d'allocations, analyseurs de traces, et le reste.
Le point de départ est une alerte sur un seuil. Le point d'arrivée est une vérification, après déploiement, que la métrique est revenue à sa valeur d'avant. Entre les deux, cinq étapes : détection, recherche de la cause, proposition de correctif, revue et déploiement par un ingénieur, vérification du rétablissement.
Quatre pièces, dont une qui ne fait que répartir le travail
Le système tient en quatre composants. Un service de tâches où les ingénieurs déclarent des flux sous forme de fichiers de configuration, une boucle de répartition qui attribue à un agent la tâche prête pour l'étape suivante, une API interne qui lance un tour de Codex dans le cloud, et des abonnements qui réveillent une tâche quand un événement arrive.
- La tâche garde son état et ses conclusions en dehors du fenêtre de contextecontexteQuantité de tokens qu'un modèle peut lire d'un seul coup, question et réponse comprises. Au-delà, il faut découper, résumer ou chercher ailleurs.Fiche du lexique d'un agent, pour qu'un autre agent ou un ingénieur reprenne le travail après une revue ou un déploiement.
- La boucle de répartition vérifie périodiquement quelles tâches sont prêtes, puis démarre un tour de Codex avec les instructions de l'état courant.
- Le tour de Codex s'exécute dans un environnement du réseau d'OpenAI, avec accès aux dépôts et aux outils d'observabilité de l'équipe.
- Un abonnement à un commentaire de revue ou à un contrôle d'intégration en échec remet la tâche en file sans laisser tourner un agent dans le vide.
Une seconde session Codex pour réfuter le diagnostic
Les agents s'arrêtaient d'abord à la première explication plausible, et certaines de ces explications étaient fausses. OpenAI a donc ajouté une revue adversariale : une session Codex séparée reprend les hypothèses et cherche à les casser. Si un déploiement est soupçonné, les requêtes non exposées sont-elles restées saines. Si le changement a été annulé, la métrique est-elle revenue.
Un cas cité montre le garde-fou en action. Un agent avait relié des conversations ChatGPT en échec à des erreurs de téléchargement d'images et déclaré la cause trouvée. Le réviseur a remarqué que le service interne chargé de localiser les fichiers était déjà rétabli alors que les requêtes d'images échouaient encore. Le diagnostic n'expliquait pas la panne qui continuait, la tâche a été rouverte avec ce qui restait à établir.
Sur 100 diagnostics relus à la main, 70 jugés exacts
La mesure existe et elle est sévère. Sur 100 suggestions de cause racine relues manuellement par l'équipe, 70 ont été notées exactes, 30 demandaient un complément ou n'établissaient pas la causalité. L'évaluation sépare d'ailleurs deux choses : le moment où le problème a commencé, son ampleur et les requêtes touchées d'un côté, l'usage des preuves pour classer les causes possibles de l'autre. Un agent peut tomber juste sur l'heure et accuser le mauvais déploiement.
Le correctif tient moins bien que le diagnostic
OpenAI le dit sans détour : trouver la cause est plus facile que la corriger. Des correctifs proposés sont plus compliqués que nécessaire, ou introduisent un nouveau problème. Une revue adversariale s'applique donc aussi aux correctifs, pour vérifier qu'ils traitent bien la cause identifiée. Certains cas demandent un arbitrage d'architecture qu'un agent ne peut pas prendre : ajouter un cache accélère le service et fait servir des données périmées.
Chaque tâche produit un rapport lisible par un ingénieur : résumé de la régression, impact, cause racine, correctif proposé, séries temporelles, graphiques de flammes processeur et traces. L'ingénieur édite la demande de fusion ou écrit son propre correctif avec le diagnostic sous les yeux. S'il laisse un commentaire, le flux réveille un agent pour y répondre.
Une identité de service, les mêmes outils que l'ingénieur
Les agents tournent sous une identité de service, ce qui permet de borner leurs permissions et de distinguer leurs actions de celles des humains. L'accès porte sur les dépôts de code et sur l'observabilité de production : métriques, journaux, traces, profils processeur, instantanés de mémoire. Le travail en cloud autorise le parallélisme sans dépendre d'un portable ouvert, et sans gérer des machines de développement une par une.
Le levier est là. Une équipe de performance ne peut pas lire autant d'enquêtes qu'un parc d'agents peut en produire, et la première version du système lui donnait justement un écran plein de conclusions à trier. Le flux regroupe désormais les incidents liés, les classe par métrique et estime leur impact, pour que l'ingénieur passe son temps sur les arbitrages.
Relancer les incidents passés sans notes ni compte rendu
Changer de modèle ou retoucher une compétence d'investigation peut améliorer certains cas et en dégrader d'autres : OpenAI teste donc avant de mettre à jour. Les incidents de production passés servent de jeu d'essai, relancés avec le signal d'origine expurgé de ce qui donnerait la réponse. L'agent ne peut pas consulter de notes d'enquêtes antérieures, ni le compte rendu de l'incident, ni les résultats des passages précédents, et sa transcription est relue après coup.
La contrainte est technique autant que méthodologique : les métriques et les traces expirent, et les preuves collectées après le rétablissement trahissent la cause. Les résumés produits pour l'ingénieur se testent à part, sur des copies de tâches, avec un correcteur distinct qui vérifie si quelqu'un qui ne connaît pas le système comprend ce qui s'est passé.
Un agent par jour pour surveiller les agents
Un profileur cassé ou une permission manquante bloquent une enquête, et ce genre de panne se voit mal dans un rapport final. Un agent passe donc chaque jour sur les messages et les journaux des passages récents pour repérer les échecs d'outils et les erreurs d'accès, puis ouvre une tâche de correction quand la même erreur bloque plusieurs enquêtes. La Performance Factory se répare avec elle-même.
La suite annoncée sort du cadre de l'alerte : repérer les ralentissements et les optimisations sans qu'aucun seuil n'ait été franchi, en comparant des lots de profils, des vidages de tas et des traces entre versions. Un agent pourrait y voir une hausse modeste de processeur par requête, ouvrir une tâche, remonter à la cause et proposer la correction. OpenAI explore aussi la livraison de correctifs à faible risque sans relecture humaine, ce qui déplacerait la question du diagnostic vers celle du périmètre qu'on accepte de laisser à la machine.
Source primaire OpenAI, « How OpenAI's Performance Factory keeps ChatGPT fast », 19 novembre 2026