AllenAI teste si cinq modèles redressent une demande mal posée
XYBench réunit 8 115 questions dont la demande formulée ne mène pas au but, construites par AllenAI avec Carnegie Mellon, NVIDIA et Johns Hopkins, et retenues meilleur jeu de ressources à EMNLP 2026. Sur Stack Overflow, une solution à la demande formulée apparaît dans 75 à 86 % des réponses humaines, contre 59 à 71 % pour le but réel ; les cinq modèles testés mettent le vrai but en avant dans 35 à 41 % des cas, contre 47 à 57 % pour la demande formulée.
par Gyom 14 novembre 2026 à 13:01 3 min de lecture rubrique : Vérifier et protéger
etiquettes : En entreprise · Chez soi
XYBench, publié le 13 novembre 2026 par AllenAI avec Carnegie Mellon, NVIDIA et Johns Hopkins, mesure un travers précis : l'utilisateur décrit ce qu'il croit devoir faire au lieu de ce qu'il veut obtenir. Le jeu réunit 8 115 questions réelles ou dérivées, dont 1 557 de Stack Overflow, 184 de Stack Exchange, 102 écrites à la main et 6 272 construites à partir de WikiHow. Chaque entrée porte la question posée, la demande formulée, la réponse acceptée et une réponse à la demande formulée. Le travail a reçu le prix du meilleur jeu de ressources à EMNLP 2026.
Sur Stack Overflow, la solution au vrai problème est minoritaire
Le point de départ est mesuré, pas supposé. Sur les questions de Stack Overflow, 75 à 86 % des réponses proposent une solution à la demande formulée, contre 59 à 71 % pour le but réel. L'emphase principale, là où la réponse met son effort, porte sur la demande formulée dans 47 à 57 % des cas, contre 35 à 41 % pour le but réel. L'écart est modeste mais constant, et il tient sur des réponses humaines, pas sur des sorties de modèle. Deux annotateurs ont noté 500 réponses pour vérifier l'accord entre eux.
Les modèles reconnaissent le vrai but mieux qu'ils ne l'écrivent
Cinq modèles ont passé le banc : Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B et DeepSeek-V4 Pro. En génération libre, aucun ne renverse la tendance humaine : le vrai but est traité en priorité dans 35 à 41 % des réponses seulement, contre 47 à 57 % pour la demande formulée. Les mêmes modèles, mis devant deux réponses et priés de choisir, prennent celle qui traite le vrai problème dans 71 à 84 % des cas. Le modèle sait donc reconnaître la bonne réponse bien plus souvent qu'il ne la produit, ce qui déplace le problème de la connaissance vers la décision de reformuler.
Donner la solution ne fait pas nommer le malentendu
Les auteurs ont testé un rattrapage simple : fournir d'emblée la solution au vrai problème. Claude Sonnet 4.6 traite alors le but réel dans 67 % des cas, contre 59 % sans aide, mais l'identification explicite de l'erreur tombe de 47 % à 34 %. Muni de la réponse, le modèle réécrit la solution au lieu de dire à l'utilisateur que sa demande partait du mauvais côté. La reformulation est donc une compétence distincte du raisonnement sur le contenu, et elle ne s'obtient pas en ajoutant du fenêtre de contextecontexteQuantité de tokens qu'un modèle peut lire d'un seul coup, question et réponse comprises. Au-delà, il faut découper, résumer ou chercher ailleurs.Fiche du lexique.
Le juge automatique suit l'humain, sauf sur l'emphase
Le banc se veut réutilisable, il mesure donc aussi son propre juge. Claude Sonnet 4.5, employé comme évaluateur, s'accorde avec les annotateurs humains sur 97,5 à 100 % des cas pour dire si une solution au vrai but est présente, et sur 84,6 à 93,3 % pour dire si l'erreur est identifiée. L'accord tombe à 74,2 à 79,8 % sur la question la plus fine, savoir où la réponse met son emphase. Un juge automatique suffit donc à un classement grossier, pas à départager deux réponses qui traitent le même problème avec des priorités différentes.
Anglais, procédures, questions déjà résolues
Le périmètre reste étroit. Les questions sont en anglais, les cas ajoutés à la main viennent de procédures WikiHow, et chaque entrée suppose qu'une réponse acceptée existe, donc que quelqu'un a déjà tranché. Le banc mesure la reformulation d'un besoin déjà documenté, pas la découverte d'un besoin que personne n'a su formuler. Pour un service client, le test porte alors sur un point précis : l'assistant ose-t-il contredire la question qu'on lui pose.
Source primaire AllenAI, « XYBench: Helping with the problem behind the question », blog Hugging Face, 13 novembre 2026