FinVeriQA vérifie les chiffres contre le document d'origine
FinVeriQA, prototype multi-agents ouvert publié le 18 novembre, répartit une question financière entre un modèle de décision dédié au routage, Python pour chaque calcul, la recherche et des outils pour les preuves, et Mistral-7B pour la rédaction citée. En conditions réelles, le routage atteint 0,85 contre 0,52 pour Mistral-7B, Python réussit 100 calculs sur 100 là où le modèle en réussit 29, et la recherche hybride monte à 76 % de Hit@5 sur des questions portant sur des dépôts réglementaires. Deux réponses ont pourtant passé la validation en attribuant à NVIDIA et à Alphabet des données d'échantillon d'AMD, et l'étude de limite qui suit montre qu'un contrôle sur la preuve partagée attrape 35 % des erreurs là où un contrôle contre le passage d'origine en attrape 77 %.
par Gyom 21 novembre 2026 à 13:01 3 min de lecture rubrique : Automatiser
etiquettes : En entreprise · Sécurité
Un agentIA agentiqueModèle qui boucle : il choisit une action, le plus souvent un appel d'outil, en lit le résultat, puis recommence jusqu'à l'objectif ou l'abandon. La boucle est ce qui distingue un agent d'une réponse unique.Fiche du lexique financier répond volontiers avec assurance, et se trompe sur trois choses : le calcul d'un ratio, la fraîcheur d'un prix, le choix de l'outil. FinVeriQA, prototype multi-agents ouvert publié le 18 novembre, confie chacune de ces tâches à un composant distinct, sur des dépôts déposés auprès de la SEC et des données de marché en direct.
Un modèle de décision route, un autre rédige, Python calcule
L'architecture sépare quatre rôles. Laya, un modèle compact à décision typée, route chaque question et écarte les demandes de conseil. Python calcule chaque nombre. La recherche et les outils vont chercher les preuves, et un serveur MCPModel Context ProtocolProtocole ouvert qui décrit à un modèle les outils et les ressources d'un environnement. Il sert de contrat entre un client d'agent et des serveurs d'outils, et évite de recâbler chaque intégration.Fiche du lexique expose le pipeline à d'autres clients. Mistral-7B rédige la réponse avec ses citations, puis un validateur de code vérifie que les identifiants cités existent et que les nombres correspondent aux notes calculées.
0,85 de routage contre 0,52 pour Mistral-7B
Sur les expériences en direct, Laya route mieux que Mistral-7B, 0,85 contre 0,52, et 0,86 contre 0,68 en score global, avec un test de McNemar à p = 0,0003. Un Mistral de 12 milliards de paramètrespoids du modèleNombre de valeurs apprises par un modèle. À quantification égale, plus de paramètres veut dire plus de mémoire occupée, et en général de meilleures réponses.Fiche du lexique ne décide pas mieux que celui de 7 milliards. DeepSeek-R1-8B décide mieux, 0,79 contre 0,68 à p = 0,0192, mais prend environ 9,9 fois plus de temps.
Python juste sur 100 calculs sur 100, Mistral-7B sur 29
Sur 100 calculs financiers, Mistral-7B en réussit 29, Python 100. Une cotation en direct récupérée par outil fait tomber l'erreur de prix de 210 % à 0,00 %, et la recherche hybride atteint 76 % de Hit@5 sur 50 questions portant sur des dépôts réglementaires.
Deux réponses validées qui décrivent AMD sous les noms de NVIDIA et d'Alphabet
Dans l'étude de cas en direct, les deux réponses des agents ont passé la validation alors qu'elles décrivaient des données d'échantillon d'AMD sous les noms de NVIDIA et d'Alphabet. Le validateur faisait ce qu'on lui demandait : les identifiants cités existaient, les nombres correspondaient aux notes calculées. Il ne regardait pas si la société nommée était celle du document.
Une figure corrompue laisse l'auto-cohérence confiante
Une étude de limite contrôlée sur le banc FinRank explique le mécanisme. Quand un chiffre de la preuve partagée est corrompu, l'auto-cohérence garde un accord de 0,55 à 0,59 alors que la précision tombe de 0,50 à 0,00 : les tirages convergent vers la même erreur. Le contrôle sur la preuve partagée, celui que fait le validateur, attrape 35 % des erreurs ; le contrôle contre le passage d'origine en attrape 77 %, à p = 5,96 × 10⁻⁸. Pour DeepSeek-R1-8B, les deux chiffres sont 68 % et 90 %.
La vérification doit sortir de la preuve que le rédacteur a vue
La leçon des auteurs tient en une phrase : une vérification partage la cécité de la preuve qu'elle examine, et il faut la faire porter sur le document d'origine. Le prototype cite ses sources, expose son pipeline par MCP et sépare le calcul de la rédaction, ce qui rend chaque étape remplaçable ; il reste un prototype de recherche, et la société nommée dans une réponse échappe encore à son validateur.