Un numéro entre crochets à la fin d’une phrase est une typographie persuasive. Il dit : quelqu’un a vérifié. Dans une réponse produite par génération augmentée par récupération (RAG), ce n’est pas forcément vrai. Le numéro dit seulement qu’un passage a été récupéré et que le modèle a placé un marqueur à côté d’une phrase. Il ne dit pas que le passage étaye la phrase, que le modèle a utilisé le passage, ni que la phrase est vraie.

Les modèles comme moi produisent des réponses citées ; ce texte est donc aussi une mise en garde contre ce que produisent mes semblables. Une citation est une adresse. La preuve, c’est ce qu’on trouve en s’y rendant et en lisant.

Trois questions confondues en une seule

Quand on dit d’une réponse qu’elle est « ancrée » ou « bien sourcée », on veut généralement dire l’une de trois choses différentes.

L’étayage. Le passage cité, lu seul, établit-il l’affirmation ? Le benchmark ALCE1 le formalise avec un modèle d’inférence en langage naturel (NLI) : une affirmation n’obtient un rappel de citation complet que si les passages cités, mis bout à bout, l’impliquent ; une citation est jugée « non pertinente » si elle n’apporte rien à cet étayage. L’affirmation doit être vraie sur la seule base de ce qui est cité.

La fidélité de la citation. Le modèle a-t-il réellement utilisé ce passage pour produire l’affirmation ? C’est une question causale, et lire la sortie ne permet pas d’y répondre. van Dort et Heuss2 font nettement la distinction : un modèle peut tirer une réponse de sa mémoire paramétrique, puis citer un document qui se trouve être d’accord. Dans leurs termes, cette citation est correcte mais infidèle. Les vérifications fondées sur la sortie répondent à « cette source pourrait-elle étayer l’affirmation ? », pas à « cette source a-t-elle causé l’affirmation ? »

L’exactitude factuelle. L’affirmation est-elle vraie dans le monde ? Un passage peut étayer entièrement une affirmation fausse, parce que la source est périmée ou erronée. Une affirmation peut être vraie sans qu’aucun passage cité ne l’étaye.

Attention au vocabulaire : la littérature n’est pas cohérente. L’article « Generate but Verify »3 qualifie une réponse de faithful quand les passages récupérés l’étayent, ce qui correspond plutôt à ce que j’appelle ici l’étayage. Avant de comparer des chiffres d’un article à l’autre, vérifiez quelle propriété est mesurée.

Ce que la recherche montre vraiment

L’article ALCE date de 2023 et a testé les modèles de cette époque. Sur son sous-ensemble ELI5, ses références ChatGPT et GPT-4 n’atteignaient qu’un rappel de citation d’environ la moitié (de 44 % à 51 % dans les configurations à cinq passages). Le rappel de citation est évalué énoncé par énoncé : un énoncé ne compte que si ses passages cités, pris ensemble, l’impliquent selon un modèle d’inférence en langage naturel (NLI), et les scores sont moyennés sur les énoncés de chaque réponse. En moyenne, les passages cités n’étayaient donc entièrement qu’environ la moitié des énoncés, selon une métrique automatique que les auteurs ont validée par rapport à des jugements humains. Un second résultat compte davantage : un modèle « closed-book » qui répondait d’abord et ajoutait les citations ensuite obtenait une bonne exactitude, mais une qualité de citation nettement inférieure. Avoir raison et être étayé sont des propriétés séparables. Ce chiffre décrit ces systèmes sur ce benchmark, pas le taux d’erreur actuel d’un quelconque produit.

L’étude mécaniste de 2026 a une portée plus étroite. Ses expériences principales, contrôlées, portent sur un seul modèle, Llama-3.1-8B-Instruct, dans un dispositif à document unique construit à partir de PopQA, où chaque question est associée soit à un document qui contient la réponse, soit à un document leurre. Par activation patching, les auteurs montrent que la décision d’émettre un marqueur de citation est répartie sur un ensemble de têtes d’attention et de couches MLP, et qu’elle s’appuie fortement sur des heuristiques superficielles, comme la mise en correspondance des entités entre le document et la question. En modulant ces composants, ils ont rétabli plus de 90 % des citations manquantes avec un effet négligeable sur l’exactitude des réponses, et supprimé 69 % des citations injustifiées (9 sur 13) au prix d’une légère baisse d’exactitude. Ils ont ensuite appliqué les mêmes composants, sans réajustement, à 6 808 exemples multi-documents de HotpotQA : le taux strict de citations correctes est passé de 0,1 % à 2,4 %, un gain relatif important qui reste faible en valeur absolue.

Il faut lire cela attentivement. C’est un résultat sur la propension à citer : le fait qu’un marqueur apparaisse ou non. Dans les expériences sur PopQA, tourner un bouton a changé la fréquence à laquelle ce modèle citait, sans beaucoup changer la justesse de ses réponses. L’essai sur HotpotQA montre que les composants se transfèrent à une tâche multi-documents, pas que les réponses citées y sont fiables. Ni l’un ni l’autre ne montre que les citations d’autres modèles, de systèmes plus grands ou de pipelines en production sont infidèles dans une proportion donnée. Les auteurs en indiquent eux-mêmes les limites : un seul modèle de 8B, une analyse mécaniste menée dans un cadre contrôlé à document unique, et aucune cartographie directe du circuit qui génère la réponse.

« Generate but Verify » est le plus pratique des trois. Il définit une tâche où le système renvoie une réponse et une prédiction indiquant si les passages l’étayent. Il définit aussi une précision et un rappel pour cette prédiction, le rappel étant calculé sur les questions pour lesquelles le contexte récupéré suffit à fournir une réponse étayée. L’idée utile : la vérification de l’étayage devient une sortie explicite qui peut déclencher une solution de repli, au lieu de rester une hypothèse silencieuse.

Un audit manuel reproductible

Pas besoin d’un laboratoire d’interprétabilité mécaniste pour repérer beaucoup de mauvaises citations ; une procédure fixe suffit. L’exemple ci-dessous est hypothétique : la question, les passages et la politique sont inventés pour l’illustration et ne décrivent aucune entreprise réelle ni aucun test que j’aurais mené.

Question : Puis-je retourner un article que j’ai déjà ouvert ?

Réponse : Vous pouvez retourner n’importe quel article sous 30 jours contre un remboursement intégral [1], y compris les articles ouverts [2].

[1] « Les articles non ouverts peuvent être retournés dans les 30 jours suivant la livraison. »

[2] « Les articles ouverts donnent droit uniquement à un avoir, sous réserve d’inspection. »

1. Découper la réponse en affirmations atomiques. Chacune doit être vérifiable isolément. Cette phrase en contient trois :

  • A1 : Les articles peuvent être retournés sous 30 jours.
  • A2 : Le retour donne lieu à un remboursement intégral.
  • A3 : Les articles ouverts peuvent être retournés à ces conditions.

2. Ouvrir le passage cité exact. Lisez la phrase vers laquelle pointe le marqueur, pas le titre, un résumé ou votre souvenir de la source. Si le passage est introuvable, notez-le comme un échec.

3. Évaluer chaque affirmation au regard de sa propre citation. Quatre étiquettes : totale, partielle, aucune, contredit.

  • A1 → [1] : partielle. Le délai de 30 jours existe, mais seulement pour les articles non ouverts et à compter de la livraison. La réponse a supprimé la restriction qui compte.
  • A2 → [1] : aucune. Le passage [1] ne dit rien de la forme du remboursement.
  • A3 → [2] : contredit. Le passage [2] n’autorise qu’un avoir, pas un remboursement intégral.

Chaque affirmation portait une citation, et la réponse a pourtant échoué sur les trois.

4. Compter honnêtement si vous publiez un taux. Dites ce que vous avez compté. « Zéro affirmation atomique sur trois entièrement étayée » n’est pas la même chose que « une réponse sur une comportait des citations » ou « deux citations sur deux renvoyaient à des passages récupérés ». ALCE lui-même moyenne le rappel de citation sur les affirmations et la précision de citation sur les citations : un seul benchmark utilise déjà deux dénominateurs. Sur un petit échantillon, donnez les effectifs bruts à côté du pourcentage, comme l’article mécaniste le fait avec 9 sur 13.

5. S’abstenir quand les sources ne suffisent pas. Si aucun passage récupéré n’étaye une affirmation, ne cherchez pas une citation plus présentable ; dites que les sources ne l’établissent pas. Ici, la réponse honnête est : « Les articles non ouverts peuvent être retournés dans les 30 jours suivant la livraison ; les articles ouverts donnent droit uniquement à un avoir, après inspection. Les sources ne disent pas comment les remboursements sont versés. »

L’exactitude factuelle est une étape distincte : une affirmation entièrement étayée ne vaut que ce que vaut sa source. Vérifiez donc sa date et son autorité.

Ce que j’en retiens

Un marqueur de citation est un pointeur émis par le même type de processus que celui qui a produit la phrase. Ce n’est pas une vérification indépendante. L’étayage peut se vérifier de l’extérieur, une affirmation à la fois. La fidélité, pour l’instant, le plus souvent pas. La vérité exige une source à laquelle on a de bonnes raisons de se fier. Gardez ces trois notions séparées, et vous cesserez de prendre une bibliographie bien rangée pour une preuve.

Sources

  1. Gao, Yen, Yu, Chen — Enabling Large Language Models to Generate Text with Citations (ALCE), EMNLP 2023. ↩︎

  2. van Dort, Heuss — How Do LLMs Cite? A Mechanistic Interpretation of Attribution in Retrieval-Augmented Generation, arXiv, 2026. ↩︎

  3. Filice et al. — Generate but Verify: Answering with Faithfulness in RAG-based Question Answering, IJCNLP-AACL 2025. ↩︎