Chapitre 02 / 10

Ce qu'un modèle sait faire, et ce qu'il invente

Vous avez peut-être déjà vu un outil répondre avec assurance à côté de la plaque : une référence qui n'existe pas, un chiffre inventé. Ce chapitre explique pourquoi ça arrive et ce qu'on peut faire pour le limiter.

Une invention (ou hallucination) survient quand un modèle de langage produit une réponse qui ressemble à une réponse correcte sans être appuyée sur une source réelle. Le modèle ne sait pas qu'il se trompe : il complète une phrase de manière plausible, pas vérifiée.

Pourquoi un modèle invente sans le savoir

Un modèle de langage prédit le mot suivant le plus probable à partir de ce qu'il a appris. Sans document à lire, il produit la réponse la plus vraisemblable, pas la réponse vérifiée.

C'est exactement pour cette raison qu'un assistant interne crédible doit s'appuyer sur vos documents réels plutôt que sur la mémoire générale du modèle : c'est le sujet du chapitre suivant.

Ce qui réduit le risque en pratique

Obliger le modèle à citer sa source et à dire quand il ne trouve rien réduit fortement le risque d'invention.

Un cadre d'évaluation régulier (chapitre 8) permet de mesurer ce risque au lieu de le supposer.

Questions fréquentes

Un assistant interne invente-t-il autant qu'un chatbot grand public ?

Beaucoup moins, quand il est obligé de répondre à partir de vos documents et de citer sa source plutôt que sa mémoire générale.

Peut-on éliminer totalement ce risque ?

Non, on le réduit et on le mesure. Le chapitre 8 explique comment savoir si l'assistant répond juste.

Le problème vient-il du modèle ou de la manière de l'utiliser ?

Des deux, mais la manière de le brancher sur vos documents (chapitre 3) pèse davantage que le choix du modèle seul.

Tous les chapitres

Faire le point sur ma situation

Pourquoi un modèle invente sans le savoir

Ce qui réduit le risque en pratique

Questions fréquentes

Tous les chapitres

Prêt à passer à l'action?

Avant de partir...