Les grands modèles de langage comme GPT-3 sont sujets à des hallucinations

Selon l'article "Learn to Refuse: Making Large Language Models More Controllable and Reliable through Knowledge Scope Limitation and Refusal Mechanism" (Cao, 2023), les grands modèles de langage comme GPT-3 ont démontré d'impressionnantes capacités de compréhension et de génération de langage. Cependant, ces modèles sont susceptibles de produire des réponses erronées ou contenant de la désinformation, phénomène appelé "hallucination".

Ces hallucinations, qui violent les connaissances factuelles, rendent les modèles de langage peu fiables et même inutilisables dans de nombreux scénarios, notamment dans un cadre juridique (Cao, 2023).

Il est possible de mitiger le problème d'hallucination

L'article propose une approche "Learn to Refuse" (L2R) qui intègre un mécanisme de "refus" pour que le modèle refuse de répondre aux questions difficiles et évite ainsi les erreurs. Des expériences montrent que cette approche améliore significativement la fiabilité et le contrôle des systèmes de question-réponse à base de grands modèles de langage (Cao, 2023).

Cet article ouvre des perspectives intéressantes pour développer des modèles de langage plus fiables, notamment en termes de conception de l'architecture et des prompts (Cao, 2023).

Trois sources principales de réponses infidèles et imprécises

Le deuxième article "Blending Reward Functions via Few Expert Demonstrations for Faithful and Accurate Knowledge-Grounded Dialogue Generation" (Du & Ji, 2023) identifie trois sources principales de réponses infidèles et imprécises des modèles de langage:

• Les biais des modèles de langage

• Les informations non pertinentes dans les textes de connaissance

• Les algorithmes d'apprentissage supervisé utilisés

(Du & Ji, 2023)

Solution proposée : apprentissage par renforcement

La solution proposée est d'appliquer l'apprentissage par renforcement avec une nouvelle fonction de récompense combinant une métrique de précision et une métrique de fidélité.

Les expériences sur deux jeux de données montrent que cette approche surpasse d'autres méthodes d'apprentissage supervisé en termes de fidélité et de précision.

Cette recherche ouvre des perspectives pour développer des modèles de langage plus fiables, notamment en explorant l'auto-évaluation des modèles.

En résumé, ces deux articles mettent en évidence les limites actuelles des grands modèles de langage en termes de fiabilité, et proposent des approches prometteuses pour y remédier, que ce soit via l'architecture, les prompts ou l'apprentissage par renforcement. Il reste du travail pour développer des modèles plus robustes, mais ces recherches ouvrent des pistes intéressantes.

Envie d’explorer concrètement ce sujet ? Testez Haiku gratuitement pendant 30 jours et découvrez comment notre application peut vous aider. 👉 Testez Haiku gratuitement