SchlüsselarbeitOriginalarbeiterreichbar
Calibrated Language Models Must Hallucinate
Adam Tauman Kalai und Santosh S. Vempala, erschienen auf dem Symposium on Theory of Computing 2024. Die Arbeit zeigt eine statistische Untergrenze: Für Tatsachen, deren Wahrheit sich aus den Trainingsdaten nicht ermitteln lässt, muss ein Modell, das seine Sicherheit ehrlich abbildet, mit einer bestimmten Rate danebenliegen. Das hängt weder an der Architektur noch an der Datenqualität, ist also nicht wegzutrainieren.
geprüft 24.09.2026Archivfassung (externe Seite, web.archive.org)
Worauf sich diese Seite beruft, wörtlich, abgerufen am 30.07.2026:
having nothing to do with the transformer LM architecture or data quality
bestätigt 24.09.2026facts that occur exactly once in the training data
bestätigt 24.09.2026no statistical reason that pretraining will lead to hallucination on facts that tend to appear more than once in the training data
bestätigt 24.09.2026
Kalibrierung im Glossar02 Was ein Sprachmodell tut07 Halluzinationen erkennen