Originalarbeiterreichbar
Pitfalls in Evaluating Language Model Forecasters
Paleka, Goel, Geiping und Tramèr untersuchen am 31.05.2025, warum Sprachmodelle als Prognosewerkzeug schwer zu bewerten sind. Abschnitt 2.3 begründet, dass ein veröffentlichter Knowledge Cutoff keine Zusicherung darstellt: Er meint oft nur das Pre-Training, während später erhobene Präferenzdaten Wissen über die Zeit danach mitbringen.
geprüft 24.09.2026
Worauf sich diese Seite beruft, wörtlich, abgerufen am 31.07.2026:
the knowledge cutoff date is not to be taken as a guarantee that the model will not have access to information after the date
bestätigt 24.09.2026The meaning of the data cutoff can also vary by model developer, and may refer only to the pretraining data, with later-collected user preference data leaking a small amount of information about the future.
bestätigt 24.09.2026