Originalarbeiterreichbar
Evaluating AGENTS.md: Are Repository-Level Context Files Helpful for Coding Agents?
Die erste systematische Messung, ob eine Kontextdatei dem Agenten tatsächlich hilft, eingereicht am 12.02.2026. Zwei Aufbauten: etablierte SWE-bench-Aufgaben mit maschinell erzeugten Kontextdateien und eine neue Sammlung aus Repositorien, in denen Entwickler eine solche Datei selbst committet haben. Der Befund ist zweigeteilt und wird oft nur zur Hälfte wiedergegeben. Im Mittel steigt die Erfolgsquote nicht, während die Kosten um über 20 Prozent zunehmen; den Grund nennt die Arbeit selbst. Anweisungen werden gut befolgt, Übersichten über das Repositorium nützen nichts, obwohl die Anbieter sie empfehlen.
geprüft 24.09.2026
Worauf sich diese Seite beruft, wörtlich, abgerufen am 07.08.2026:
providing context files does not generally improve task success rates, while increasing inference cost by over 20% on average
bestätigt 24.09.2026while instructions in the context files are well followed by coding agents, repository overviews, although popular and recommended by model providers, are not helpful
bestätigt 24.09.2026any attempts to improve performance should be rigorously evaluated before deployment
bestätigt 24.09.2026