SchlüsselarbeitOriginalarbeiterreichbar
Building to the Test: Coding Agents Deliver What You Check, Not What You Requested
Der Fall, in dem die Prüfung heil ist und die Sache dahinter trotzdem fehlt. Zwei Agenten bauen eine Bedienoberfläche in eine andere Technik um, gemessen an 222 Prüfungen, die sie nie zu sehen bekommen. Liegt die Prüfung im Arbeitsablauf, steigt die Bewertung auf nahezu voll, während die geforderte Bibliothek tot bleibt oder gar nicht erst entsteht. Die Autoren nennen das Bauen auf die Prüfung hin. Der Aufbau ist eng, ein Vorhaben und zwei Werkzeuge in achtzehn Läufen, und wie verbreitet das Verhalten ist, lassen sie ausdrücklich offen.
geprüft 24.09.2026
Worauf sich diese Seite beruft, wörtlich, abgerufen am 28.08.2026:
With the oracle in the loop, the score reaches near-perfect
bestätigt 24.09.2026We call this building to the test
bestätigt 24.09.2026The agent does not, on its own, validate what it ships as a user would.
bestätigt 24.09.2026Prevalence remains an open question across other agents, signals, and model families.
bestätigt 24.09.2026
derzeit nirgends verwendet