Geschwindigkeit der Entwicklung

„Wie schnell geht das eigentlich?“ hat keine einzelne Antwort, weil mehrere Größen gleichzeitig wachsen. Sie wachsen alle, und sie wachsen unterschiedlich schnell. Genau diese Unterschiede sind die eigentliche Auskunft.

Warum eine Verdopplung schwer vorzustellen ist

Zwei Rechnungen dazu sind älter als jede Kennzahl auf dieser Seite, und beide kommen ohne KI aus.

Die erste ist die Legende vom Reiskorn auf dem Schachbrett: Auf das erste Feld kommt ein Korn, auf jedes weitere doppelt so viel wie auf das vorige. Über 64 Felder summiert sich das auf 18.446.744.073.709.551.615 Körner. Der Sprung liegt dabei ganz hinten. Auf dem 64. Feld allein liegen mehr Körner als auf allen 63 Feldern davor zusammen, genau eines mehr. Bei Feld 32 ist die Hälfte der Felder abgearbeitet, auf dem Tisch liegt dann rund ein Vier-Milliardstel der Endmenge.

Die zweite Rechnung faltet ein Blatt Papier, und jede Faltung verdoppelt die Dicke. Bei einem Zehntelmillimeter, also einem gewöhnlichen Blatt, reicht der Stapel nach 42 Faltungen bis zum Mond: 439.805 Kilometer gegen einen mittleren Abstand von 384.400 Kilometern (externe Seite, science.nasa.gov). Nach 41 Faltungen sind es 219.902, also gut die Hälfte des Weges, und eine einzige weitere Faltung schafft den Rest. Ein doppelt so dünnes Blatt kostet eine Faltung mehr; an der Größenordnung ändert das nichts.

Und hier hört das Bild auf. 42 Faltungen gibt es in der Wirklichkeit nicht. Der Rekord steht bei zwölf Faltungen (externe Seite, guinnessworldrecords.com), aufgestellt 2002 von Britney Gallivan, und dafür brauchte sie ein Seidenpapier von 1.219 Metern Länge. Was sich verdoppelt, stößt irgendwann an eine physische Grenze. Welche das in diesem Feld sind, steht am Ende dieser Seite.

Die Takte im nächsten Abschnitt sind genau solche Verdopplungen, gerechnet in der Zeit statt auf einem Brett.

seitlich verschiebbar

eigene Rechnung, Stand 09/2026

Sechs Takte nebeneinander

Gemessene Verdopplungszeiten, Stand August 2026:

Was	Verdopplung	Seit
Rechenaufwand für ein Spitzenmodell	5,2 Monate	2020
Weltweiter Bestand an Rechenchips	6,8 Monate	laufend
Aufgabenlänge, die ein Modell schafft	7 Monate	2019
Rechenaufwand für dieselbe Leistung (halbiert)	8 Monate	2012
Leistung je ausgegebenem Dollar	1,7 Jahre	2023
Speicherbandbreite einer Grafikkarte	2,8 Jahre	2008

Zeile 1, 2 und 6 stammen aus dem Kennzahlenblatt von Epoch AI (externe Seite, epoch.ai). Zeile 3 kommt aus der Zeithorizont-Messung, die Kapitel 03 genauer behandelt:

frontier AI time horizon has been doubling approximately every seven months since 2019 (externe Seite, arxiv.org)

Zeile 5 stammt aus einer eigenen Erhebung über gekaufte Chips:

At that rate, the performance a dollar buys doubles every 1.7 years (externe Seite, epoch.ai)

Zwischen der schnellsten und der langsamsten Zeile liegt der Faktor 6,5, also 5,2 Monate gegen 33,6. Wer von „exponentiellem Fortschritt“ liest, sollte deshalb fragen, welche dieser Zeilen gemeint ist.

Welcher Takt bei Ihnen ankommt

Für die Frage, was in einem Betrieb ankommt, zählen die unteren Zeilen mehr als die oberen. Der Rechenaufwand an der Spitze sagt, was ein Labor investiert. Was ein Dollar kauft, sagt, was Sie bezahlen; die Erhebung rechnet in Dollar.

Der Abstand dazwischen ist auch der Grund, warum ein neues Spitzenmodell selten sofort billiger ist als sein Vorgänger. Die Fähigkeit wächst am schnellsten, der Preis fällt am langsamsten, und dazwischen liegt die Zeit, in der ein Anbieter seine Rechnung machen muss.

Dabei verläuft die Preiskurve sprunghaft:

Price-performance was nearly flat through mid-2024, then roughly doubled as Blackwell-generation chips grew to a majority of new spending (externe Seite, epoch.ai)

Zwei Jahre nahezu Stillstand, dann eine Verdopplung. Ein glatter Jahreswert verdeckt das.

Die Verfahren werden auch besser

Zeile 4 ist die am wenigsten bekannte und zugleich die bemerkenswerteste. Sie misst die Verfahren selbst: Wie viel Rechenleistung braucht man heute für eine Leistung, die früher mehr gekostet hat. Hardware und Geld stehen dabei fest.

the compute required to reach a set performance threshold has halved approximately every 8 months, with a 95% confidence interval of around 5 to 14 months, substantially faster than hardware gains per Moore’s Law (externe Seite, arxiv.org)

Dieselbe Arbeit ordnet den Befund allerdings selbst ein, und dieser Satz fehlt in fast jeder Wiedergabe:

our analysis reveals that the increase in compute made an even larger contribution to overall performance improvements over this time period (externe Seite, arxiv.org)

Die besseren Verfahren wirken also schnell, und im gemessenen Zeitraum hat die schiere Rechenleistung noch mehr bewegt. Wer nur die erste Hälfte zitiert, erzählt eine Geschichte über Erfindungsreichtum, wo die Daten eine über Investitionen erzählen.

Der Antrieb hat 2024 gewechselt

Bis dahin kam der Fortschritt vor allem aus größeren Trainingsläufen. Der Rechenaufwand dafür wuchs jahrelang stetig:

the compute used to train recent models grew 4-5x yearly from 2010 to May 2024 (externe Seite, epoch.ai)

Seit 2024 kommt etwas dazu, und es zeigt sich in zwei voneinander unabhängigen Messreihen:

The acceleration roughly coincides with the rise of reasoning models and an increasing focus on reinforcement learning among frontier labs (externe Seite, epoch.ai)

Nachdenkende Modelle rechnen länger, während sie antworten. Das verschiebt Aufwand vom Training in den Betrieb, und was das kostet, steht in Grundkurs, Kapitel 10.

Was diese Zahlen nicht sagen

Eine Verdopplungszeit beschreibt, was bisher geschehen ist. Sie sagt nichts darüber, wie lange das so weitergeht. Jede der sechs Zeilen kann an eine Grenze stoßen, und für zwei davon sind die Grenzen absehbar: Strom und die Zeit, die der Bau eines großen Rechenzentrums braucht.

Hinter den Takten aus Ebene 1 stehen zwei Gesetzmäßigkeiten, die man kennen sollte. Die erste ist von 2020, die zweite hat sie zwei Jahre später korrigiert, und beide gelten bis heute für das Training.

Das Skalierungsgesetz

Kaplan und Mitautoren maßen 2020, wie der Fehler eines Sprachmodells mit drei Größen fällt:

The loss scales as a power-law with model size, dataset size, and the amount of compute used for training, with some trends spanning more than seven orders of magnitude. (externe Seite, arxiv.org)

Ein Potenzgesetz. Das heißt: Der Fehler fällt zuverlässig, aber immer langsamer. Wer ihn halbieren will, braucht ein Vielfaches an Aufwand, und wer ihn noch einmal halbieren will, wieder.

Die praktische Empfehlung daraus lautete, große Modelle zu bauen und das Training früh abzubrechen:

optimally compute-efficient training involves training very large models on a relatively modest amount of data and stopping significantly before convergence (externe Seite, arxiv.org)

Die Korrektur

Zwei Jahre später maßen Hoffmann und Mitautoren dasselbe an über 400 Modellen und kamen zum gegenteiligen Rat:

We find that current large language models are significantly undertrained, a consequence of the recent focus on scaling language models whilst keeping the amount of training data constant. (externe Seite, arxiv.org)

Die Faustregel, die daraus wurde, ist einprägsam:

for every doubling of model size the number of training tokens should also be doubled (externe Seite, arxiv.org)

Damit war die Größe eines Modells als Kennzahl entwertet. Ein kleineres, länger trainiertes Modell kann ein größeres schlagen, und genau deshalb sagt eine Parameterzahl heute wenig über die Fähigkeit. Was sie noch sagt, steht in Kapitel 01: Sie bestimmt, was auf ein Gerät passt. Welche Modellklasse aus dieser Entwertung entstanden ist, behandelt KI-Wissen, Kapitel 10.

Der zweite Weg

2024 kam ein Weg dazu, der beim Antworten ansetzt statt beim Trainieren. Snell und Mitautoren untersuchten, wie viel es bringt, ein Modell länger rechnen zu lassen, bevor es antwortet. Ihr wichtigster Befund ist eine Einschränkung:

the effectiveness of different approaches to scaling test-time compute critically varies depending on the difficulty of the prompt (externe Seite, arxiv.org)

Es hängt also an der Aufgabe. Bei einer, die das Modell ohnehin manchmal löst, wirkt zusätzliche Rechenzeit stark:

test-time compute can be used to outperform a 14x larger model (externe Seite, arxiv.org)

Bei einer, die es gar nicht kann, wirkt sie nicht. Die praktische Folge steht in Grundkurs, Kapitel 10: Der zweite Regler neben der Modellgröße ist der Reasoning Effort, und er kostet Wartezeit und Token.

Der dritte Weg, und wie sicher er gemessen ist

Neben dem Training und der Antwortzeit gibt es einen dritten Zuwachs, und er kostet gar keine Rechenleistung: bessere Verfahren. Epoch AI hat ihn an über 200 Auswertungen aus elf Jahren gemessen, mit dem Ergebnis aus Ebene 1, dass sich der nötige Rechenaufwand für dieselbe Leistung etwa alle acht Monate halbiert.

An dieser Zahl lohnt sich der Blick auf die Streuung. Das Vertrauensintervall reicht von 5 bis 14 Monaten, also fast um den Faktor drei. Und die Arbeit nennt ihre eigene Schwäche:

Though limited by noisy benchmark data (externe Seite, arxiv.org)

Wer diese acht Monate neben die 5,2 aus Zeile 1 stellt, vergleicht damit zwei Zahlen sehr verschiedener Güte. Das gilt für die ganze Tabelle: Sie ordnet Größenordnungen und lädt nicht dazu ein, Zeilen auf den Monat genau gegeneinanderzustellen.

Die Beschleunigung von 2024

Diese Verlagerung ist in den Zahlen sichtbar, und zwar in zwei Reihen, die verschiedene Dinge messen. Epoch AI verfolgt einen eigenen Fähigkeitsindex, METR die Aufgabenlänge. Beide knicken im selben Jahr nach oben:

This is consistent with a similar 2024 acceleration seen in the METR Time Horizon benchmark of 40% in October of 2024 (externe Seite, epoch.ai)

Zwei unabhängige Erhebungen mit demselben Befund sind ein stärkeres Argument als eine. Die Erklärung dazu bleibt allerdings eine Vermutung, und die Quelle sagt das selbst mit dem Wort „coincides“: Sie nennt einen zeitlichen Zusammenfall, keinen nachgewiesenen Grund.

Warum die Fähigkeit schneller wächst als der Preis fällt

Die METR-Arbeit benennt, woher der Zuwachs bei der Aufgabenlänge kommt:

seems to be primarily driven by greater reliability and ability to adapt to mistakes (externe Seite, arxiv.org)

Verlässlichkeit ist eine Eigenschaft des Nachtrainings und der Umgebung, also etwas, das ohne mehr Rechenleistung besser werden kann. Die Preisachse dagegen hängt an Fertigung und Lieferketten, und die haben ihren eigenen Takt.

Deshalb laufen die beiden Kurven auseinander. Ein Betrieb, der plant, sollte beide getrennt betrachten: Was ein Modell kann, ändert sich schneller als das, was es kostet.

Verdopplungszeiten sind eingängig und werden deshalb überstrapaziert. Drei Fragen halten sie im Rahmen: Was behauptet die zugrunde liegende Kurve, wo liegt der Engpass, und was folgt daraus für eine Planung.

Was ein Potenzgesetz behauptet

Die Skalierungsarbeit von 2020 misst über einen bemerkenswerten Bereich:

The loss scales as a power-law with model size, dataset size, and the amount of compute used for training, with some trends spanning more than seven orders of magnitude. (externe Seite, arxiv.org)

Sieben Größenordnungen sind ein Faktor von zehn Millionen. Eine Regelmäßigkeit, die darüber hält, ist ungewöhnlich stabil.

Sie behauptet allerdings etwas anderes, als die meisten daraus lesen. Ein Potenzgesetz sagt, dass der Fehler mit wachsendem Aufwand fällt, und zwar immer langsamer. Es sagt nichts darüber, welche Fähigkeit bei welchem Fehlerwert erscheint. Der Weg von der gemessenen Größe zu einer nützlichen Aussage über Können ist eine eigene Frage, und genau dafür gibt es die Zeithorizont-Messung aus Kapitel 03.

Und es sagt nichts über die Zeit. Dass sich der Rechenaufwand alle 5,2 Monate verdoppelt hat, ist eine Beobachtung über Investitionen, keine Folge des Gesetzes.

Der stille Engpass

Unter den Zahlen aus Ebene 1 sticht eine heraus. Die Speicherbandbreite einer Grafikkarte verdoppelt sich seit 2008 alle 2,8 Jahre, während sich der Rechenaufwand an der Spitze alle 5,2 Monate verdoppelt (Kennzahlenblatt (externe Seite, epoch.ai), Stand 05.02.2026). Rechenwerke gewinnen also erheblich schneller an Tempo als der Weg, auf dem die Zahlen zu ihnen kommen.

Beim Erzeugen von Text ist genau das die bindende Größe. Für jedes einzelne Token muss ein Modell seine Gewichte durch das Rechenwerk schieben, und dabei wartet der Rechner mehr, als er rechnet. Der eigene Werkstattbericht Was lokale Modelle schneller macht misst diesen Fall an einem Arbeitsrechner über vier Textsorten.

Daraus folgt eine unbequeme Erwartung: Die Antwortgeschwindigkeit wird sich langsamer verbessern als die Fähigkeit. Wer heute mit Wartezeiten kämpft, plant also besser mit dem heutigen Tempo. Die nächste Chipgeneration verschiebt diese Grenze nur um einen Bruchteil dessen, was sie an Rechenleistung bringt.

Was den Preis bremst

Die Preisachse hat einen eigenen Takt und einen eigenen Verlauf:

At that rate, the performance a dollar buys doubles every 1.7 years (externe Seite, epoch.ai)

Wichtiger als die Zahl ist die Form der Kurve. Sie verläuft in Sprüngen, gebunden an Chipgenerationen, und dazwischen liegen lange flache Strecken. Wer aus einem Jahreswert einen Monatswert macht, rechnet mit einer Glätte, die es nicht gibt.

Was den Ausbau begrenzt

Zwei Größen sind physisch und deshalb die härtesten Grenzen im Feld. Die eine ist Strom:

We estimate that power draw has grown by 2.1x per year, with a 90% confidence interval of 1.9 to 2.2x (externe Seite, epoch.ai)

Eine Verdopplung des Strombedarfs jedes Jahr lässt sich einige Male wiederholen und danach nicht mehr. Die zweite Größe ist die Bauzeit: Ein Rechenzentrum im Gigawattbereich braucht rund zwei Jahre, und diese Zeit lässt sich mit Geld kaum verkürzen.

Bemerkenswert an der Stromangabe ist, dass sie ihr Vertrauensintervall nennt. Die meisten Zahlen in diesem Feld tun das nicht, und eine Zahl ohne Streuung verführt dazu, ihr mehr Genauigkeit zuzutrauen, als sie hat.

Was eine Verdopplungszeit hergibt

Sie beschreibt die Vergangenheit. Jede der sechs Zeilen aus Ebene 1 ist eine angepasste Gerade durch gemessene Punkte. Über den letzten Punkt hinaus sagt sie nichts, und diese Seite zeichnet solche Linien deshalb nicht weiter.

Die METR-Arbeit selbst zieht eine solche Folgerung und kennzeichnet sie als das, was sie ist: eine Fortschreibung unter der Annahme, dass die Ergebnisse auf wirkliche Softwarearbeit übertragbar sind. Beides sind Annahmen, und die Arbeit diskutiert sie im selben Abschnitt.

Sie eignet sich für Größenordnungen. Wenn sich eine Fähigkeit alle sieben Monate verdoppelt, lohnt es sich, eine Anwendung, die heute knapp scheitert, in einem halben Jahr erneut zu versuchen. Eine Anwendung, die heute um den Faktor zehn scheitert, ist damit knapp zwei Jahre entfernt: Zehn erreicht man über drei bis vier Verdopplungen, also nach 23 Monaten.

Und sie zeigt, wo Sie einhaken. Der Zuwachs bei der Aufgabenlänge kam laut Messung aus Verlässlichkeit und aus dem Umgang mit Fehlern (gemessen von METR (externe Seite, arxiv.org)). An beidem lässt sich ohne Modellwechsel arbeiten, und wie das aussieht, steht in Agenten und Harness, Kapitel 04.