Alle Meldungen

Thinking Machines ver­öf­fent­licht mit Inkling 2 Mini ein offenes Modell, das durch dreifach durch­lau­fene Schichten mehr rechnet, als seine Größe vermuten lässt, und für lokale Rechner gedacht ist

Inkling 2 Mini von Thinking Machines Lab durchläuft 12 seiner 24 Schichten dreimal mit denselben Gewichten und rechnet so tief wie ein Modell mit 48 Schichten: Gespart werden gespeicherte Gewichte, die Rechenarbeit und der eigene Zustand je Schichtbesuch bleiben bei 48.

MeldungModelle

Thinking Machines Lab hat am 20. November mit Inkling 2 Mini ein Modell mit offenen Gewichten veröffentlicht, das für lokale Rechner gedacht ist. Vorgestellt hat es Hugging Face in einem eigenen Beitrag. Das Modell nimmt Text und Bilder entgegen und verarbeitet bis zu einer Million Token Kontext. Es gehört zu den Mixture-of-Experts-Modellen, bei denen für jedes Token nur ausgewählte Teilnetze rechnen, die Experten. Von rund 26 Milliarden Parametern sind je Token 3 Milliarden aktiv, bei jedem Schichtbesuch werden 8 von 128 Experten gewählt. Das Besondere liegt im Aufbau: Von 24 Schichten laufen die 12 mittleren dreimal hintereinander, jedes Mal mit denselben Gewichten. So kommt das Modell auf 48 logische Schichten, obwohl es nur 24 speichert.

Drei Durchläufe durch denselben Kern

Die Schichten 0 bis 5 laufen einmal, die Schichten 6 bis 17 dreimal, die Schichten 18 bis 23 wieder einmal. Schleifen dieser Art haben andere Architekturen schon erprobt, der Beitrag nennt Nanbeige. Neu an Inkling 2 Mini ist, wie die Durchläufe zusammenhängen. Jeder Durchlauf durch den Kern beginnt bei derselben Eingabe, dem Ergebnis der ersten sechs Schichten. Was ein Durchlauf errechnet hat, gelangt über kurze Nachrichten in den nächsten: Jede Schicht im Kern liest aus den Ausgaben des vorigen Durchlaufs eine eigene Nachricht, und ein kleiner Regler entscheidet, wie viel von der aktuellen Eingabe vergessen und wie viel von der Nachricht dazugenommen wird. Jeder Durchlauf verfeinert so das Ergebnis des vorherigen.

Gespeichert werden 24 Schichten, gerechnet werden 48

Bisher galt eine einfache Rechnung: Wer einem Modell mehr Rechentiefe geben will, braucht mehr Schichten, und jede Schicht liegt als eigener Satz Gewichte im Speicher. Auf lokalen Geräten mit knappem Speicher war die Tiefe damit an die Größe gebunden. Inkling 2 Mini löst diese Kopplung an einer Stelle. Weil der Kern seine Gewichte wiederverwendet, speichert der Checkpoint weniger verschiedene Schichten, und das Modell rechnet trotzdem so tief wie eines mit 48. Das größere Inkling 2 Small kommt ebenfalls auf 48 Schichtbesuche je Token, ist breiter gebaut und wählt seine 8 Experten je Schicht aus 384, das Mini aus 128.

Daraus liegt der Schluss nahe, das Modell bekomme die Leistung von 48 Schichten zum Preis von 24. Für den Speicher der Gewichte stimmt das. Die Rechenarbeit umfasst weiter alle 48 Besuche je Token, und jeder Besuch behält seinen eigenen Zwischenspeicher für Schlüssel und Werte sowie seinen eigenen Zustand der kurzen Faltung. Die Wiederholung erhöht also die Zahl der Rechenschritte je Token, während die Zahl der gespeicherten Schichten gleich bleibt. Jeder Block aus sechs Schichten enthält fünf, die nur auf ein lokales Fenster zurückblicken, und eine, die den ganzen Kontext sieht. Einen Hebel an der Rechenarbeit zeigt ein zweites Modell mit derselben Architektur, das ausdrücklich als Forschungsstück erschienen ist: Es wurde darauf trainiert, mit wechselnder Zahl von Durchläufen zu arbeiten. Mit 1 oder 2 Durchläufen statt 3 läuft es deutlich schneller, die Antworten können dann etwas schwächer ausfallen. Hugging Face hat diese Variante ausprobiert und meldet, dass sie funktioniert, gründlich bewertet ist sie noch nicht.

Fassungen für den eigenen Rechner und Stichproben beim Programmieren

Für den Einsatz auf eigenen Geräten gibt es Fassungen für llama.cpp und die Llama App. Die Llama App stammt vom selben Team wie llama.cpp, startet und verwaltet lokale Sprachmodelle unter macOS und Windows und stellt eine lokale Schnittstelle im Stil von OpenAI für Coding-Agenten, Editoren und Skripte bereit. Beide Modelle liegen dort in 4-Bit- und 8-Bit-Quantisierung vor. Für den Betrieb auf Hardware im Rechenzentrum unterstützt SGLang das Modell vom ersten Tag an. Mitgeliefert wird außerdem ein DSpark-Drafter, der die Ausgabe gegen etwas zusätzlichen Speicher weiter beschleunigt.

Im Vergleich mit Gemma 4 31B, Muse Glimmer, Qwen3.8-27B und Nemotron 3.5 Super VL liegt Inkling 2 Mini nach dem Beitrag in 32 von 48 Benchmarks vorn, aus Bereichen vom Programmieren über Werkzeugnutzung bis zu Bildverständnis und Sicherheit. Beim Programmieren führt es in FrontierCode v2.0, liegt in Terminal-Bench 4.0 gleichauf mit Qwen3.8-27B und in AutomationBench-AA v1.0.6 hinter Qwen. In eigenen, informellen Stichproben sieht Hugging Face das Modell mindestens auf der Höhe von Qwen 3.8 27B und schreibt selbst, dass weitere Validierung nötig ist. Die vollständige Liste der Ergebnisse verweist der Beitrag auf die Modellkarte. Offen bleibt damit, wie sich die Schleife im Alltag gegen herkömmlich gebaute Modelle gleicher Größe schlägt. Wer bei der For­schungs­va­ri­ante zwischen einem, zwei und drei Durchläufen wählt, hat dafür bisher nur die Auskunft, dass weniger Durchläufe schneller und etwas schwächer sind.

Quellen

1 Eintragalle erreichbar

Erreichbarkeit automatisch geprüft

Alle Meldungen

↑↓ auswählenEnter öffnenDie Suche läuft im Browser. Nichts wird übertragen.