Wo Modelle betrieben werden

Die meisten Anleitungen fangen bei der Frage an, welches Modell das beste ist. Im Betrieb steht eine andere davor, und sie handelt kaum von Technik: Wer könnte sehen, was ich hineinschreibe, und wer sagt mir das mit welcher Verbindlichkeit zu?

Der Ort ist keine Entfernung

Die naheliegende Vorstellung ist eine Skala. Ganz links das Rechenzentrum irgendwo in Übersee, ganz rechts der eigene Laptop, und dazwischen wird der Weg kürzer. Diese Vorstellung führt in die Irre, weil die Entfernung nichts über den Zugriff sagt. Ein Server im Nachbarort, den ein anderer betreibt, ist für Ihre Daten ein fremdes Haus. Ein Rechenzentrum in Übersee, dessen Betreiber vertraglich zusichert, nichts anzusehen, kann die bessere Antwort sein.

Was Sie tatsächlich entscheiden, sind zwei Dinge, und sie hängen nur lose zusammen.

Welches Modell? Ein geschlossenes Spitzenmodell, dessen Gewichte nur der Hersteller hat, oder ein offenes, dessen Gewichte jeder laden kann.

Wer betreibt es? Der Hersteller selbst, ein großer Betreiber, ein europäischer Anbieter, Ihr eigener Server oder Ihr eigenes Gerät.

seitlich verschiebbar

eigene Darstellung, Stand 05.08.2026

Dasselbe Modell, zwei Auskünfte

Wie weit die beiden Fragen auseinanderliegen, zeigt ein Vergleich, den man selbst nachlesen kann.

Anthropic beantwortet die Frage nach europäischen Servern für die eigene Schnittstelle so:

we may route customer traffic to select countries in the US, Europe, Asia and Australia (externe Seite, privacy.claude.com)

Und deutlicher:

Note that data is stored in the US. (externe Seite, privacy.claude.com)

Dieselben Modelle, Opus 5 und Sonnet 5, stehen gleichzeitig in den europäischen Regionen eines großen Betreibers zur Verfügung, unter anderem in Frankfurt, Irland, Paris und Stockholm (Verfügbarkeitstabelle (externe Seite, docs.aws.amazon.com), abgerufen am 05.08.2026). Das Modell ist dasselbe. Die Auskunft darüber, wo die Daten liegen, ist es nicht.

Was ein Betreiber zusagt

Der Betreiber steht zwischen Ihnen und dem Hersteller. Microsoft schreibt für die Modelle, die es ausliefert:

are NOT available to OpenAI or other providers of Models sold by Azure. (externe Seite, learn.microsoft.com)

Microsoft hosts the Models sold by Azure in Microsoft’s Azure environment and Models sold by Azure do NOT interact with any services operated by providers of Models sold by Azure (externe Seite, learn.microsoft.com)

Amazon löst dieselbe Aufgabe über getrennte Konten und beschreibt die Folge davon:

Because the model providers don’t have access to those accounts, they don’t have access to Amazon Bedrock logs or to customer prompts and completions. (externe Seite, docs.aws.amazon.com)

Sie tauschen damit nicht den Vertrauensempfänger gegen niemanden, Sie tauschen ihn gegen einen anderen. Wem Sie glauben, bleibt eine Entscheidung. Neu ist, dass Sie eine Wahl haben, und dass diese Wahl das Datenschutzversprechen mitbringt, das Sie bei demselben Haus vielleicht ohnehin schon eingekauft haben.

Die Stufen, die daraus entstehen

Der Hersteller selbst. Der Normalfall, das neueste Modell zuerst, die Zusage kommt von dem, der das Modell gebaut hat.

Ein großer Betreiber. Dieselben Modelle in einer fremden Umgebung, mit der Zusage dieses Betreibers und dessen Regionen. Die Stufe wird im Gespräch am häufigsten übersehen.

Ein europäischer Anbieter. Offene Modelle als Schnittstelle, mit einer Festlegung auf einen Verarbeitungsort. IONOS etwa schreibt für seinen Modell-Dienst, dass die

data processing is confined within Germany (externe Seite, docs.ionos.com)

Ein eigener Server. Sie laden ein offenes Modell und betreiben es selbst. Der Text verlässt Ihre Umgebung nie, dafür kaufen Sie Hardware, betreiben sie und sind für die Aktualität selbst verantwortlich.

Der eigene Rechner. Dasselbe eine Nummer kleiner. Ein Programm wie Ollama (externe Seite, ollama.com) lädt ein Modell und führt es auf Ihrem Laptop aus. Was dabei geht und was nicht, rechnet Ebene 3 vor.

Für ein geschlossenes Spitzenmodell fallen die letzten drei Stufen weg, und zwar aus einem einzigen Grund: Betreiben kann es nur, wem der Hersteller die Gewichte gibt. Dass dabei auch Bewegung ist, zeigt eine Ankündigung vom 24.09.2025, nach der OpenAI-Modelle in einer deutschen Umgebung laufen sollen,

Delos Cloud, running on Microsoft Azure technology (externe Seite, news.sap.com)

mit einem Ausbau auf 4000 GPUs (externe Seite, news.sap.com) und einem geplanten Start im Jahr 2026. Auch das bleibt eine Betreiberkette, sie wird nur länger und endet näher.

Offen heißt nicht, dass es bei Ihnen läuft

Der häufigste Kurzschluss in diesem Thema: Ein Modell mit offenen Gewichten gilt als das, was man selbst betreibt. Die beiden Eigenschaften haben nichts miteinander zu tun.

Offen heißt, die Gewichte sind herunterladbar. Lokal heißt, sie laufen auf Ihrer Hardware. Das eine erlaubt das andere, es garantiert es nicht.

Kimi K3 ist das Musterbeispiel. Die Gewichte stehen öffentlich, jeder darf sie laden, und die Modellkarte nennt sich selbst

the world’s first open 3T-class model (externe Seite, huggingface.co)

Die Dateien wiegen zusammen 1,56 Terabyte. Ein Laptop scheidet damit aus, ein gewöhnlicher Server auch. Was offen hier praktisch bedeutet: Sie können den Betreiber wechseln, statt an einen gebunden zu sein. Ausführlich steht das im Beitrag Was offene Gewichte wert sind, wenn sie 1,56 Terabyte wiegen.

Umgekehrt gilt dasselbe: Auf Ihrem Laptop läuft ausschließlich ein offenes Modell, weil Sie an die Gewichte der geschlossenen gar nicht herankommen.

Woran Sie die Wahl festmachen

Fünf Größen ziehen gleichzeitig, und keine davon lässt sich ohne die anderen beantworten.

Leistung. Zwischen einem Modell, das auf einen Laptop passt, und der Spitze liegt ein Abstand in der Güte, den Ebene 3 beziffert. Daneben steht das Tempo, und das hängt am eigenen Gerät: Ein Werkstattbericht misst, was die üblichen Beschleuniger auf einem Arbeitsrechner ausrichten.

Datenschutz. Wer darf die Eingaben rechtlich verarbeiten, und in welchem Land sitzt der Vertragspartner.

Datensicherheit. Wer könnte sie technisch sehen, auch ohne dazu berechtigt zu sein. Das ist eine eigene Frage, und Ebene 3 zeigt eine Bauform, die sie anders beantwortet als alle Stufen oben.

Verfügbarkeit. Ein eigener Server steht still, wenn niemand ihn pflegt. Ein Anbieter steht still, wenn er es tut.

Kosten. Eine Grafikkarte kostet dasselbe, ob sie rechnet oder wartet, ein Anbieter kostet je Anfrage.

„Wird das zum Training verwendet?“ hat keine Antwort, solange die Frage so gestellt ist. Sie hat vier, und welche gilt, hängt am Anbieter und an der Kontoart.

Dieselbe Firma, zwei Voreinstellungen

OpenAI schreibt beide Fälle auf dieselbe Hilfeseite. Für Privatkonten:

When you use our services for individuals, such as ChatGPT and Codex, we may use your content to train our models. (externe Seite, help.openai.com)

Und mit der Richtung des Schalters. Voreingestellt ist das Training, abgeschaltet wird es von Hand:

After you opt out, we won’t use your new conversations to improve our models. (externe Seite, help.openai.com)

Weiter unten auf derselben Seite steht das Gegenteil, für die Firmenkonten:

By default, we don’t use inputs or outputs from ChatGPT Business, ChatGPT Enterprise, ChatGPT Edu, or our API to improve our models. (externe Seite, help.openai.com)

Wer also über ein Firmenkonto oder die Schnittstelle arbeitet, hat die Frage schon beantwortet, ohne etwas einzustellen. Wer dieselbe Oberfläche mit einem privaten Zugang benutzt, hat sie ebenfalls beantwortet, in die andere Richtung.

Drei Anbieter, drei Antworten

Anthropic führt zwei getrennte Hilfeseiten, eine für kommerzielle Angebote und eine für Privatkonten, beide zuletzt am 16.03.2026 aktualisiert. Für die kommerziellen gilt dasselbe wie bei OpenAI:

By default, we will not use your inputs or outputs from our commercial products (externe Seite, privacy.claude.com)

Für die Privatkonten steht dort allerdings der umgekehrte Schalter. Die Seite zählt drei Fälle auf, in denen Gespräche in die Modellverbesserung gehen, und der erste lautet:

You choose to allow us to use your chats and coding sessions to improve Claude (externe Seite, privacy.claude.com)

Bei Google liegt der Fall wieder anders. Gemini Apps verwendet die Unterhaltungen zur Verbesserung der Dienste, und Menschen lesen einen Teil davon. Die Seite formuliert die Folge daraus als Bitte:

Please don’t enter confidential information that you wouldn’t want a reviewer to see (externe Seite, support.google.com)

Anbieter	Privatkonto	Firmenkonto und Schnittstelle
OpenAI	wird verwendet, bis man widerspricht	wird ohne Zustimmung nicht verwendet
Anthropic	wird nur nach Zustimmung verwendet	wird ohne Zustimmung nicht verwendet
Google (Gemini Apps)	wird verwendet, Menschen lesen mit	eigene Bedingungen je Produkt

Stand 05.08.2026, nach den oben zitierten Seiten. Die rechte Spalte ist überall gleich, die linke nirgends. Wer „die KI“ sagt und dabei an eine einheitliche Zusage denkt, meint drei verschiedene.

Die vierte Antwort kommt von jemand anderem

Alle drei Zeilen der Tabelle handeln vom Hersteller. Sobald ein Betreiber dazwischentritt, wird die Frage noch einmal neu beantwortet, und zwar von ihm. Amazon beschreibt für die fremden Modelle, die es ausliefert, einen Aufbau mit getrennten Konten:

Model providers don’t have any access to those accounts. (externe Seite, docs.aws.amazon.com)

Microsoft sagt dasselbe als Aufzählung dessen, was mit Eingaben und Ausgaben nicht geschieht. Ein Punkt darin betrifft den Hersteller des Modells:

are NOT available to OpenAI or other providers of Models sold by Azure. (externe Seite, learn.microsoft.com)

Praktisch heißt das: Bei derselben Modellfamilie können drei verschiedene Verträge gelten, je nachdem, über welchen Weg Sie sie ansprechen. Für die Prüfung eines Vorhabens lautet die erste Frage deshalb, mit wem der Vertrag darüber besteht. Welches Modell darunter läuft, klärt sich danach.

Kein Training heißt nicht, dass niemand hineinsieht

Die Zusage, nichts zum Training zu verwenden, ist die bekannteste, und sie beantwortet nur eine von zwei Fragen. Die zweite lautet, ob ein Mensch die Eingaben zu sehen bekommt, und dafür gibt es einen eigenen Grund, der mit Training nichts zu tun hat: die Erkennung von Missbrauch.

Microsoft beschreibt sie ausführlich. Auffällige Anfragen können einer menschlichen Durchsicht vorgelegt werden, und die Seite sagt, wer dafür zuständig ist:

the authorized Microsoft employees are located in the European Economic Area (externe Seite, learn.microsoft.com)

Das ist eine gute Nachricht und zugleich der Beleg dafür, dass es diese Durchsicht gibt. Abschalten lässt sie sich nur auf Antrag und nach Prüfung.

Für die Praxis folgt daraus eine unbequeme Trennung. „Wird nicht trainiert“ ist eine Aussage über die Zukunft des Modells. „Sieht niemand“ ist eine Aussage über den Betrieb, und die steht woanders.

Der Daumen hebt die Einstellung auf

Hier wird es praktisch, denn dieser Teil steht bei zwei Anbietern unabhängig voneinander und fast wortgleich da. OpenAI:

Even if you have opted out of training, you can still choose to provide feedback to us about your interactions with our products (externe Seite, help.openai.com)

If you choose to provide feedback, the entire conversation associated with that feedback may be used to train our models. (externe Seite, help.openai.com)

Anthropic nennt zusätzlich die Frist:

When you provide us feedback via our thumbs up/down button, we will store the entire related conversation, including any content, custom styles or conversation preferences, in our secured back-end for up to 5 years. (externe Seite, privacy.claude.com)

Ein Klick auf den Daumen ist also eine Datenfreigabe für das ganze Gespräch, und zwar auch dann, wenn man dem Training vorher widersprochen hat. Das ist keine versteckte Klausel, es steht auf der Hilfeseite. Bekannt ist es trotzdem kaum, weil der Knopf wie eine Bewertung aussieht.

seitlich verschiebbar

eigene Darstellung, Stand 05.08.2026

Löschen löscht verschieden viel

Die dritte Frage nach Training und Ort ist die Aufbewahrung, und dort stehen konkrete Zahlen.

OpenAI beziffert für Geschäftskunden eine Frist, die nach dem Löschen läuft:

Any deleted conversations are removed from our systems within 30 days, unless we are legally required to retain them. (externe Seite, openai.com)

Bei Google gibt es zwei Uhren nebeneinander. Die gewöhnliche Aktivität verschwindet nach anderthalb Jahren von selbst:

Your activity is auto-deleted after 18 months. (externe Seite, support.google.com)

Für Unterhaltungen, die ein Mensch geprüft hat, gilt jedoch eine eigene Regel, und die überlebt das Löschen:

Chats reviewed by human reviewers (and related data like your language, device type, location info, or feedback) are not deleted when you delete your activity. Instead, they are retained for up to three years. (externe Seite, support.google.com)

Das ist der Satz, den man gelesen haben sollte, bevor man sich auf den Löschknopf verlässt. Er löscht das, was Sie sehen. Was ein Prüfer bereits in der Hand hatte, bleibt bis zu drei Jahre.

Was daraus folgt

Prüfen Sie die Kontoart, nicht die Marke. Dieselbe Oberfläche verhält sich je nach Zugang verschieden, und der Unterschied ist die ganze Frage.

Behandeln Sie den Daumen wie eine Freigabe. Er ist bei zwei von drei Anbietern belegt genau das. Wer bei einem heiklen Gespräch bewerten möchte, tut es besser an einem harmlosen.

Schreiben Sie das Ergebnis auf. Die zitierten Seiten nennen ein Aktualisierungsdatum und werden überschrieben statt versioniert. Eine Zusage, die Sie heute lesen, gilt für heute. Wer sie einmal geprüft hat, notiert Datum und Wortlaut, sonst prüft er beim nächsten Zweifel von vorn.

Die Frage „passt das auf meinen Rechner?“ hat eine Rechnung dahinter, und sie ist kurz genug, um sie im Kopf zu machen.

Die Rechnung hinter der Dateigröße

Ein Modell ist eine Liste von Zahlen, ein Gewicht je Parameter. Wie viel Platz es braucht, ergibt sich aus zwei Größen: wie viele Parameter, und wie viele Bit je Parameter gespeichert werden.

Trainiert wird üblicherweise mit 16 Bit, also zwei Byte je Parameter. Ein Modell mit 27 Milliarden Parametern käme damit auf rund 54 Gigabyte. Heruntergeladen wird etwas anderes. Die Bezugsseite von Gemma 3 führt fünf Größen,

Available in 270M, 1B, 4B, 12B, and 27B parameter sizes (externe Seite, ollama.com)

und nennt je Variante die Dateigröße in der voreingestellten Fassung: 3,3 Gigabyte für 4B, 8,1 für 12B und 17 für 27B, abgerufen am 05.08.2026. Die größte Variante wiegt damit knapp ein Drittel dessen, was die volle Genauigkeit verlangen würde.

Quantisierung, und wann sie eingebaut wird

Der Unterschied heißt Quantisierung: Die Gewichte werden gröber gespeichert, vier oder fünf Bit statt sechzehn. Das kostet Genauigkeit, und wie viel es kostet, hängt davon ab, wann es geschieht.

Der übliche Weg ist Schrumpfen nach dem Training. Der Verlust landet dann dort, wo er zufällig anfällt. Kimi K3 zeigt den anderen Weg, und die Modellkarte schreibt ihn hin:

Kimi K3 applies quantization-aware training from the SFT stage onward, using MXFP4 weights with MXFP8 activations for broad hardware compatibility (externe Seite, huggingface.co)

Das Modell wurde also ab dem Fine-Tuning mit der groben Darstellung trainiert. Es rechnet den Verlust ein, statt ihn hinterher zu erleiden. Was das für die Größe ausmacht, rechnet der Beitrag Was offene Gewichte wert sind, wenn sie 1,56 Terabyte wiegen vor.

seitlich verschiebbar

eigene Darstellung, Stand 05.08.2026

Wo die Grenze eines Geräts liegt

Die Datei muss in den Arbeitsspeicher, nicht auf die Platte. Dazu kommt Platz für das Kontextfenster, und der wächst mit dessen Länge. Als Näherung: Nehmen Sie die Dateigröße, rechnen Sie ein Viertel dazu, und dieser Betrag muss frei sein, während alles andere weiterläuft.

Für ein Gerät mit 16 Gigabyte heißt das in der Praxis: die 4B-Variante ohne Nachdenken, die 12B-Variante mit geschlossenen Programmen daneben. Die 27B-Variante braucht ein Gerät mit deutlich mehr Speicher.

Zwei Programme nehmen einem die Verwaltung ab. Ollama (externe Seite, ollama.com) lädt Modelle über einen Befehl und stellt eine Schnittstelle bereit, die sich wie die eines Anbieters ansprechen lässt. LM Studio (externe Seite, lmstudio.ai) macht dasselbe mit einer Oberfläche darüber. Beide führen dieselben Dateien aus.

Läuft und taugt sind zwei Fragen

Ein 4B-Modell startet auf jedem halbwegs aktuellen Laptop. Damit ist über die Qualität nichts gesagt. Der Abstand zur Spitze ist bei Aufgaben, die hauptsächlich Umformung sind, klein, etwa beim Zusammenfassen oder beim Herausziehen eines Felds. Bei Aufgaben über mehrere Schritte wird er groß, und das aus demselben Grund, den Grundkurs, Kapitel 10 beschreibt. Wie weit kleine Modelle inzwischen reichen, misst KI-Wissen, Kapitel 10.

Praktisch bewährt sich daraus eine Kette. Die Aufgabe geht zuerst an den Anbieter, und wenn der ausfällt oder die Daten dort nichts zu suchen haben, übernimmt das lokale Modell. Die Zusage dafür steht auf der Seite des Tools:

Nothing you run locally ever leaves your machine. (externe Seite, ollama.com)

Your prompts are never tracked or trained on. (externe Seite, ollama.com)

Der Satz steht dort in einer Aufzählung, die lokal und gehostet ausdrücklich trennt: Dieselbe Seite verkauft seit dem Sommer 2026 auch Rechenzeit, und deren Modelle stehen in den Vereinigten Staaten, Europa und Singapur. Für die Stufe, um die es hier geht, zählt der erste Satz.

Ein Beispiel für eine solche Stufung samt Messungen liegt im Bericht über eine eigene Diktier-App, wo die Nachbearbeitung des erkannten Textes lokal läuft.

Der eigene Server rechnet sich über die Auslastung

Zwischen Laptop und Anbieter liegt die Stufe, die im Firmenumfeld am häufigsten diskutiert wird: eigene Hardware im Serverraum oder bei einem Dienstleister. Drei Posten entscheiden, und keiner davon ist der Anschaffungspreis allein.

Auslastung. Eine Grafikkarte kostet dasselbe, ob sie rechnet oder wartet. Die Rechnung geht auf, wenn viele Anfragen gleichzeitig laufen, weil ein Modell dann mehrere Anfragen im selben Durchlauf bearbeitet. Bei zehn Anfragen am Tag zahlen Sie Hardware für 23 Stunden Leerlauf.

Aktualität. Sie sitzen auf dem Modell, das Sie geladen haben. Ein Anbieter tauscht seine Modelle mehrmals im Jahr aus, ein eigener Betrieb bleibt stehen, bis jemand das nächste einspielt und die Kette dahinter erneut prüft.

Betrieb. Treiber, Speicher, Ausfälle, Überwachung. Der Aufwand entspricht dem jedes anderen Servers, und er fällt auch dann an, wenn niemand fragt.

Deshalb lohnt der Blick auf die Zwischenstufe, bevor eine Beschaffung beginnt. Wer die Verarbeitung in Europa braucht, bekommt sie bei den Anbietern als Einstellung:

Eligible customers can now opt to store and process data with the United States or within Europe. (externe Seite, help.openai.com)

Das beantwortet einen großen Teil der Fragen, die sonst zum eigenen Server führen, ohne dass jemand Hardware betreibt.

Die Region ist nicht der Schalter

Hier liegt die Falle, an der eine sorgfältig geplante Beschaffung scheitert. Eine europäische Region auszuwählen genügt nicht, denn daneben steht eine zweite Einstellung, die entscheidet, wo tatsächlich gerechnet wird. Microsoft benennt sie als Bereitstellungstyp und schreibt für die weltweite Variante:

prompts and responses may be processed in any geography where the relevant model sold by Azure is deployed (externe Seite, learn.microsoft.com)

Die Ressource liegt dann in Europa, die Verarbeitung möglicherweise nicht. Eine Zwischenstufe legt die Verarbeitung auf einen Verbund von Ländern fest, eine regionale Bereitstellung auf die gewählte Region allein. Wer eine Zusage braucht, prüft also beide Angaben, und die zweite steht anderswo als die Region.

Dasselbe gilt für die Fassung, die man bei sich hat: Ein nachtrainiertes Modell liegt dort, wo es entstanden ist, und bindet damit an den Betreiber, bei dem es entstand. Was diese Bindung für die Entscheidung bedeutet, steht in Kapitel 02.

Eine Stufe unterhalb des Vertrauens

Alle bisherigen Stufen laufen auf dieselbe Frage hinaus: Wem glauben Sie? Es gibt eine Bauform, die diese Frage anders stellt. Bei der vertraulichen Verarbeitung wird der Speicher der Recheneinheit verschlüsselt, und entschlüsselt wird erst innerhalb einer abgeschotteten Umgebung, an die auch der Betreiber nicht herankommt. NVIDIA beschreibt die Zusage so:

not to the model provider, not to the infrastructure operator, and not to any privileged insider (externe Seite, nvidia.com)

Even infrastructure administrators with full system privileges cannot access the data or models running inside a CVM. (externe Seite, nvidia.com)

Damit verschiebt sich der Gegenstand des Vertrauens von einem Vertrag auf eine Hardware-Eigenschaft, die sich bescheinigen lässt. Der Preis dafür ist Aufwand bei der Einrichtung und ein Angebot, das noch nicht überall danebensteht. Für Vorhaben, bei denen die Frage nach dem Zugriff sonst zum eigenen Serverraum führt, lohnt die Nachfrage beim Betreiber trotzdem.