NachschlagenGlossarGrundlagen
Grundlagen
Die Wörter, ohne die der Rest nicht zu lesen ist. Was ein Token ist, was im Kontext steht, was ein Prompt umfasst.
27 Begriffe27 mit Kapitelverweis97 Zweitwörter im Indexalle 158 im Verzeichnis
Abtastrate
Wie oft ein Ton je Sekunde gemessen wird, bevor er zu Zahlen wird.
Das verbreitete Format des Telefonnetzes misst achttausend Mal in der Sekunde, mit acht Bit je Messung; beides steht seit Jahrzehnten in einer Empfehlung der Fernmeldeunion. Derselbe Standard führt daneben G.722 mit sechzehntausend, und welches Format gilt, handeln die Endpunkte aus. Die Spracherkennung rechnet auf sechzehntausend und bringt jede Aufnahme vorher dorthin. Was über die schmale Strecke ankommt, wird also hochgerechnet, und Hochrechnen erzeugt keine Information, die vorher gefehlt hat. Was das für die Erkennungsqualität bedeutet, ist damit noch nicht gesagt: Dazu gibt es keine Erhebung, die man ohne eigene Messung übernehmen könnte.
auchSampling Rate · Samplerate
Kapitel 04 · Über das TelefonRFC 3551, RTP Profile for Audio and Video Conferences with Minimal ControlRobust Speech Recognition via Large-Scale Weak Supervisionsiehe Spracherkennungsiehe Session Initiation Protocol
Anwendung
Das Programm, das Sie bedienen. Es benutzt im Inneren ein Sprachmodell.
Oberfläche, Gesprächsverlauf, Systemanweisung, Dateiverarbeitung, Suche, Rechteverwaltung. Hier entsteht der weitaus größte Teil dessen, was Menschen als Verhalten wahrnehmen. ChatGPT ist eine Anwendung, GPT-4o ist ein Modell.
auchChatprogramm · Chatbot · App · Assistent
Kapitel 01 · Was ein Sprachmodell istIntroducing ChatGPT2025 · Die Anwendung wählt das Modell, und wieder nicht2022 · ChatGPT2021 · GitHub Copilot, das Modell schreibt mitsiehe Sprachmodellsiehe Laufzeitumgebung
Artificial General IntelligenceAGI
Das Kürzel für ein System, das geistige Aufgaben so breit und so gut beherrscht wie ein Mensch. Eine geteilte Definition gibt es dafür so wenig wie für KI selbst.
Drei Bestimmungen sind in Gebrauch, und sie messen drei verschiedene Dinge. OpenAI meint in seiner Grundsatzerklärung hochgradig autonome Systeme, die Menschen bei den meisten wirtschaftlich wertvollen Arbeiten übertreffen, also eine wirtschaftliche Schwelle. Google DeepMind legt den Begriff 2023 in eine Tabelle mit sechs Leistungsstufen und zwei Breiten: Die Chatprogramme jenes Jahres stehen dort auf Stufe 1, Emerging AGI, die Stufe 2 hatte zum Zeitpunkt der Arbeit kein öffentliches System erreicht, und OpenAIs Schwelle entspricht nach der Lesart der Autoren Stufe 4. François Chollet bestimmt Intelligenz 2019 als Lerneffizienz, die Geschwindigkeit, mit der ein System aus wenig Erfahrung eine neue Fähigkeit gewinnt, und macht daraus den Test ARC. Wer AGI sagt, sollte dazusagen, welche der drei gemeint ist. Die Verlegenheit dahinter ist dieselbe wie beim Begriff KI: Der Mann, der das Wort künstliche Intelligenz prägte, sagte auf die Frage nach einer allgemeinen Bestimmung von Intelligenz schlicht Not yet.
auchAGI · Allgemeine künstliche Intelligenz · General Intelligence
Kapitel 11 · Woher der Begriff KI kommtOpenAI CharterLevels of AGI for Operationalizing Progress on the Path to AGIOn the Measure of IntelligenceWhat is Artificial Intelligence?siehe ARCsiehe ARC-AGI-3siehe Benchmarksiehe Dartmouth-Konferenz
Backpropagation
Das Verfahren, das den gemessenen Fehler rückwärts durch die Schichten eines Netzes verteilt.
Nach dem Durchlauf nach vorn steht ein Fehlerwert fest. Die Rechnung läuft dann rückwärts: Für die letzte Schicht lässt sich unmittelbar bestimmen, wie jedes ihrer Gewichte auf den Fehler wirkt, für die vorletzte folgt es aus dem Ergebnis der letzten, und so weiter bis zum Eingang. Im Kern ist das eine Anwendung der Kettenregel. Danach bewegt sich jedes Gewicht ein Stück in die ermittelte Richtung. Der Rückweg braucht die Zwischenergebnisse aller Schichten im Speicher, und daher kostet ein Training so viel mehr als eine Anfrage.
auchFehlerrückführung · Rückpropagierung · backprop
Kapitel 03 · Neuronale Netze und Deep LearningThe Nobel Prize in Physics 2024, press releasesiehe Neuronales Netzsiehe Gewichtesiehe Verlustfunktion
Byte Pair EncodingBPE
Das Verfahren, mit dem fast alle heutigen Tokenizer arbeiten. Häufige Zeichenfolgen werden zu einem Token zusammengefasst.
Ursprünglich ein Verfahren zur Datenkompression, 2015 auf Sprache übertragen. Damit war das Problem seltener Wörter gelöst: Ein unbekanntes Wort gilt nicht mehr als unbekannt, sondern zerfällt in bekannte Teile.
auchBPE · Subword-Verfahren · Subword Units
Kapitel 03 · Token, die Bausteine der SpracheNeural Machine Translation of Rare Words with Subword Units2015 · Byte Pair Encoding für Sprachesiehe Tokenizersiehe Vokabular
Dartmouth-Konferenz
Die Zusammenkunft im Sommer 1956, für die der Begriff künstliche Intelligenz erfunden wurde.
Beantragt am 31.08.1955 von John McCarthy, Marvin Minsky, Nathaniel Rochester und Claude Shannon, für zwei Monate und zehn Personen. Der erste Satz des Antrags enthält den Begriff artificial intelligence, und das ist sein frühester Beleg. Die sieben Arbeitsgebiete, die der Antrag aufzählt, sind bis heute die Gliederung des Fachs: automatische Rechner, Sprache, neuronale Netze, die Größe einer Berechnung, Selbstverbesserung, Abstraktion, Zufall und Kreativität. Die Grundthese steht dort ausdrücklich als Vermutung, dass sich jeder Aspekt von Lernen und Intelligenz so genau beschreiben lässt, dass eine Maschine ihn nachbilden kann.
auchDartmouth Summer Research Project · Dartmouth 1956
Kapitel 11 · Woher der Begriff KI kommtA Proposal for the Dartmouth Summer Research Project on Artificial Intelligencesiehe Symbolische KIsiehe KI-System
Enthaltung
Die Antwort, dass es keine Antwort gibt. Ob sie etwas wert ist, entscheidet die Bewertung.
Kennt eine Bewertung nur richtig und falsch, ist Enthaltung immer die schlechtere Wahl: Sie bringt sicher nichts ein, während Raten wenigstens eine Chance hat. Ein Modell, das über Millionen solcher Aufgaben so gemessen wird, lernt entsprechend zu antworten. Prüfsätze mit einem dritten Fach für „nicht versucht“ machen die Zurückhaltung erst sichtbar und damit belohnbar.
auchAbstention · Ich weiß es nicht · IDK · Nichtbeantwortung · sich enthalten
Kapitel 07 · Halluzinationen erkennenWhy Language Models HallucinateMeasuring short-form factuality in large language modelssiehe Halluzinationsiehe Benchmarksiehe Kalibrierung
Feature
Eine aus den Rohdaten berechnete Größe, auf die ein Lernverfahren sieht.
Bis etwa 2012 hat ein Mensch die Features entworfen: Kanten und Farbverteilungen bei Bildern, Worthäufigkeiten bei Texten. Diese Arbeit hieß Feature Engineering und war der Hauptteil des Aufwands. Ein tiefes Netz stellt die Zwischenstufen selbst her, womit der Entwurf in die ersten Schichten gewandert ist.
auchMerkmal · Merkmalsentwurf · Feature Engineering · Merkmalsraum
Kapitel 04 · Mustererkennung und Klassifikationsiehe Klassifikationsiehe Neuronales Netzsiehe Embedding
Halluzination
Eine flüssig formulierte, aber falsche Angabe. Kein Fehler im Betrieb, sondern die Kehrseite des Verfahrens.
Ein Modell wählt das wahrscheinlichste nächste Token, nicht das wahre. Wo es nichts Passendes gelernt hat, erzeugt es trotzdem etwas Plausibles. Warnsignale sind sehr genaue Zahlen ohne Quelle, erfundene Zitate und auffällig glatte Antworten auf schwierige Fragen. Dieselbe Klasse trifft auch vorliegendes Material: Hersteller führen eine eigene Fehlerart für erfundene oder falsch wiedergegebene Angaben über Dateien, Tool-Ausgaben und frühere Gesprächsbeiträge.
auchHalluzinieren · Konfabulation · erfundene Angaben · Hallucination
Kapitel 02 · Was ein Sprachmodell tutKapitel 07 · Halluzinationen erkennenBeitrag · Warum ich eine eigene Diktier-App gebaut habeWhy Language Models Hallucinatesiehe Kontextsiehe RAGsiehe Enthaltungsiehe Grounding
Interpretierbarkeit
Verfahren, mit denen sich benennen lässt, was in einem Modell während der Rechnung passiert.
Aus den Gewichten allein lässt sich keine Regel ablesen, weil eine Eigenschaft über viele verteilt liegt. Ein zweites, schlankes Netz kann die Aktivierungen jedoch als Summe weniger benennbarer Bestandteile darstellen, und daraus lässt sich ein Weg durch das Modell zeichnen. Die Autoren beziffern die Grenze selbst: ein Bruchteil der Rechnung, und Stunden menschlicher Arbeit je Eingabe von wenigen Dutzend Wörtern. Für Forschung an einzelnen Fällen taugt das, für laufende Überwachung im Betrieb bisher nicht.
auchMechanistic Interpretability · Erklärbarkeit · XAI · Blackbox-Problem
Kapitel 06 · Der Blick ins ModellKapitel 03 · Neuronale Netze und Deep LearningTracing the thoughts of a large language modelScaling Monosemanticitysiehe Emergenzsiehe Gewichte
KI-Winter
Eine Phase, in der Fördergeld und Aufmerksamkeit für KI einbrechen, nachdem Erwartungen unerfüllt geblieben sind.
Der erste ist datierbar: 1973 legte James Lighthill dem britischen Forschungsrat eine Bestandsaufnahme vor, deren Kernsatz lautet, in keinem Teil des Gebiets hätten die Ergebnisse die versprochene Wirkung erzielt. Die britische Förderung wurde daraufhin weitgehend gestrichen. Für den zweiten Einbruch in den achtziger Jahren gibt es nur einen Namen; ein vergleichbares Dokument fehlt, weshalb Aussagen darüber vorsichtiger ausfallen sollten. Gemeinsam ist beiden das Muster: Der Rückschlag folgt auf ein Versprechen, das über dem Erreichten lag.
auchAI Winter
Kapitel 11 · Woher der Begriff KI kommtArtificial Intelligence: A General Surveysiehe Symbolische KIsiehe Dartmouth-Konferenz
Klassifikation
Eine Aufgabe, bei der ein Verfahren einen Fall in eine vorgegebene Liste von Klassen einordnet.
Die Liste der Klassen stammt von Menschen und steht fest, bevor das Training beginnt; was darin fehlt, kann nicht herauskommen. Das Verfahren gibt meistens eine Wahrscheinlichkeit aus, und erst eine Schwelle macht daraus ein Urteil. Gegenstück ist die Regression, die eine Zahl auf einer durchgehenden Skala vorhersagt.
auchKlassifikator · Klassifizierung · Einordnung · einordnendes Verfahren
Kapitel 04 · Mustererkennung und Klassifikationscikit-learn, Metrics and scoringsiehe Überwachtes Lernensiehe Featuresiehe Benchmark
Kosinus-Ähnlichkeit
Das übliche Maß für Nähe im Vektorraum: der Winkel zwischen zwei Zahlenreihen, ohne Rücksicht auf ihre Länge.
Die Werte liegen zwischen 1 für gleiche Richtung und minus 1 für Gegenrichtung. Welcher Teil dieser Spanne in einem konkreten System vorkommt, hängt vom Modell, von der Sprache und vom Bestand ab und gehört gemessen. Jedes Modell hat seine eigene Skala, weshalb sich eine feste Schwelle wie „ab 0,8 ist es ein Treffer“ nicht von einem Modell auf ein anderes übertragen lässt. Als Kennzahl für die Güte einer Suche taugt der durchschnittliche Wert ohnehin nicht: Er steigt schon dann, wenn die Abschnitte kürzer werden.
auchKosinus · Kosinusähnlichkeit · Cosine Similarity · Ähnlichkeitswert · Kosinusabstand · Vektorabstand
Kapitel 04 · Embedding, Bedeutung als Zahlenreihesiehe Vektorraumsiehe Embeddingsiehe RAG
Modellkern
Architektur, gelernte Werte und Tokenizer. Der Teil, der ausgetauscht wird, wenn ein Modell erneuert wird.
Zum Kern gehören die Architektur, die Gewichte, das Vokabular und der Tokenizer. Nicht dazu gehören Systemanweisung, Sampling-Einstellungen, Kontextverwaltung, Tools, Sicherheitsfilter und Cache. Alles davon verändert das beobachtbare Verhalten erheblich, ohne ein einziges Gewicht anzufassen.
auchKern · Modellgewichte · Basismodell
Kapitel 01 · Was ein Sprachmodell ist2026 · Dieselben Gewichte, zwei Auslieferungensiehe Gewichtesiehe Laufzeitumgebungsiehe Tokenizer
Natural Language ProcessingNLP
Der Oberbegriff für alles, was Maschinen mit natürlicher Sprache tun. Älter als die Sprachmodelle.
Das Feld zerfiel lange in Einzelaufgaben, jede mit eigenem Modell und eigener Datensammlung: übersetzen, zusammenfassen, Absichten erkennen, Namen finden. Zwei Teilbegriffe halten sich bis heute. NLU steht für das Verstehen einer Äußerung, also für die Zuordnung zu einer Absicht und das Herausziehen der Einzelheiten; NLG steht für das Formulieren einer Ausgabe. In einem Sprachmodell fallen beide zusammen.
auchSprachverarbeitung · NLP · NLU · NLG · Natural Language Understanding · Natural Language Generation
Kapitel 01 · Was Conversational AI istKapitel 06 · NLP vor den SprachmodellenLanguage Models are Few-Shot LearnersRasa, Architecture Overviewsiehe Sprachmodellsiehe Conversational AI
Neuronales Netz
Ein Rechenverfahren aus vielen einfachen Schritten in Schichten, dessen Verhalten aus Beispielen entsteht statt aus Regeln.
Die Bezeichnung stammt aus der Biologie und führt in die Irre, mit einem Gehirn hat das Verfahren wenig zu tun. Jede Schicht multipliziert Zahlen mit gelernten Gewichten und reicht das Ergebnis weiter. Was ein Netz kann, steht nirgends als Regel geschrieben, es steckt in diesen Zahlen. Sprachmodelle sind neuronale Netze einer bestimmten Bauform, dem Transformer. Brauchbar wurden sie ab 2012, als sich zeigte, dass genug Rechenleistung und genug Beispiele mehr ausmachen als eine ausgefeilte Idee.
auchNeuronale Netze · Künstliches neuronales Netz · Deep Learning · Tiefes Lernen
Kapitel 03 · Neuronale Netze und Deep LearningImageNet Classification with Deep Convolutional Neural Networks2024 · Zwei Nobelpreise in zwei Tagen2016 · AlphaGo schlägt einen Profi2012 · AlexNet, die Rechenleistung kommt ins Spielsiehe Transformersiehe Gewichtesiehe Pre-Training
Preprint
Eine Vorabfassung, die veröffentlicht ist, ohne von Fachleuten begutachtet worden zu sein.
Auf Servern wie arXiv wird geprüft, ob ein Text ins Fachgebiet gehört und den Formalien genügt; der Betreiber sagt selbst, dass dies kein Begutachtungsverfahren ist. Eine begutachtete Arbeit hat dagegen mindestens zwei Fachleute überstanden, die sie ablehnen konnten. Beides ist wertvoll, und der Unterschied gehört dazu, wenn eine Zahl weitergegeben wird. Für diese Seite ist das mehr als eine Fußnote: Ein Fünftel ihrer Quellen liegt auf arXiv.
auchVorabfassung · arXiv · Peer Review · Begutachtung
Kapitel 06 · Der Blick ins ModellContent Moderation, arXiv infosiehe Benchmarksiehe Emergenz
Spektrogramm
Die Darstellung, in der ein Erkennungsmodell Ton sieht: Zeit nach rechts, Frequenz nach oben, Lautstärke als Helligkeit.
Eine Aufnahme wird in Abschnitte von etwa 25 Millisekunden zerlegt, und für jeden wird berechnet, welche Frequenzen darin stecken. Aus einer Zahlenreihe wird so eine Fläche, mit der die Verfahren der Bilderkennung umgehen können. Fast immer folgt eine zweite Stufe, die Umrechnung auf die Mel-Skala: Sie löst tiefe Tonlagen fein und hohe grob auf, ungefähr so wie ein Ohr, und verkleinert die Daten dabei auf ein Zehntel. Beide Schritte sind gebaut und werden nicht gelernt, und sie legen fest, was ein Modell überhaupt sehen kann.
auchMel-Spektrogramm · Mel-Skala · Frequenzdarstellung
Kapitel 07 · SpracherkennungKapitel 08 · Sprachsynthesetorchaudio, Audio Feature Extractionssiehe Spracherkennungsiehe Vocoder
SprachmodellLLM
Eine sehr große Datei mit gelernten Zahlen, die aus Text weiteren Text erzeugen kann.
Ein Bauteil, kein Programm. Es nimmt eine Folge von Token entgegen und gibt eine Wahrscheinlichkeitsverteilung für das nächste Token zurück. Es hat kein Gedächtnis, keine Uhr und keinen Netzzugang. Alles, was darüber hinausgeht, macht die Anwendung drumherum.
auchLarge Language Model · LLM · großes Sprachmodell · Modell
Kapitel 01 · Was ein Sprachmodell istBeitrag · Warum ich eine eigene Diktier-App gebaut habeAttention Is All You Need2022 · ChatGPT24.07.2026 · Ein Modell, das seine Arbeit von selbst prüft, und was das mit alten Prompts machtsiehe Anwendungsiehe Modellkernsiehe Token
Symbolische KI
Die ältere der beiden Familien des Fachs: Wissen wird aufgeschrieben, ein Verfahren zieht daraus Schlüsse.
Auf dieser Seite heißt sie meist die schließende Familie, weil die KI-Verordnung sie über das Ableiten aus kodierten Informationen bestimmt. Im Fach ist symbolische KI der übliche Name, im Englischen auch Good Old-Fashioned AI. Sie hat die ersten Jahrzehnte bestimmt und arbeitet dort weiter, wo eine Antwort begründbar sein muss: in Planungssystemen, in der Routenberechnung, in der Suche im Spielbaum. Ihre Grenze ist eine Rechnung: Die Zahl der zu prüfenden Möglichkeiten wächst mit jedem Schritt vervielfachend, und genau das war 1973 der Grund für den ersten großen Rückschlag.
auchGOFAI · regelbasierte KI · wissensbasierte KI · schließende Familie
Kapitel 11 · Woher der Begriff KI kommtKapitel 01 · Die Spielarten der KIA Proposal for the Dartmouth Summer Research Project on Artificial IntelligenceVerordnung (EU) 2024/1689 über künstliche Intelligenzsiehe Dartmouth-Konferenzsiehe KI-Winter
TF-IDF
Eine Gewichtung, die ein Wort umso schwerer zählt, je seltener es über alle Dokumente hinweg vorkommt.
Sie löst das Grundproblem der reinen Wortzählung: Häufige Wörter wie und oder der stehen überall und unterscheiden nichts, während ein Fachbegriff in fünf von tausend Dokumenten steht und viel unterscheidet. Die Gewichtung stammt aus den 1970er und 1980er Jahren, ist älter als jedes Sprachmodell und arbeitet bis heute in jeder Volltextsuche, in der hybriden Suche neben dem Vergleich von Zahlenreihen.
auchBag of Words · Termgewichtung · Wortgewichtung · Vektorraummodell
Kapitel 06 · NLP vor den SprachmodellenTerm Weighting Approaches in Automatic Text Retrievalscikit-learn, Feature extractionsiehe Hybride Suchesiehe Embeddingsiehe Natural Language Processing
Token
Die Recheneinheit von Text. Nicht Wort, nicht Buchstabe, sondern ein Stück dazwischen.
Ein Sprachmodell liest keine Wörter, sondern Token aus einem festen Vokabular. Häufige Wörter sind ein Token, seltene zerfallen in mehrere Teile. Deutsche Texte brauchen für dieselbe Aussage mehr Token als englische, und weil nach Token abgerechnet wird, schlägt das direkt auf die Kosten durch.
auchTokens · Recheneinheit
Kapitel 03 · Token, die Bausteine der SpracheNeural Machine Translation of Rare Words with Subword Units2023 · 100.000 Token, ein Dokument passt hineinsiehe Tokenizersiehe Vokabularsiehe Kontextfenstersiehe Tokenmaxxing
Tokenizer
Das Programmstück, das Text in Token zerlegt und Token wieder zu Text zusammensetzt.
Der Tokenizer gehört zwingend zum Modell: Dieselben Gewichte mit einem anderen Vokabular ergeben ein anderes Modell. Er wird beim Reden über Modelle gern vergessen, entscheidet aber darüber, wie sparsam eine Sprache verarbeitet wird.
auchZerleger · Textzerlegung
Kapitel 03 · Token, die Bausteine der SpracheTiktokenizerTokenizer von OpenAIsiehe Tokensiehe Byte Pair Encodingsiehe Vokabular
Transformer
Die Bauform, auf der heutige Sprachmodelle beruhen. Sie kommt allein über den Mechanismus der Aufmerksamkeit aus.
Vorgestellt 2017. Der entscheidende Punkt war nicht nur die Qualität, sondern die Parallelisierbarkeit: Ohne die bis dahin übliche schrittweise Verarbeitung lassen sich Modelle auf viele Rechenkerne verteilen und damit deutlich größer bauen. Das T in GPT steht dafür.
auchTransformer-Architektur · Attention · Aufmerksamkeit · Self-Attention
Kapitel 01 · Was ein Sprachmodell istKapitel 03 · Neuronale Netze und Deep LearningAttention Is All You Need2017 · Der Transformer2012 · AlexNet, die Rechenleistung kommt ins Spielsiehe Sprachmodellsiehe GPTsiehe Neuronales Netz
Vektorraum
Der Raum, in dem Embeddings liegen. Er hat so viele Richtungen, wie eine Zahlenreihe Zahlen hat, und Nähe darin heißt ähnliche Verwendung.
Bei 3072 Zahlen je Reihe sind es 3072 Richtungen. Vorstellen kann sich das niemand, und nötig ist es auch nicht: Es zählt eine einzige Eigenschaft, nämlich dass Abstand etwas bedeutet. Jedes Modell spannt dabei seinen eigenen Raum auf. Zahlenreihen aus zwei Modellen lassen sich deshalb nicht vergleichen, auch bei gleicher Länge, und wer das Modell wechselt, bettet den ganzen Bestand neu ein.
auchEmbedding-Raum · Einbettungsraum · Zahlenraum · Vector Space · Dimensionen · Semantischer Raum
Kapitel 04 · Embedding, Bedeutung als ZahlenreiheEfficient Estimation of Word Representations in Vector Space2013 · Word2Vec, Bedeutung bekommt einen Ortsiehe Embeddingsiehe Kosinus-Ähnlichkeitsiehe RAG
Vocoder
Das Bauteil, das aus einem Spektrogramm wieder eine hörbare Schallwelle macht.
Ein Spektrogramm sagt, welche Frequenzen wann wie laut sind, und es sagt nichts über die Phase; aus ihm allein lässt sich der Schall deshalb nicht zurückrechnen. Diese Lücke füllt der Vocoder. Bis 2016 war er ein Signalverarbeitungsprogramm, und die Ausgabe klang danach. Seither steht dort ein neuronales Netz, das die Welle Wert für Wert erzeugt, bei 16.000 oder 24.000 Werten je Sekunde. Der Begriff ist deutlich älter als die neuronalen Verfahren und stammt aus der Fernmeldetechnik.
auchSprachcodierer · neuronaler Vocoder
Kapitel 08 · SprachsyntheseWaveNet: A generative model for raw audioNatural TTS Synthesis by Conditioning WaveNet on Mel Spectrogram Predictionssiehe Sprachsynthesesiehe Spektrogramm
Vokabular
Die feste Liste aller Token, die ein Modell kennt. Jedes Token hat darin eine Nummer.
Die Größe des Vokabulars ist eine Bauentscheidung: Ein größeres Vokabular braucht weniger Token je Satz, macht das Modell aber an anderer Stelle teurer. Modelle derselben Familie teilen sich oft ein Vokabular, verschiedene Familien fast nie.
auchVocabulary · Vokabular-Größe · o200k_base · cl100k_base
Kapitel 03 · Token, die Bausteine der Sprache2024 · GPT-4o, ein Netz für alle Mediensiehe Tokensiehe Tokenizer