Nachschlagen·Quellenregister

Werkzeugerreichbar

Tokenizer von OpenAI

platform.openai.com (externe Seite)

Schlichter als der Tiktokenizer, zeigt dafür zusätzlich die Nummer, die jedes Token im Vokabular hat. Gut für den ersten Eindruck.

geprüft 24.09.2026

Tokenizer im Glossar03 Token, die Bausteine der Sprache

Alle Quellen