Wie viele Tokens hat mein Prompt?

Sprachmodelle lesen weder Zeichen noch Wörter. Sie lesen Tokens: Fragmente, die entstehen, wenn Text anhand eines festen, aus Trainingsdaten gelernten Vokabulars zerlegt wird.

Häufige Wörter sind meist ein einziges Token. Seltene Wörter werden in Teile zerlegt. Leerzeichen hängen typischerweise am Anfang des folgenden Tokens – deshalb kann dasselbe Wort unterschiedlich zählen, je nachdem, ob es am Satzanfang steht.

Das Wort unbelievable ist kein einzelnes Token – es wird wahrscheinlich in etwas wie Un + believ + able aufgeteilt. the dagegen ist ein einziges Token, und international ebenfalls, weil es im Training oft genug vorkam, um einen eigenen Eintrag zu erhalten.

Deshalb wirken Token-Zählungen so unberechenbar. Die Einheit ist nicht sprachlich, sondern statistisch. Die Häufigkeit im Trainingskorpus entscheidet, ob etwas ein Token oder vier ist.

Für englischen Fließtext:

• 1 Token ≈ 4 Zeichen
• 1 Token ≈ 0,75 Wörter
• 1.000 Wörter ≈ 1.300 Tokens
• Eine Standardseite (~500 Wörter) ≈ 650 Tokens

Außerhalb normalen Fließtexts fallen diese Werte schnell auseinander:

Inhaltstyp	Ungefähr
Englischer Fließtext	0,75 Wörter pro Token
Code	2–3× mehr Tokens als vergleichbarer Fließtext
JSON mit langen Schlüsseln	Sehr hoch – Satzzeichen und Anführungszeichen sind eigene Tokens
Chinesisch, Japanisch, Koreanisch	Oft 1–2 Tokens pro Zeichen
Kyrillisch, Devanagari, Arabisch	Typischerweise 2–3× so viel wie Englisch bei gleicher Bedeutung
URLs und Hashes	Extrem hoch – Zufallszeichenfolgen lassen sich schlecht tokenisieren
Wiederholte Leerzeichen	Jede Folge kann ein eigenes Token sein

Die mehrsprachige Lücke ist erheblich und wird oft unterschätzt: Derselbe Satz auf Japanisch kann ein Mehrfaches dessen kosten, was er auf Englisch kostet – mit Auswirkungen sowohl auf den Preis als auch darauf, wie viel ins Kontextfenster passt.

Jede Modellfamilie nutzt ihren eigenen Tokenizer mit eigenem Vokabular – derselbe Text ergibt also unterschiedliche Zählungen.

GPT-Modelle verwenden Varianten der Byte-Pair-Kodierung – cl100k_base bei Modellen der GPT-4-Ära, o200k_base bei neueren. Claude nutzt einen anderen Tokenizer mit anderem Vokabular. Offene Modelle wie Llama und Mistral haben wiederum jeweils eigene.

Abweichungen von 10–20 % zwischen den Familien sind bei englischem Text normal, und die Lücke wird bei Code und nichtenglischem Text größer, wo sich die Vokabulare am stärksten unterscheiden.

Praktisch heißt das:

• Eine Zählung eines Tokenizers ist für jedes andere Modell eine Schätzung.
• Nur der eigene Tokenizer des Anbieters liefert die exakte Zahl für dessen Abrechnung.
• Plane mit Puffer statt exakt bis ans Limit.

Unser Token-Zähler zeigt eine GPT-4o-Zählung und eine Claude-Schätzung nebeneinander – das reicht meist, um zu erkennen, ob ein Prompt bequem innerhalb des Limits liegt oder unangenehm knapp daran.

Kosten. API-Preise gelten pro Token, Eingabe und Ausgabe werden getrennt abgerechnet, und die Ausgabe ist typischerweise um ein Mehrfaches teurer. Ein doppelt so langer System-Prompt verdoppelt diese Kosten bei jedem einzelnen Aufruf – so etwas fällt im Test nicht auf, wird aber bei Volumen teuer.

Kontextlimits. Das Fenster umfasst alles: System-Prompt, Gesprächsverlauf, abgerufene Dokumente, die aktuelle Nachricht und den reservierten Platz für die Antwort. Lange Chats scheitern nicht, weil eine einzelne Nachricht lang ist, sondern weil sich der Verlauf ansammelt.

Abschneiden. Wenn die Eingabe das Limit überschreitet, fällt etwas weg – oft stillschweigend, und oft der früheste Inhalt. Ein Modell, das deine Anweisungen „vergessen“ hat, hatte sie häufig schlicht herausgeschnitten.

Chunking für Retrieval. Das Aufteilen von Dokumenten für Embeddings erfolgt in Tokens, nicht in Zeichen. Nach Zeichenzahl bemessene Abschnitte werden uneinheitlich, und Abschnitte, die mitten im Satz enden, liefern schlechte Treffer. Um langen Text in brauchbare Teile zu zerlegen, schneidet der Text-Splitter in der Nähe von Absatzgrenzen statt mitten im Wort.

Die wirksamsten Maßnahmen, ungefähr in dieser Reihenfolge:

1. Gesprächsverlauf kürzen. In langen Chats überwiegt er alles andere. Fasse alte Runden zusammen, statt sie wortwörtlich erneut zu senden.
2. Redundante Anweisungen streichen. Eine Regel dreifach zu formulieren macht es nicht dreimal wahrscheinlicher, dass sie befolgt wird. Es verdreifacht aber zuverlässig ihre Kosten.
3. Formatierungsartefakte entfernen. Unsichtbare Zeichen, wiederholte Leerzeichen und dekorative Trennlinien werden alle tokenisiert, und eine Reihe von vierzig Bindestrichen kann mehr kosten als der Satz darüber. Unsichtbare Zeichen entfernen beseitigt die, die du nicht sehen kannst.
4. JSON-Schlüssel kürzen in strukturierten Prompts. {"n": ...} statt {"customer_full_name": ...} macht über tausend Datensätze hinweg einen großen Unterschied.
5. Nur relevante Auszüge senden. Drei passende Absätze abzurufen schlägt das Einfügen des ganzen Dokuments – und liefert meist auch bessere, nicht nur günstigere Antworten.

Was nicht hilft: gewöhnliche Satzzeichen entfernen, Artikel streichen oder in abgehacktem Telegrammstil schreiben. Die Einsparung ist marginal, der Schaden für die Ausgabequalität nicht.