Token
Die kleinste Einheit, in die ein LLM Text zerlegt — ein Wort, Teilwort oder Sonderzeichen.
Was ist ein Token?
Ein Token ist die kleinste Texteinheit, die ein LLM verarbeitet. Text wird vor der Verarbeitung in Tokens zerlegt ("tokenisiert"). Ein Token kann ein ganzes Wort, ein Teilwort oder ein einzelnes Zeichen sein.
Beispiele
| Text | Tokens | Anzahl |
|---|---|---|
| "Hello" | ["Hello"] | 1 |
| "Programmierung" | ["Programm", "ierung"] | 2 |
| "API-Key" | ["API", "-", "Key"] | 3 |
| "🚀" | ["🚀"] | 1 |
Faustregel fuer Deutsch: 1 Token ≈ 0.6 Woerter (bzw. 1 Wort ≈ 1.5-2 Tokens)
Warum sind Tokens wichtig?
1. Kosten
API-Preise werden pro Token berechnet:
| Modell | Input | Output |
|---|---|---|
| Claude Sonnet 4.6 | $3 / 1M Tokens | $15 / 1M Tokens |
| GPT-4o | $2.50 / 1M Tokens | $10 / 1M Tokens |
2. Context Window
Jedes Modell hat ein maximales Token-Limit:
- Claude: bis zu 200.000 Tokens
- GPT-4: bis zu 128.000 Tokens
Deine Eingabe + die Ausgabe muessen zusammen in dieses Fenster passen.
3. Geschwindigkeit
Mehr Tokens = laengere Verarbeitungszeit. Output-Tokens sind langsamer als Input-Tokens.
Kosten schaetzen
Ein typischer Blog-Artikel (1000 Woerter) ≈ 1500-2000 Tokens.
Fuer die Generierung eines Artikels mit Claude Sonnet:
- Input (Prompt): ~500 Tokens = ~$0.0015
- Output (Artikel): ~2000 Tokens = ~$0.03
- Gesamt: ~$0.03 pro Artikel
Verwandte Begriffe
Inhouse statt Nachschlagewerk
Für den Transfer ins Unternehmen sind die Inhouse-Schulungen der passende nächste Schritt.