Chain-of-Thought

Was ist Chain-of-Thought?

Bei Chain-of-Thought-Prompting wird das Modell angewiesen, Zwischenschritte zu formulieren, bevor es zur Lösung kommt. Das verbessert die Genauigkeit erheblich – besonders bei Aufgaben, die logisches Schlussfolgern, Mathematik oder mehrstufige Entscheidungen erfordern.

Ohne CoT neigen LLMs dazu, direkt eine (oft falsche) Antwort zu generieren. Mit CoT "zwingt" man das Modell, den Lösungsweg zu strukturieren.

Wie funktioniert es in der Praxis?

Zero-Shot CoT

Der einfachste Ansatz: Man hängt einfach "Denke Schritt für Schritt" (bzw. "Let's think step by step") an den Prompt.

prompt = """
Ein Zug fährt 120 km in 1,5 Stunden. Wie schnell ist er in km/h?
Denke Schritt für Schritt.
"""

Few-Shot CoT

Man gibt dem Modell Beispiele mit ausformulierten Denkschritten:

prompt = """
Beispiel:
Frage: Lisa hat 3 Äpfel, kauft 5 weitere und gibt 2 weg. Wie viele hat sie?
Denken: Sie startet mit 3. 3 + 5 = 8. 8 - 2 = 6.
Antwort: 6

---
Frage: Ein Server verarbeitet 200 Requests/Sekunde. Wie viele in 3 Minuten?
Denken:
"""

CoT in System-Prompts

Bei Chat-APIs lässt sich CoT direkt im System-Prompt verankern:

import openai

client = openai.OpenAI()
response = client.chat.completions.create(
    model="gpt-4o",
    messages=[
        {
            "role": "system",
            "content": "Du bist ein hilfreicher Assistent. Erkläre deinen Denkprozess immer Schritt für Schritt, bevor du eine finale Antwort gibst."
        },
        {
            "role": "user",
            "content": "Welche Datenbankarchitektur eignet sich für 10 Mio. gleichzeitige Nutzer?"
        }
    ]
)

Wann lohnt sich CoT?

Aufgabentyp	CoT sinnvoll?
Mathematik / Logik	✅ Ja
Code-Debugging	✅ Ja
Faktische Einzelfragen	❌ Eher nicht
Kreatives Schreiben	❌ Eher nicht
Mehrstufige Planung	✅ Ja

Wichtige Hinweise für Entwickler

Mehr Tokens = höhere Kosten: CoT produziert deutlich längere Outputs – das schlägt sich in Token-Kosten und Latenz nieder.
Nicht für alle Modelle gleich wirksam: Kleinere Modelle profitieren weniger von CoT als große.
Reasoning-Modelle: Modelle wie o1 oder o3 führen CoT intern durch – hier ist explizites CoT-Prompting oft kontraproduktiv.
Halluzinationen reduzieren: CoT kann Halluzinationen verringern, da das Modell Widersprüche in seinem eigenen Denkprozess leichter erkennt.