Foundation Model

Ein Foundation Model (auch Basismodell genannt) ist ein KI-Modell, das auf enormen Datenmengen mit hohem Rechenaufwand vortrainiert wurde. Der entscheidende Gedanke: einmal trainieren, vielfach einsetzen. Statt für jede Aufgabe ein Modell von Grund auf zu trainieren, nutzt man das Foundation Model als Ausgangspunkt.

Warum ist das relevant für Entwickler?

Bevor Foundation Models existierten, musste für jede NLP- oder Vision-Aufgabe ein separates Modell von Null trainiert werden – teuer, zeitaufwändig und datenintensiv. Foundation Models ändern diesen Workflow fundamental:

GPT-4, Claude, Gemini → Sprachaufgaben (Text, Code, Reasoning)
DALL-E, Stable Diffusion → Bildgenerierung
Whisper → Sprache-zu-Text
CLIP → Bild-Text-Verständnis

Wie nutzt man ein Foundation Model in der Praxis?

Der häufigste Einstieg ist die API eines Anbieters:

from openai import OpenAI

client = OpenAI()

# Foundation Model (GPT-4o) direkt per API ansprechen
response = client.chat.completions.create(
    model="gpt-4o",
    messages=[
        {"role": "system", "content": "Du bist ein hilfreicher Assistent."},
        {"role": "user", "content": "Erkläre Foundation Models in einem Satz."}
    ]
)
print(response.choices[0].message.content)

Alternativ kann man ein Open-Source Foundation Model lokal laden und anpassen:

from transformers import AutoModelForCausalLM, AutoTokenizer

# Llama als Foundation Model laden
model_name = "meta-llama/Llama-3.2-3B"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

# Ab hier: Fine-Tuning auf eigene Daten oder direkte Inference

Drei Nutzungsstrategien

Strategie	Beschreibung	Aufwand
Prompting	Direkte Nutzung via API ohne Anpassung	Gering
Fine-Tuning	Spezifisches Nachtraining auf eigene Daten	Mittel
RAG	Externes Wissen zur Laufzeit hinzufügen	Mittel

Emergentes Verhalten

Ein faszinierendes Merkmal von Foundation Models ist Emergent Behavior: Ab einer gewissen Modellgröße tauchen Fähigkeiten auf, die nie explizit trainiert wurden – z. B. mehrstufiges Schlussfolgern (Chain-of-Thought) oder das Lösen von Mathematikaufgaben. Diese Schwellenwert-Phänomene sind noch aktives Forschungsgebiet.

Wichtige Konzepte im Zusammenhang

Pretraining: Das initiale Training auf riesigen Datensätzen (z. B. Common Crawl, GitHub, Bücher)
Downstream Task: Die konkrete Aufgabe, für die das Modell danach genutzt wird
Parameter: GPT-4 hat schätzungsweise >1 Billion Parameter – diese Gewichte sind das "Wissen" des Modells

Typische Fallstricke

Foundation Models halluzinieren – sie generieren plausibel klingende, aber falsche Fakten
Das Modell kennt nur Daten bis zum Training Cutoff – für aktuelle Infos braucht man RAG oder Grounding
Große Modelle sind teuer in der Inference – Quantisierung oder Knowledge Distillation können helfen

Foundation Model