Weight / Parameter

Wenn ein KI-Modell trainiert wird, optimiert es intern Millionen bis Milliarden von Zahlenwerten – die sogenannten Weights (Gewichte) oder Parameter. Diese Werte bestimmen, wie stark einzelne Verbindungen zwischen Neuronen gewichtet werden und damit, wie das Modell auf eine Eingabe reagiert.

Das gesamte "Wissen" eines LLMs – über Sprache, Fakten, Reasoning-Fähigkeiten – steckt ausschließlich in diesen Parametern. Ein Modell mit 7 Milliarden Parametern (z. B. Llama-3 8B) hat entsprechend ~7B solcher Zahlenwerte.

Warum ist das für Entwickler relevant?

Modellgröße & Ressourcen: Die Anzahl der Parameter bestimmt direkt den Speicherbedarf. Ein FP32-Parameter belegt 4 Byte → 7B Parameter ≈ 28 GB RAM (ohne Quantisierung).
Fine-Tuning: Beim Fine-Tuning (z. B. mit LoRA) werden nur ein Bruchteil der Parameter angepasst, um Rechenkosten zu sparen.
Quantisierung: Parameter können von FP32 auf INT8/INT4 reduziert werden, um Modelle auf Consumer-Hardware lauffähig zu machen.

Vereinfachtes Code-Beispiel (PyTorch)

import torch
import torch.nn as nn

# Einfaches lineares Layer mit Weights und Bias
layer = nn.Linear(in_features=4, out_features=2)

# Gewichte inspizieren
print(layer.weight)  # Tensor mit Shape [2, 4]
print(layer.bias)    # Tensor mit Shape [2]

# Gesamtanzahl Parameter eines Modells zählen
modell = nn.Sequential(nn.Linear(768, 3072), nn.ReLU(), nn.Linear(3072, 768))
total_params = sum(p.numel() for p in modell.parameters())
print(f"Parameter gesamt: {total_params:,}")
# → Parameter gesamt: 5,910,528

Weights vs. Hyperparameter

	Weights/Parameter	Hyperparameter
Wer setzt sie?	Werden durch Training gelernt	Werden manuell gesetzt
Beispiele	Gewichtsmatrizen, Bias-Vektoren	Learning Rate, Batch Size, Epochs
Gespeichert in	Checkpoint-Dateien (.pt, .safetensors)	Konfigurationsdateien

Weights werden als Checkpoint-Dateien gespeichert und sind das, was beim Deployment eines Modells geladen wird.

Weight / Parameter