Overfitting

Overfitting

Overfitting tritt auf, wenn ein ML-Modell zu stark an die Trainingsdaten angepasst wird. Es "memoriert" die Trainingsbeispiele anstatt die zugrundeliegenden Muster zu erlernen – mit dem Ergebnis, dass die Performance auf dem Testset oder in der Produktion deutlich schlechter ausfällt als auf den Trainingsdaten.

Typisches Erkennungsmuster

Metrik	Trainingsdaten	Validierungsdaten
Loss	sehr niedrig	hoch
Accuracy	~99%	~65%

Eine große Lücke zwischen Training- und Validierungs-Performance ist das klassische Warnsignal.

Ursachen

• Zu komplexes Modell relativ zur Datenmenge (zu viele Parameter)
• Zu viele Epochen ohne Early Stopping
• Zu wenig Trainingsdaten oder fehlende Diversität
• Kein Regularisierungsverfahren eingesetzt

Gegenmaßnahmen in der Praxis

from tensorflow import keras

model = keras.Sequential([
    keras.layers.Dense(128, activation='relu'),
    # Dropout deaktiviert zufällig Neuronen während des Trainings
    keras.layers.Dropout(0.3),
    keras.layers.Dense(64, activation='relu'),
    keras.layers.Dropout(0.3),
    keras.layers.Dense(10, activation='softmax')
])

# Early Stopping beendet Training wenn Validierungs-Loss steigt
early_stop = keras.callbacks.EarlyStopping(
    monitor='val_loss',
    patience=5,
    restore_best_weights=True
)

model.fit(
    X_train, y_train,
    validation_split=0.2,
    epochs=100,  # wird durch Early Stopping begrenzt
    callbacks=[early_stop]
)

Wichtigste Gegenmaßnahmen

1. Dropout – Zufälliges Deaktivieren von Neuronen während des Trainings
2. L1/L2-Regularisierung – Bestrafung großer Gewichte in der Loss Function
3. Early Stopping – Training stoppen bevor Überanpassung einsetzt
4. Mehr Trainingsdaten – oder Data Augmentation nutzen
5. Einfacheres Modell – weniger Parameter, geringere Kapazität
6. Cross-Validation – robustere Evaluierungsstrategie

Relevanz bei LLMs und Fine-Tuning

Bei Fine-Tuning von LLMs ist Overfitting besonders kritisch: Ein Modell, das auf einem kleinen domänenspezifischen Datensatz zu lange trainiert wird, verliert seine allgemeinen Sprachfähigkeiten (Catastrophic Forgetting) und antwortet nur noch auf exakte Muster aus den Trainingsdaten. LoRA und kurze Trainingsläufe mit Early Stopping sind hier bewährte Gegenmittel.