Data Leakage
Data Leakage tritt auf, wenn Informationen aus den Testdaten während des Trainings verfügbar sind. Das Modell erscheint gut, versagt aber bei echten neuen Daten.
AIFortgeschrittenmlfehlertraining
Data Leakage
Data Leakage ist einer der häufigsten und schwerwiegendsten Fehler im Machine Learning. Er tritt auf, wenn das Modell während des Trainings Zugang zu Informationen hat, die in der Praxis nicht verfügbar wären.
Arten von Data Leakage
- Target Leakage: Features enthalten (indirekt) die Zielvariable
- Train-Test Leakage: Testdaten fließen ins Training ein
- Temporal Leakage: Zukünftige Daten werden für Vorhersagen der Vergangenheit genutzt
Warnsignale
- Unrealistisch hohe Genauigkeit (99%+)
- Starke Performance im Training, schlecht in Produktion
- Ein einzelnes Feature dominiert die Vorhersage
Vermeidung
- Strikte Train/Test/Validation-Splits
- Zeitbasierte Splits bei Zeitreihendaten
- Feature-Auswahl VOR dem Training
- Cross-Validation korrekt implementieren
Verwandte Begriffe
Inhouse statt Nachschlagewerk
Für den Transfer ins Unternehmen sind die Inhouse-Schulungen der passende nächste Schritt.