BERT

BERT (Bidirectional Encoder Representations from Transformers) wurde 2018 von Google veröffentlicht und revolutionierte das Natural Language Processing.

Was war neu?

• Bidirektional: Liest Text in beide Richtungen gleichzeitig (nicht nur links-nach-rechts)
• Pre-Training + Fine-Tuning: Erst auf großen Textmengen vortrainiert, dann für spezifische Aufgaben angepasst
• Transfer Learning für NLP: Ein Modell, viele Anwendungen

Anwendungen

• Sentimentanalyse
• Named Entity Recognition
• Frage-Antwort-Systeme
• Textklassifikation

BERT vs. GPT

• BERT: Encoder-only, versteht Text (Analyse)
• GPT: Decoder-only, generiert Text (Kreation)

Beide basieren auf der Transformer-Architektur, aber für unterschiedliche Zwecke.