Reinforcement Learning

Was ist Reinforcement Learning?

Beim Reinforcement Learning (RL) lernt ein Agent, indem er Aktionen in einer Umgebung ausführt und daraufhin ein Reward-Signal erhält. Das Ziel ist es, eine optimale Policy (Strategie) zu erlernen, die den kumulativen Reward über die Zeit maximiert.

Die drei Kernkomponenten:

• Agent: Das lernende System (z. B. ein KI-Modell)
• Environment: Die Umgebung, mit der der Agent interagiert
• Reward: Das Feedback-Signal (positiv oder negativ)

Typischer RL-Loop

import gymnasium as gym

env = gym.make("CartPole-v1")
observation, info = env.reset()

for step in range(1000):
    # Agent wählt eine Aktion (hier: zufällig)
    action = env.action_space.sample()
    
    # Umgebung gibt neuen Zustand und Reward zurück
    observation, reward, terminated, truncated, info = env.step(action)
    
    if terminated or truncated:
        observation, info = env.reset()

env.close()

Wichtige RL-Algorithmen

Algorithmus	Einsatzgebiet
Q-Learning	Diskrete Aktionsräume
PPO (Proximal Policy Optimization)	Kontinuierliche Steuerung, LLM-Training
DQN (Deep Q-Network)	Atari-Spiele, Spieleagenten
SAC (Soft Actor-Critic)	Robotik, komplexe Simulationen

RL in der Praxis: LLM-Training

RL spielt eine zentrale Rolle beim Fine-Tuning großer Sprachmodelle. Das Verfahren RLHF (Reinforcement Learning from Human Feedback) wird genutzt, um LLMs wie GPT oder Claude an menschliche Präferenzen anzupassen:

1. Supervised Fine-Tuning auf Beispieldaten
2. Reward Model trainieren (bewertet Output-Qualität)
3. PPO-Optimierung des Sprachmodells gegen das Reward Model

Herausforderungen

• Sample Efficiency: RL benötigt oft Millionen von Interaktionen
• Reward Hacking: Der Agent optimiert den Reward auf unerwünschte Weise
• Instabilität: Training kann divergieren oder kollabieren
• Sparse Rewards: Feedback kommt selten, was das Lernen erschwert

Wann RL einsetzen?

RL eignet sich besonders für:

• Sequentielle Entscheidungsprobleme (Spiele, Robotik)
• Optimierungsaufgaben ohne klare Trainingsdaten
• Fine-Tuning von LLMs mit menschlichem Feedback (RLHF)
• Autonome Agenten mit komplexen Zielstrukturen