Zum Hauptinhalt
nobreakpoints

GPU / TPU

GPU (Graphics Processing Unit) und TPU (Tensor Processing Unit) sind spezialisierte Prozessoren, die das Training und den Betrieb von KI-Modellen drastisch beschleunigen – oft um den Faktor 10 bis 1000 gegenüber herkömmlichen CPUs.

ToolsAnfängerhardwaredeep-learningmachine-learning

GPU / TPU – Spezialprozessoren für KI

Moderne KI-Modelle bestehen aus Milliarden von Gewichten und erfordern enorme Mengen an Matrixmultiplikationen. Genau hier kommen GPUs und TPUs ins Spiel: Sie sind darauf ausgelegt, diese Berechnungen massiv parallelisiert auszuführen.

GPU vs. TPU – Was ist der Unterschied?

MerkmalGPUTPU
HerstellerNVIDIA, AMDGoogle
EinsatzTraining & InferencePrimär Training (TensorFlow/JAX)
VerfügbarkeitCloud & lokalMeist nur über Google Cloud
FrameworksPyTorch, TensorFlowTensorFlow, JAX

GPU (z. B. NVIDIA A100, H100): Der Standard in der KI-Entwicklung. Flexibel, weit verbreitet und gut unterstützt von allen gängigen ML-Frameworks.

TPU (Tensor Processing Unit): Von Google speziell für Tensor-Operationen entwickelt. Besonders effizient für sehr große Modelle mit JAX oder TensorFlow.

Warum ist das für Entwickler relevant?

Als Entwickler entscheidest du, ob du ein Modell lokal, in der Cloud oder über eine API nutzt:

# PyTorch: GPU nutzen wenn verfügbar
import torch

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
print(f"Verwende: {device}")

model = model.to(device)  # Modell auf GPU verschieben
inputs = inputs.to(device)  # Auch Eingabedaten auf GPU

# GPU-Auslastung prüfen (NVIDIA)
import subprocess
subprocess.run(["nvidia-smi"])

Typische Szenarien

  • Fine-Tuning: Ohne GPU/TPU kaum praktikabel – selbst kleine Modelle brauchen Stunden auf einer CPU
  • Inference: Für Produktivsysteme oft GPU-basierte Server (z. B. via AWS, GCP, Azure)
  • Lokal entwickeln: Auch Consumer-GPUs (RTX 3090, 4090) ermöglichen lokales Fine-Tuning mit Techniken wie LoRA oder Quantisierung
  • API-Nutzung: Wer Modelle nur über APIs (OpenAI, Anthropic) nutzt, muss sich nicht um Hardware kümmern – der Anbieter übernimmt das

Kosten und Alternativen

GPU-Zeit ist teuer. Alternativen für Einsteiger:

  • Google Colab (kostenlose T4-GPU)
  • Kaggle Notebooks (kostenlose GPU-Stunden)
  • Hugging Face Spaces (für Demos)

💡 Faustregel: Für Experimente und kleinere Modelle reicht eine Consumer-GPU oder Cloud-GPU auf Stundenbasis. Für produktives Training großer Modelle sind dedizierte A100/H100-Cluster notwendig.

Verwandte Begriffe

Inhouse statt Nachschlagewerk

Für den Transfer ins Unternehmen sind die Inhouse-Schulungen der passende nächste Schritt.

Schulungen ansehen