VRAM
VRAM (Video RAM) ist der Arbeitsspeicher der Grafikkarte. Für lokale KI-Modelle ist VRAM der wichtigste Engpass — er bestimmt, welche Modellgrößen lokal ausführbar sind.
ToolsAnfängerhardwaregpuspeicher
VRAM (Video RAM)
VRAM ist der Arbeitsspeicher der Grafikkarte (GPU). Für KI-Anwendungen ist er der entscheidende Faktor, ob ein Modell lokal ausgeführt werden kann.
VRAM-Bedarf typischer Modelle
| Modell | Quantisierung | VRAM-Bedarf |
|---|---|---|
| 7B (Gemma, Llama) | Q4 | ~4 GB |
| 13B | Q4 | ~8 GB |
| 27B (Gemma 2) | Q4 | ~16 GB |
| 70B (Llama 3) | Q4 | ~40 GB |
VRAM vs. RAM
- VRAM (GPU): Schnell, aber begrenzt (8–24 GB bei Consumer-GPUs)
- RAM (CPU): Mehr verfügbar (16–64 GB), aber langsamer für KI
Tipps
- Prüfe dein VRAM mit
nvidia-smi(NVIDIA) oder Task-Manager - Nutze quantisierte Modelle (GGUF Q4) um VRAM zu sparen
- GPU-Offloading nutzt verfügbares VRAM optimal aus
Verwandte Begriffe
Inhouse statt Nachschlagewerk
Für den Transfer ins Unternehmen sind die Inhouse-Schulungen der passende nächste Schritt.