Welche Hardware braucht lokale KI im Unternehmen?

Kurzantwort: Der Hardwarebedarf hängt nicht nur von der Modellgröße ab. Quantisierung, Kontextlänge, gleichzeitige Nutzer, gewünschte Geschwindigkeit und weitere Komponenten bestimmen Speicher- und Rechenbedarf. Kaufen Sie Hardware erst nach einem Test mit dem tatsächlichen Anwendungsfall.

Die entscheidenden Einflussfaktoren

Modell und Quantisierung

Mehr Parameter benötigen grundsätzlich mehr Speicher. Quantisierung reduziert den Speicherbedarf, kann aber Qualität und Geschwindigkeit beeinflussen. Die Modellbezeichnung allein reicht deshalb nicht für eine Beschaffung.

Kontextlänge

Lange Dokumente oder viele RAG-Quellen erhöhen den Speicherbedarf während der Anfrage. Ein Modell, das mit kurzen Tests funktioniert, kann bei realistischen Kontexten deutlich mehr Ressourcen benötigen.

Parallelität

Eine Workstation für eine Person ist ein anderes System als ein zentraler Dienst für mehrere Abteilungen. Entscheidend sind gleichzeitige Anfragen, Warteschlange und akzeptable Antwortzeit.

Zusätzliche Komponenten

Dokumentverarbeitung, OCR, Embeddings, Vektordatenbank und Anwendung benötigen ebenfalls CPU, RAM und Speicher. Werden diese Dienste auf demselben Server betrieben, konkurrieren sie um Ressourcen.

On-device oder zentraler Server?

On-device	Zentraler Server
Geeignet für einzelne Nutzer oder Offline-Arbeit	Geeignet für kontrollierten Mehrbenutzerzugriff
Daten und Modell liegen auf mehreren Geräten	Modelle und Updates zentral verwaltbar
Hardwarequalität variiert	Kapazität und Ausfallkonzept planbar
Geringe zentrale Infrastruktur	Netzwerk, Anmeldung und Monitoring erforderlich

Welche Werte sollte ein Pilot messen?