Hardware für lokale LLMs

Die kurze Antwort

Für lokale Sprachmodelle stehen drei Entscheidungen an: eine Grafikkarte mit ausreichend Grafikspeicher oder alternativ ein Mini-PC mit viel gemeinsamem Arbeitsspeicher, dazu eine schnelle NVMe-SSD mit viel Kapazität für die Modelldateien. Bei der Grafikkarte zählt vor allem der Grafikspeicher, denn lokale Sprachmodelle laufen nur flüssig, wenn sie in den VRAM passen, und 16 GB sind ein sinnvoller Start. Mehr VRAM erlaubt größere Modelle oder weniger stark komprimierte Varianten. Ohne große Grafikkarte bestimmt die Menge des gemeinsamen Arbeitsspeichers, wie groß das Modell sein darf. Weil Modelldateien groß sind, verkürzt eine schnelle SSD mit viel Platz die Ladezeiten.

Die folgenden Abschnitte gehen diese Entscheidungen der Reihe nach durch. Zu jeder Entscheidung gibt es eine eigene Übersichtsseite mit der Auswahl und, sofern eine aktuelle Prüfung vorliegt, dem zuletzt geprüften Preis.

Grafikkarte: der Grafikspeicher entscheidet

Warum der VRAM so wichtig ist

Ein lokales Sprachmodell läuft am schnellsten, wenn es vollständig im Grafikspeicher der Karte liegt. Passt es nicht hinein, läuft es nicht mehr flüssig. Bei der Auswahl lohnt es sich daher, zuerst auf die Speichergröße zu schauen. Als sinnvollen Start gelten 16 GB Grafikspeicher. Wer größere Modelle oder weniger stark komprimierte Fassungen nutzen möchte, profitiert von mehr VRAM.

Die Kandidaten im Überblick

Den größten Grafikspeicher in dieser Auswahl bietet die NVIDIA GeForce RTX 5090 mit 32 GB GDDR7 an einem 512-Bit-Speicherbus. Sie ist damit die einzige Karte in der Liste mit mehr als 16 GB.

Alle übrigen Kandidaten bringen 16 GB mit und erreichen damit den genannten Einstieg. Bei NVIDIA sind das die GeForce RTX 5080 mit 16 GB GDDR7 an 256 Bit und die GeForce RTX 5070 Ti ebenfalls mit 16 GB GDDR7 an 256 Bit. Die GeForce RTX 5060 Ti 16GB hat 16 GB GDDR7 an einem 128-Bit-Speicherbus. Von AMD stehen die Radeon RX 9070 XT und die Radeon RX 9070 zur Wahl, beide mit 16 GB GDDR6 an einem 256-Bit-Speicherbus.

Innerhalb der 16-GB-Gruppe unterscheiden sich die Karten laut Datenblatt beim Speichertyp, GDDR7 bei den NVIDIA-Modellen und GDDR6 bei den AMD-Modellen, sowie bei der Breite des Speicherbusses. HardwarePris testet keine Produkte selbst, die technischen Daten stammen von den Herstellern.

Worauf Sie bei Partner-Boards achten sollten

Zu jedem Grafikchip gibt es Karten verschiedener Hersteller, die denselben Chip nutzen und sich vor allem bei Kühlung, Taktraten und Abmessungen unterscheiden. Die angegebene Leistungsaufnahme gilt für die Referenzauslegung, Partner-Boards können davon abweichen. Vor dem Kauf lohnt deshalb ein Blick in die Angaben des jeweiligen Boards, auf das eigene Netzteil und auf den Platz im Gehäuse. Die gesamte Auswahl finden Sie auf der Übersichtsseite Grafikkarte für KI.

Mini-PC mit viel Arbeitsspeicher

Wann diese Variante passt

Wer keinen Rechner mit großer Grafikkarte aufstellen möchte, hat einen zweiten Weg: Ohne große Grafikkarte zählt der gemeinsame Arbeitsspeicher, und je mehr davon vorhanden ist, desto größer darf das Modell sein. Bei Systemen mit gemeinsamem Arbeitsspeicher teilen sich Prozessor und Grafik den RAM, deshalb ist für lokale KI-Modelle die Größe dieses Arbeitsspeichers entscheidend.

Was Sie vorher wissen sollten

Mini-PCs nutzen meist mobile Prozessoren mit integrierter Grafik, eine Grafikkarte lässt sich in der Regel nicht nachrüsten. Für die Planung heißt das: Der Arbeitsspeicher, den Sie beim Kauf wählen, legt fest, wie groß das Modell sein kann, und eine zusätzliche Grafikkarte ist als spätere Ergänzung in der Regel keine Option. Die passenden Geräte sind auf der Übersichtsseite Mini-PC für KI zusammengestellt.

Schneller Speicher für Modelle

Warum die SSD eine eigene Entscheidung ist

Modelldateien sind groß, und eine schnelle NVMe-SSD mit viel Kapazität verkürzt die Ladezeiten. Alle sechs Kandidaten in dieser Auswahl haben 4 TB Kapazität. NVMe-SSDs im Formfaktor M.2 2280 sind 22 mm breit und 80 mm lang und werden direkt auf das Mainboard gesteckt.

Die Kandidaten und ihre Schnittstellen

Mit PCIe 4.0 x4 arbeiten die Samsung 990 PRO 4TB mit bis zu 7.450 MB/s, die WD_BLACK SN850X 4TB mit bis zu 7.300 MB/s, die Lexar NM790 4TB mit bis zu 7.400 MB/s und die Corsair MP600 PRO LPX 4TB mit bis zu 7.100 MB/s. Die Samsung 990 EVO Plus 4TB ist für PCIe 4.0 x4 oder PCIe 5.0 x2 angegeben und erreicht laut Hersteller bis zu 7.250 MB/s.

Die Samsung 9100 PRO 4TB nutzt als einzige SSD in der Liste PCIe 5.0 x4 und ist mit bis zu 14.800 MB/s angegeben. PCIe 5.0 verdoppelt gegenüber PCIe 4.0 die mögliche Bandbreite pro Lane. Steckt eine PCIe-5.0-SSD in einem PCIe-4.0-Steckplatz, arbeitet sie mit PCIe-4.0-Geschwindigkeit. Prüfen Sie also vorher, welche Steckplätze Ihr Mainboard bietet.

Wie die Datenblattwerte zu lesen sind

Die genannten MB/s-Werte sind sequenzielle Herstellerangaben für große, zusammenhängende Dateien, bei vielen kleinen Dateien liegen die Werte im Alltag niedriger. Der TBW-Wert beschreibt das vom Hersteller angegebene Schreibvolumen, auf das sich die Garantie bezieht. Ein DRAM-Cache auf der SSD hält die Zuordnungstabelle vor, Modelle ohne DRAM nutzen oft Host Memory Buffer im Arbeitsspeicher des Rechners. Alle Modelle finden Sie auf der Übersichtsseite 4TB SSD.

So lesen Sie die Preise auf den Übersichtsseiten

Die Preise stammen von Amazon.de und werden in Euro angezeigt. Sie werden alle sechs Stunden geprüft, und ein Preis erscheint nur, wenn die letzte Prüfung weniger als 24 Stunden zurückliegt, stets mit Prüfzeitpunkt. Steht bei einem Produkt kein Preis, liegt also keine ausreichend aktuelle Prüfung vor. Links zu Amazon.de enthalten eine Partner-Kennung, der Preis für Käufer ändert sich dadurch nicht. Den zuletzt geprüften Preis und den Prüfzeitpunkt sehen Sie auf der jeweiligen Produkt- oder Übersichtsseite.

Checkliste vor dem Kauf

• Weg festlegen: Grafikkarte mit viel VRAM oder Mini-PC mit viel gemeinsamem Arbeitsspeicher.
• Grafikspeicher prüfen: 16 GB sind ein sinnvoller Start, die RTX 5090 bietet in dieser Auswahl 32 GB.
• Partner-Board ansehen: Kühlung, Taktraten und Abmessungen unterscheiden sich, die Leistungsaufnahme kann von der Referenzauslegung abweichen.
• Netzteil und Gehäuse: Passen Leistung und Platz zum gewählten Board?
• Beim Mini-PC: Arbeitsspeicher großzügig wählen, da sich eine Grafikkarte in der Regel nicht nachrüsten lässt.
• SSD-Steckplatz: Unterstützt das Mainboard PCIe 5.0, oder läuft eine PCIe-5.0-SSD mit PCIe-4.0-Geschwindigkeit?
• Datenblatt lesen: TBW für die Garantie, DRAM oder HMB, sequenzielle Werte richtig einordnen.