KI-Mini-PC-Finder

Ein lokales Sprachmodell muss vollständig in den Speicher passen. Grundlage ist die Dateigröße des Modells in der gewählten Quantisierung, wie sie die Modellbibliothek von Ollama angibt. Dazu kommen rund 20 Prozent für Kontext und Laufzeit. Bei Mini-PCs teilen sich Prozessor und Grafik den Arbeitsspeicher, deshalb rechnet der Finder dort zusätzlich 4 GB für das Betriebssystem.

Ein Mini-PC passt, wenn sein Arbeitsspeicher den Bedarf deckt; eine Grafikkarte passt, wenn ihr Grafikspeicher reicht. Die Reserve zeigt, wie viel Speicher übrig bleibt. Große Modelle ab 30 Milliarden Parametern laufen auf Mini-PCs ohne eigene Grafikkarte, aber langsam; der Finder markiert das.

Q4 speichert jedes Gewicht in rund vier Bit und braucht etwa ein Viertel des Speichers der vollen Genauigkeit. Q8 ist genauer und doppelt so groß, FP16 ist die volle Genauigkeit. Für die meisten Anwendungen zu Hause ist Q4 der übliche Kompromiss; Q8 lohnt sich, wenn genug Speicher da ist.

Ein Beispiel: Llama 3.3 mit 70 Milliarden Parametern braucht in Q4 rund 43 GB Datei und damit über 50 GB Speicher. Kein Mini-PC mit 32 GB hält es; Systeme mit Ryzen AI Max und 128 GB gemeinsamem Speicher schon.

Qwen 2.5 mit 14 Milliarden Parametern braucht in Q4 rund 9 GB Datei. Auf einer Grafikkarte reicht damit eine Karte mit 12 GB Grafikspeicher, auf einem Mini-PC ein Gerät mit 16 GB Arbeitsspeicher. Für das 32-Milliarden-Modell verdoppelt sich der Bedarf; dann kommen Grafikkarten mit 24 GB oder Mini-PCs ab 32 GB in Frage. Der Finder zeigt bei jedem Gerät die Reserve, damit Platz für längere Gespräche und andere Programme bleibt.

Der Finder prüft, ob ein Modell in den Speicher passt, nicht wie viele Wörter pro Sekunde es erzeugt. Das hängt von Speicherbandbreite, Software und Kontextlänge ab. Fehlt die Speicherangabe eines Herstellers, steht das Gerät auf nicht geprüft und nie auf passt.

Bei Grafikkarten zählt der Grafikspeicher des Modells; die einzelnen Boards unterscheiden sich darin nicht. Preise stammen von Amazon und tragen den Zeitpunkt der letzten Prüfung.