Väljare för AI-dator
Välj en språkmodell och dess kvantisering. Väljaren visar vilka minidatorer och grafikkort som rymmer modellen i minnet, hur mycket marginal som finns och var uppgifter saknas.
Exempel med standardvärden
Ordning: först det som passar, sedan det som inte är kontrollerat och sist det olämpliga; inom varje grupp efter lämplighet och pris.
PassarNVIDIA GeForce RTX 509021 GB i marginal
- Passar eftersom modellen kräver 11 GB och det finns 32 GB.
1 936,65 krAmazon.se ·
5 GB i marginal
- Passar eftersom modellen kräver 11 GB och det finns 16 GB.
8 659 krAmazon.se ·
8 751,86 krAmazon.se ·
PassarAMD Radeon RX 9070 XT5 GB i marginal
- Passar eftersom modellen kräver 11 GB och det finns 16 GB.
9 428,91 krAmazon.se ·
5 GB i marginal
- Passar eftersom modellen kräver 11 GB och det finns 16 GB.
14 490 krAmazon.se ·
PassarNVIDIA GeForce RTX 50805 GB i marginal
- Passar eftersom modellen kräver 11 GB och det finns 16 GB.
23 490 krAmazon.se ·
1 GB i marginal
- Passar eftersom modellen kräver 15 GB och det finns 16 GB.
4 299 krAmazon.se ·
PassarNVIDIA GeForce RTX 50701 GB i marginal
- Passar eftersom modellen kräver 11 GB och det finns 12 GB.
8 950,64 krAmazon.se ·
Inte kontrolleradASUS NUC 14 Pro- Inte kontrollerat: det användbara minnet anges inte.
5 581 krAmazon.se ·
Inte kontrolleradHP Z2 Mini G1a- Inte kontrollerat: det användbara minnet anges inte.
- Inte kontrollerat: minst en del saknar just nu kontrollerat pris.
Inget kontrollerat pris
Så räknar väljaren
En lokal språkmodell måste få plats helt i minnet. Grunden är modellens filstorlek i vald kvantisering, så som Ollamas modellbibliotek anger den. Till det kommer ungefär 20 procent för kontext och körning. På minidatorer delar processor och grafik på minnet, därför lägger väljaren till 4 GB för operativsystemet.
En minidator passar om dess RAM täcker behovet; ett grafikkort passar om dess grafikminne räcker. Marginalen visar hur mycket som blir över. Stora modeller från 30 miljarder parametrar går på minidatorer utan eget grafikkort, men långsamt; väljaren markerar det.
Kvantisering
Q4 lagrar varje vikt i ungefär fyra bitar och kräver runt en fjärdedel av minnet vid full precision. Q8 är mer exakt och dubbelt så stor, FP16 är full precision. För de flesta behov hemma är Q4 den vanliga kompromissen; Q8 lönar sig när det finns minne nog.
Ett exempel: Llama 3.3 med 70 miljarder parametrar tar i Q4 runt 43 GB och kräver därmed över 50 GB minne. Ingen minidator med 32 GB rymmer den, men system med Ryzen AI Max och 128 GB delat minne gör det.
Ett vardagsexempel
Qwen 2.5 med 14 miljarder parametrar tar i Q4 runt 9 GB. Ett grafikkort med 12 GB grafikminne räcker, och på en minidator räcker 16 GB RAM. Modellen med 32 miljarder parametrar kräver det dubbla; då kommer grafikkort med 24 GB eller minidatorer från 32 GB i fråga. Väljaren visar marginalen för varje enhet, så att det finns plats för längre samtal och andra program.
Begränsningar
Väljaren kontrollerar om modellen får plats i minnet, inte hur många ord per sekund den skriver. Det beror på minnets bandbredd, mjukvara och kontextlängd. Saknas tillverkarens uppgift om minnet står enheten som inte kontrollerad och aldrig som passar.
För grafikkort räknas modellens grafikminne; de enskilda korten skiljer sig inte här. Priser kommer från Amazon med tidpunkten för senaste kontroll. Valen står bara i adressen, så du kan dela resultatet.
Relevanta översikter
Vanliga frågor
- Hur mycket minne kräver en 70B-modell?
- I Q4 runt 52 GB grafikminne eller 56 GB delat RAM. Minidatorer med 32 GB räcker inte.
- Vad är bäst för lokal AI, minidator eller grafikkort?
- Ett grafikkort är snabbare men har mindre minne. Minidatorer med mycket delat minne rymmer större modeller men räknar långsammare.
- Var kommer modellstorlekarna ifrån?
- Från Ollamas modellbibliotek, per modell och kvantisering med källa.