Vælger til lokal AI-hardware

En lokal sprogmodel skal kunne ligge helt i hukommelsen. Grundlaget er modellens filstørrelse i den valgte kvantisering, som Ollamas modelbibliotek oplyser den. Dertil kommer omkring 20 procent til kontekst og afvikling. På mini-pc'er deler processor og grafik hukommelsen, derfor lægger vælgeren 4 GB oveni til styresystemet.

En mini-pc passer, hvis dens ram dækker behovet; et grafikkort passer, hvis dets grafikhukommelse rækker. Reserven viser, hvor meget der er tilbage. Store modeller fra 30 milliarder parametre kører på mini-pc'er uden eget grafikkort, men langsomt; vælgeren markerer det.

Q4 gemmer hver vægt i cirka fire bit og bruger omkring en fjerdedel af hukommelsen ved fuld præcision. Q8 er mere præcis og dobbelt så stor, FP16 er fuld præcision. Til de fleste formål derhjemme er Q4 det almindelige kompromis; Q8 kan betale sig, når der er hukommelse nok.

Et eksempel: Llama 3.3 med 70 milliarder parametre fylder i Q4 omkring 43 GB og kræver dermed over 50 GB hukommelse. Ingen mini-pc med 32 GB kan rumme den, men systemer med Ryzen AI Max og 128 GB delt hukommelse kan.

Qwen 2.5 med 14 milliarder parametre fylder i Q4 omkring 9 GB. Et grafikkort med 12 GB grafikhukommelse rækker, og på en mini-pc rækker 16 GB ram. Modellen med 32 milliarder parametre kræver det dobbelte; så kommer grafikkort med 24 GB eller mini-pc'er fra 32 GB på tale. Vælgeren viser reserven for hver enhed, så der er plads til længere samtaler og andre programmer.

Vælgeren tjekker, om modellen kan ligge i hukommelsen, ikke hvor mange ord i sekundet den skriver. Det afhænger af hukommelsens båndbredde, software og kontekstlængde. Mangler producentens oplysning om hukommelse, står enheden som ikke kontrolleret og aldrig som passer.

For grafikkort tæller modellens grafikhukommelse; de enkelte kort adskiller sig ikke her. Priser kommer fra Amazon med tidspunktet for seneste tjek.

Vælgeren lærer ikke af dine valg og gemmer dem ikke; valgene står kun i adressen, så du kan dele resultatet.