Hårdvara för lokal AI och LLM

Det korta svaret

För lokala språkmodeller är minnet det första du ska titta på, eftersom modellen behöver rymmas i det minne som grafiken arbetar med. Med ett separat grafikkort handlar det om grafikminnet, och 16 GB är en rimlig start. Utan ett stort grafikkort är det i stället det delade minnet som räknas, och ju mer minne, desto större modell. Den tredje frågan gäller lagringen: modellfiler är stora, och en snabb NVMe-disk med hög kapacitet kortar laddtiderna.

Guiden följer de tre besluten i samma ordning: grafikkort, mini PC med mycket minne och snabb lagring för modellerna. Varje avsnitt pekar vidare till en översiktssida med fler produkter.

Sajten testar inte produkterna själv, och de tekniska uppgifterna kommer från tillverkarna. Priserna hämtas från Amazon.se och anges i kronor.

Beslut 1: Grafikkort, där grafikminnet avgör

Varför VRAM väger tyngst

En lokal språkmodell går snabbast när hela modellen ryms i grafikminnet, alltså VRAM. Mer VRAM ger plats för större modeller eller för varianter som är mindre komprimerade. Lokala språkmodeller går bara smidigt om de ryms i grafikminnet, och 16 GB är en rimlig startpunkt. När du jämför kort för det här ändamålet är mängden grafikminne alltså den första raden att läsa.

Kandidaterna i listan

Sex grafikkretsar finns med som kandidater. Störst minne har NVIDIA GeForce RTX 5090 med 32 GB GDDR7 och en minnesbuss på 512 bit. Det är det enda kortet i listan med mer än 16 GB grafikminne. Eftersom mer VRAM ger plats för större modeller är det kortet som har mest utrymme för modeller i den här listan.

De övriga fem har alla 16 GB, alltså den nivå som räknas som en rimlig start. Från NVIDIA finns GeForce RTX 5080 med 16 GB GDDR7 och 256 bit. GeForce RTX 5070 Ti har också 16 GB GDDR7 och 256 bit. GeForce RTX 5060 Ti 16GB har 16 GB GDDR7 men en smalare minnesbuss på 128 bit. Från AMD finns Radeon RX 9070 XT med 16 GB GDDR6 och 256 bit. Radeon RX 9070 har samma uppgifter: 16 GB GDDR6 och 256 bit.

Skillnaderna mellan 16 GB-korten gäller alltså minnestypen, där NVIDIA-korten har GDDR7 och AMD-korten GDDR6, samt minnesbussens bredd. Hur de skillnaderna påverkar hastigheten i AI-arbete framgår inte av uppgifterna här, så den guiden gör ingen sådan bedömning.

Partnerkort, effekt och mått

Varje grafikkrets finns i utföranden från olika tillverkare, och partnerkorten använder samma krets men skiljer sig främst i kylning, klockfrekvenser och mått. Den effekt som anges för ett grafikkort, Total Graphics Power eller Typical Board Power, gäller referensutförandet, och partnerkort kan avvika. Kontrollera därför effekten för just det kort du väljer innan du räknar på nätaggregatet, och jämför kortets mått med vad datorlådan rymmer.

Hela urvalet hittar du på översiktssidan Grafikkort för AI.

Beslut 2: Mini PC med mycket minne

När det inte blir ett separat grafikkort

En mini PC använder oftast en mobil processor med integrerad grafik, och ett grafikkort går i regel inte att lägga till. Då ändras frågan: i ett system med delat minne delar processorn och grafiken på RAM-minnet, och för lokala AI-modeller är det minnets storlek som avgör. Utan stort grafikkort är det alltså det delade minnet som räknas, och ju mer minne, desto större modell.

Vad det betyder vid köpet

För den här vägen är minnesmängden den viktigaste raden i specifikationen. Eftersom ett grafikkort i regel inte kan läggas till i efterhand är det värt att utgå från de modeller du vill köra redan när du väljer minnesmängd. Den här guiden listar inga enskilda mini PC-modeller, så kandidaterna och deras minnesmängder finns på översiktssidan Mini PC för AI.

Beslut 3: Snabb lagring för modellerna

Varför disken spelar roll

Modellfiler är stora, och en snabb NVMe-disk med hög kapacitet kortar laddtiderna. Samtliga fem kandidater i listan har en kapacitet på 4 TB.

Kandidaterna i listan

Samsung 990 PRO 4TB har PCIe 4.0 x4, NVMe 2.0 och en angiven hastighet på 7 450 MB/s. Samma modell finns som Samsung 990 PRO 4TB med kylfläns, med samma gränssnitt och samma 7 450 MB/s. Samsung 990 EVO Plus 4TB anges med PCIe 4.0 x4 eller 5.0 x2, NVMe 2.0 och 7 250 MB/s. Lexar NM790 4TB har PCIe 4.0 x4, NVMe och 7 400 MB/s. Högst angiven hastighet har Samsung 9100 PRO 4TB med PCIe 5.0 x4, NVMe 2.0 och 14 800 MB/s.

Så läser du hastighetssiffrorna

Värdena i MB/s är tillverkarens sekventiella hastigheter för stora sammanhängande filer, och med många små filer blir värdena i vardagen lägre. PCIe 5.0 fördubblar den möjliga bandbredden per lane jämfört med PCIe 4.0. En PCIe 5.0-disk i en PCIe 4.0-plats arbetar dock i PCIe 4.0-hastighet. Om du överväger 9100 PRO bör du därför först kontrollera att moderkortet har en M.2-plats med PCIe 5.0.

Titta också på TBW i tillverkarens uppgifter, eftersom det är den skrivvolym som tillverkaren anger och som garantin gäller för. En DRAM-cache på disken håller adresstabellen, och modeller utan DRAM använder ofta Host Memory Buffer (HMB) i datorns minne. TBW och DRAM anges inte för kandidaterna i den här guiden, så kontrollera dem på respektive produktsida.

Hela urvalet av 4 TB-diskar finns på översiktssidan 4 TB SSD.

Om priserna på sidorna

Priserna kontrolleras på Amazon.se var sjätte timme, och ett pris visas bara om den senaste kontrollen är mindre än 24 timmar gammal, alltid med tidpunkt. Om en färsk kontroll finns ser du alltså det aktuella priset i prisblocket tillsammans med tidpunkten, annars visas inget pris just då. Länkarna till Amazon.se innehåller ett partner-ID, men priset för dig som köpare påverkas inte.

Checklista före köpet

• Minne först: ryms de modeller du vill köra i grafikminnet? 16 GB är en rimlig start, och RTX 5090 har 32 GB.
• Minnesbuss och minnestyp: 16 GB-korten skiljer sig i bussbredd, från 128 till 256 bit, och i minnestyp, GDDR7 eller GDDR6.
• Mini PC: utgå från det delade minnet, eftersom ett grafikkort i regel inte går att lägga till.
• Partnerkort: kontrollera effekt och mått för just ditt utförande, eftersom den angivna effekten gäller referenskortet.
• Disk: alla lagringskandidater har 4 TB, och en snabb NVMe-disk kortar laddtiderna för modellfilerna.
• PCIe 5.0: kontrollera moderkortets M.2-plats innan du väljer 9100 PRO, annars arbetar disken i PCIe 4.0-hastighet.
• Siffrorna: läs MB/s som tillverkarens värden för stora filer och kontrollera TBW och DRAM på produktsidan.