Hardware til lokal AI og LLM

Det korte svar

Vil du køre sprogmodeller på din egen maskine, skal du først se på grafikhukommelsen: lokale sprogmodeller kører kun glat, hvis de kan være i grafikhukommelsen, og 16 GB er en fornuftig start. Mere VRAM giver plads til større modeller eller til mindre komprimerede varianter af den samme model. Uden et stort grafikkort er det i stedet den delte hukommelse, der tæller, og jo mere der er, jo større model kan du køre. Modelfilerne er store, så et hurtigt NVMe-drev med høj kapacitet forkorter indlæsningen.

Guiden tager de tre beslutninger én ad gangen: grafikkort, mini PC og lagring. Hver sektion peger videre til en oversigtsside, hvor du kan se kandidaterne side om side.

Grafikkort: grafikhukommelsen afgør

Den vigtigste enkeltbeslutning er, hvor meget grafikhukommelse kortet har. Lokale sprogmodeller kører hurtigst, når hele modellen kan ligge i grafikhukommelsen (VRAM). Derfor er 16 GB en fornuftig start, når du vælger grafikkort til lokal AI. Hele udvalget finder du på oversigtssiden Grafikkort: grafikhukommelsen afgør.

Kandidaterne på listen

Alle seks kandidater i denne beslutning har mindst 16 GB grafikhukommelse.

• NVIDIA GeForce RTX 5090 har 32 GB GDDR7 på en 512-bit hukommelsesbus.
• NVIDIA GeForce RTX 5080 har 16 GB GDDR7 på en 256-bit bus.
• NVIDIA GeForce RTX 5070 Ti har ligeledes 16 GB GDDR7 på en 256-bit bus.
• NVIDIA GeForce RTX 5060 Ti 16GB har 16 GB GDDR7 på en 128-bit bus.
• AMD Radeon RX 9070 XT har 16 GB GDDR6 på en 256-bit bus.
• AMD Radeon RX 9070 har 16 GB GDDR6 på en 256-bit bus.

Hvad tallene betyder for dig

RTX 5090 er det eneste kort på listen med 32 GB, altså det dobbelte af de øvrige fem kort. Den ekstra plads kan bruges til større modeller eller til mindre komprimerede varianter. De fem kort med 16 GB ligger alle på det niveau, der nævnes som en fornuftig start. Vælger du blandt dem, er det hukommelsestypen (GDDR7 på NVIDIA-kortene, GDDR6 på AMD-kortene) og busbredden, der står forskelligt i databladene. Vi omsætter ikke de tal til hastigheder, for sitet tester ikke selv produkter, og de tekniske data kommer fra producenterne.

Partnerkort og strøm

Overvejer du et partnerkort, så vær opmærksom på, at partnerkort fra forskellige producenter bruger samme grafikchip og adskiller sig mest på køling, clockfrekvenser og mål. Den effekt, der opgives for et grafikkort, gælder referenceudgaven, og partnerkort kan afvige. Læs derfor producentens oplysninger om strømforbrug og fysiske mål for netop det kort, du overvejer, og hold dem op mod din strømforsyning og dit kabinet.

Mini PC med meget hukommelse

Den anden vej til lokal AI går uden om det store grafikkort. Her er det den delte hukommelse, der tæller: jo mere, jo større model. Udvalget står på oversigtssiden Mini PC med meget hukommelse.

Sådan fungerer delt hukommelse

I systemer med delt hukommelse deler processor og grafik den samme RAM, og til lokale AI-modeller er hukommelsens størrelse derfor afgørende. En mini PC bruger oftest en mobil processor med integreret grafik. Et grafikkort kan som regel ikke tilføjes.

Hvad det betyder for dit valg

Fordi et grafikkort som regel ikke kan tilføjes senere, er hukommelsesmængden noget, du skal beslutte allerede ved købet. Se derfor først på, hvor meget RAM maskinen har, og derefter på resten af specifikationerne. Overvejer du både en mini PC og et grafikkort, kan du sammenligne mini PC'ens hukommelsesmængde med de 16 eller 32 GB, kortene på listen har.

Hurtig lagring til modellerne

Den tredje beslutning handler om, hvor modellerne skal ligge. Modelfiler er store, og et hurtigt NVMe-drev med høj kapacitet forkorter indlæsningen. Alle kandidaterne i denne beslutning har 4 TB kapacitet. Det samlede udvalg finder du på oversigtssiden Hurtig lagring til modellerne.

Kandidaterne på listen

• Samsung 990 PRO 4TB: PCIe 4.0 x4, NVMe 2.0, 7.450 MB/s.
• Samsung 990 EVO Plus 4TB: PCIe 4.0 x4 eller 5.0 x2, NVMe 2.0, 7.250 MB/s.
• Samsung 9100 PRO 4TB: PCIe 5.0 x4, NVMe 2.0, 14.800 MB/s.
• WD_BLACK SN850X 4TB: PCIe 4.0 x4, NVMe, 7.300 MB/s.
• Lexar NM790 4TB: PCIe 4.0 x4, NVMe, 7.400 MB/s.
• Corsair MP600 PRO LPX 4TB: PCIe 4.0 x4, NVMe, 7.100 MB/s.

PCIe 4.0 eller PCIe 5.0

Samsung 9100 PRO er det eneste drev på listen med PCIe 5.0 x4. PCIe 5.0 fordobler den mulige båndbredde pr. lane i forhold til PCIe 4.0, men et PCIe 5.0-drev i en PCIe 4.0-plads kører med PCIe 4.0-hastighed. Tjek derfor, hvilken PCIe-generation M.2-pladsen på dit bundkort understøtter, før du vælger. Samsung 990 EVO Plus står opført med enten PCIe 4.0 x4 eller PCIe 5.0 x2.

Sådan læser du hastighederne

Hastighederne i MB/s er producentens oplysninger for store, sammenhængende filer. Med mange små filer er værdierne i hverdagen lavere.

Holdbarhed, cache og format

Tre ting står ikke i listen ovenfor, men bør tjekkes på det enkelte drevs side. TBW (Terabytes Written) er den skrivemængde, producenten angiver, og som garantien gælder for. En DRAM-cache på drevet holder adressetabellen, mens modeller uden DRAM ofte bruger Host Memory Buffer (HMB) i computerens hukommelse. NVMe-drev i formfaktoren M.2 2280 er 22 mm brede og 80 mm lange og sættes direkte i bundkortet. Kontrollér derfor, at der er en ledig plads af den rigtige størrelse.

Sådan læser du priserne på oversigtssiderne

Markedspladsen for Danmark er Amazon.de, fordi der ikke findes en dansk Amazon-butik, og priserne er derfor i euro. Priserne tjekkes hos Amazon.de hver sjette time, og en pris vises kun, hvis seneste tjek er under 24 timer gammelt, altid med tidspunkt. Se derfor tidspunktet ved prisen, før du regner med et bestemt niveau. Kronebeløbet er et skøn, omregnet med Den Europæiske Centralbanks seneste daglige referencekurs og altid vist med "ca.", kurs og dato. Bestillinger fra Danmark håndteres af Amazon.de, og levering og eventuelle gebyrer vises ved kassen.

Links til Amazon.de indeholder et partner-ID, men det ændrer ikke prisen for dig.

Tjekliste før du køber

• Grafikhukommelse: sigt efter mindst 16 GB, eller 32 GB hvis du vil have plads til større modeller.
• Partnerkort: se producentens oplysninger om strømforbrug og mål, fordi partnerkort kan afvige fra referenceudgaven.
• Mini PC: beslut hukommelsesmængden ved købet, fordi et grafikkort som regel ikke kan tilføjes.
• Lagring: vælg et hurtigt NVMe-drev med høj kapacitet; alle kandidaterne på listen har 4 TB.
• PCIe-generation: tjek bundkortets M.2-plads, hvis du overvejer et PCIe 5.0-drev.
• TBW og cache: læs drevets TBW, og se om det har DRAM eller bruger HMB.
• Pris: se den aktuelle pris med tidspunkt og prisvurderingen på siden, og husk, at kronebeløbet er et skøn.

Start på Grafikkort: grafikhukommelsen afgør, hvis du bygger en stationær maskine, eller på Mini PC med meget hukommelse, hvis du vil have en kompakt løsning, og afslut med Hurtig lagring til modellerne.