RAM vs VRAM til lokal AI — hvad skal du opgradere først?

Hvad VRAM gør

VRAM er hukommelsen på grafikkortet. Den skal rumme modellens vægte, KV-cachen, som vokser med konteksten (hvor meget tekst modellen arbejder med), og softwarens egne arbejdsbuffere. Når det hele er i VRAM, laver GPU'en alt arbejdet, og hvor hurtigt svaret skrives, afhænger i høj grad af kortets hukommelsesbåndbredde.

Hvad RAM gør

RAM rummer styresystemet og dine andre programmer, og modelfilen på vej over til GPU'en. Når modellen kører helt på grafikkortet, skal RAM primært dække resten af maskinen. RAM begynder først at lave AI-arbejde, når en del af modellen skal køre uden for GPU'en.

Når mere VRAM betyder mest

• Den model, du vil køre, kan ikke være i VRAM i dag.
• Du vil køre en større model, end dit kort kan rumme, fx fra 14B til 32B.
• Du har brug for lang kontekst (store dokumenter, lange samtaler, kodebaser), som får KV-cachen til at vokse.

Når mere RAM betyder noget

• Modellen kan kun køre, hvis en del af den lægges over i RAM. Så afgør RAM, om den overhovedet kan indlæses.
• Du kører modeller på CPU'en uden et egnet grafikkort.
• Maskinen kører også editor, browserfaneblade og Docker og begynder at swappe.
• På Apple Silicon og lignende maskiner med samlet hukommelse er RAM og VRAM den samme hukommelse, så RAM er AI-hukommelsen.

Hvad sker der, når modellen ikke kan være i VRAM?

Værktøjer som llama.cpp, LM Studio og Ollama kan lægge en del af modellens lag over i RAM (offload). Så kører modellen, men de lag behandles af CPU'en fra RAM, som har en brøkdel af et grafikkorts hukommelsesbåndbredde. Genereringen forventes derfor at gå langsommere, og mere jo større en del af modellen der ligger uden for VRAM.

Ikke målt endnu Hvor meget langsommere på en typisk maskine er endnu ikke målt af RigRoute Labs. Det er den næste planlagte måling.

Kun CPU og delvis offload

Når CPU'en laver arbejdet, enten for de lag, der er lagt over i RAM, eller for hele modellen, betyder CPU'en og hukommelsessystemet noget: Flere kerner hjælper modellen med at læse din prompt, og hukommelsesbåndbredden (antal hukommelseskanaler og RAM-hastighed) begrænser, hvor hurtigt den skriver. Hvor store de effekter er, er endnu ikke målt af RigRoute Labs.

Enkel opgraderingsguide

1. Find den modelstørrelse og kontekst, du faktisk vil bruge (fx 14B, 4-bit, 8.192 tokens).
2. Tjek, om den kan være i din VRAM med plads til overs (se tabellen nedenfor). Kan den det, er en hurtigere GPU den mest sandsynlige vej til en hurtigere model; mere RAM er det som regel ikke.
3. Kan den lige netop være der eller slet ikke, er mere VRAM det, der lader den køre helt på GPU'en. En mindre model eller kortere kontekst er det gratis alternativ.
4. Skal du offloade, så sørg for nok RAM til den del, der ligger uden for VRAM, og til alt det andet, du kører, og regn med langsommere svar.
5. Swapper maskinen, mens du arbejder, hjælper mere RAM maskinen, uanset om det gør modellen hurtigere.

Hvor meget hukommelse kræver en model?

RigRoutes estimat for en 4-bit-model og én bruger. Intervallet dækker modellen plus kontekst og arbejdsbuffere; dækker din VRAM toppen af intervallet, er der plads til overs.

Beregnet Rigtige modelfiler er ofte lidt større end præcis 4 bit pr. vægt, og det faktiske forbrug afhænger af modellen og softwaren.

Hvad RigRoute har målt

Alt på denne side falder i én af tre slags evidens:

• MåltEn 14B-model ved 4-bit kørte med alle lag på GPU'en på to grafikkort med 16 GB ved 8.192 tokens kontekst.
• MåltAt læse prompten og skrive svaret skalerer meget forskelligt: Mellem to AMD-generationer steg promptbehandlingen 3,29× men genereringen kun 1,37×.
• BeregnetHvor meget hukommelse hver modelstørrelse og kontekst kræver (tabellen ovenfor).
• Ikke målt endnuHvor meget langsommere en model bliver, når en del af den lægges over i RAM.
• Ikke målt endnuHvornår 64 GB RAM gør en reel forskel i forhold til 32 GB.
• Ikke målt endnuOm hurtigere RAM (fx DDR5-hastighed eller dual- mod single-channel) betyder noget ved offload eller kun-CPU.
• Ikke målt endnuHvor meget RAM et normalt udviklingsarbejde (editor, browser, Docker) kræver ved siden af en lokal model.

Se Labs' målinger

Hvad nu?