LLMRAM: calculadora de VRAM e RAM para modelos de IA

Use esta ferramenta para responder rapidamente se um modelo roda localmente. Defina modelo, quantização, contexto e batch, e compare NVIDIA, AMD, Apple Silicon e offload CPU/RAM.

Calculadora de VRAM / RAM

Compare cenários com VRAM dedicada, memória unificada da Apple e offload CPU/RAM.

ModeloQuantizaçãoTamanho de contextoTamanho do batch

Hardware alvo

ID do Hugging Face / parâmetros customizados (opcional)

Se o repo for desconhecido, a calculadora usa seus valores como estimativa.

Memória por quantização
Quant	Pesos	KV	Overhead	Total
FP16 / BF16	50.29 GiB	4 GiB	3.74 GiB	58.03 GiB
INT8 / Q8_0	25.77 GiB	4 GiB	2.78 GiB	32.56 GiB
Q6_K	19.96 GiB	4 GiB	2.52 GiB	26.48 GiB
Q5_K_M	17.13 GiB	4 GiB	2.43 GiB	23.56 GiB
Q4_K_M	14.46 GiB	4 GiB	2.46 GiB	20.91 GiB
Q3_K_M / Q3	11 GiB	4 GiB	2.26 GiB	17.26 GiB
Q2_K / Q2	7.86 GiB	4 GiB	1.98 GiB	13.84 GiB

Cabe / não cabe por hardware
Hardware	Memória	Resultado	tok/s est.
NVIDIA GeForce RTX 4090 24GB	24 GiB	Cabe	37.26
NVIDIA GeForce RTX 5090 32GB	32 GiB	Cabe	66.25
NVIDIA GeForce RTX 4080 SUPER 16GB	16 GiB	Não cabe	27.21
NVIDIA GeForce RTX 4070 Ti SUPER 16GB	16 GiB	Não cabe	24.84
AMD Radeon RX 7900 XTX 24GB	24 GiB	Cabe	35.49
NVIDIA A100 80GB PCIe	80 GiB	Cabe	71.54
Apple Silicon M3 Max (128GB unified memory)	128 GiB	Cabe	12.61
Apple Silicon M2 Ultra (192GB unified memory)	192 GiB	Cabe	25.23
2× NVIDIA GeForce RTX 4090 (aggregate)	48 GiB	Cabe	67.06

Fórmulas e premissas

Weight memory uses resident params × effective_bits / 8 (total params when available, otherwise active/fallback estimate).
KV cache = 2 × layers × kv_heads × head_dim × kv_bytes × context × batch.
Runtime overhead includes allocator fragmentation, kernels, and framework buffers.
Tokens/sec estimate uses active_params for decode bandwidth and should be treated as a rough directional number.
CPU/RAM offload (for example llama.cpp partial offload with lower GPU layer count) can reduce VRAM needs at the cost of speed.
When config values are unavailable, fallback defaults are used and flagged as estimated on the page.

Páginas de modelos populares

Páginas de hardware

Metodologia para VRAM, memória unificada e offload RAM

Memória de pesos = parâmetros residentes × bits efetivos / 8 (GiB).
Em MoE, residência de pesos segue total params; active params ajuda na estimativa de throughput.
KV cache = 2 × layers × kv_heads × head_dim × kv_bytes × context × batch.
Overhead inclui fragmentação, buffers de runtime e reservas do framework.
tokens/sec é uma estimativa direcional baseada em largura de banda.
Offload CPU/RAM reduz VRAM, mas geralmente reduz desempenho.
Memória unificada de Mac é tratada como alvo de primeira classe.

FAQ

Quão precisas são as estimativas?

São estimativas para planejamento. Separamos pesos, KV cache e overhead para deixar as premissas explícitas.

Suporta modelos MoE?

Sim. Fit de memória usa total params; estimativa de tokens/sec usa principalmente active params.

Dá para adicionar modelos novos rápido?

Sim. Há um script que lê config.json do Hugging Face e gera entradas tipadas.