LLMRAM
Idioma: Português (Brasil)

Guia do modelo

Kimi K3 requisitos de VRAM, compatibilidade GGUF e deploy local

Se você pesquisou "kimi k3 vram requirements", provavelmente quer saber se Kimi K3 é viável no seu hardware local. Aqui dividimos o cálculo em pesos, cache KV e overhead de runtime para orientar a decisão.

Kimi K3 pode ser configurado para cerca de 1,048,576 tokens nas configurações públicas, então estratégia de contexto importa tanto quanto a de quantização.

Status de verificação: Verificado. Fontes coletadas em 2026-10-06.

Calculadora de VRAM / RAM

Compare cenários com VRAM dedicada, memória unificada da Apple e offload CPU/RAM.

ID do Hugging Face / parâmetros customizados (opcional)

Se o repo for desconhecido, a calculadora usa seus valores como estimativa.

Memória por quantização
QuantPesosKVOverheadTotal
FP16 / BF165,215.41 GiB139.5 GiB317.71 GiB5,672.62 GiB
INT8 / Q8_02,672.9 GiB139.5 GiB218.62 GiB3,031.01 GiB
Q6_K2,069.86 GiB139.5 GiB191.07 GiB2,400.44 GiB
Q5_K_M1,776.5 GiB139.5 GiB182.43 GiB2,098.43 GiB
Q4_K_M1,499.43 GiB139.5 GiB184.72 GiB1,823.65 GiB
Q3_K_M / Q31,140.87 GiB139.5 GiB164.51 GiB1,444.88 GiB
Q2_K / Q2814.91 GiB139.5 GiB135.17 GiB1,089.58 GiB
Cabe / não cabe por hardware
HardwareMemóriaResultadotok/s est.
NVIDIA GeForce RTX 4090 24GB24 GiBNão cabe11.46
NVIDIA GeForce RTX 5090 32GB32 GiBNão cabe20.38
NVIDIA GeForce RTX 4080 SUPER 16GB16 GiBNão cabe8.37
NVIDIA GeForce RTX 4070 Ti SUPER 16GB16 GiBNão cabe7.64
AMD Radeon RX 7900 XTX 24GB24 GiBNão cabe10.92
NVIDIA A100 80GB PCIe80 GiBNão cabe22
Apple Silicon M3 Max (128GB unified memory)128 GiBNão cabe3.88
Apple Silicon M2 Ultra (192GB unified memory)192 GiBNão cabe7.76
2× NVIDIA GeForce RTX 4090 (aggregate)48 GiBNão cabe20.63

Fórmulas e premissas

  • Weight memory uses resident params × effective_bits / 8 (total params when available, otherwise active/fallback estimate).
  • KV cache = 2 × layers × kv_heads × head_dim × kv_bytes × context × batch.
  • Runtime overhead includes allocator fragmentation, kernels, and framework buffers.
  • Tokens/sec estimate uses active_params for decode bandwidth and should be treated as a rough directional number.
  • CPU/RAM offload (for example llama.cpp partial offload with lower GPU layer count) can reduce VRAM needs at the cost of speed.
  • When config values are unavailable, fallback defaults are used and flagged as estimated on the page.

Kimi K3 VRAM / RAM por quantização

Visão padrão com contexto e batch de referência.

QuantPesosKVOverheadTotal
FP16 / BF165,215.41 GiB139.5 GiB317.71 GiB5,672.62 GiB
INT8 / Q8_02,672.9 GiB139.5 GiB218.62 GiB3,031.01 GiB
Q6_K2,069.86 GiB139.5 GiB191.07 GiB2,400.44 GiB
Q5_K_M1,776.5 GiB139.5 GiB182.43 GiB2,098.43 GiB
Q4_K_M1,499.43 GiB139.5 GiB184.72 GiB1,823.65 GiB
Q3_K_M / Q31,140.87 GiB139.5 GiB164.51 GiB1,444.88 GiB
Q2_K / Q2814.91 GiB139.5 GiB135.17 GiB1,089.58 GiB

Quais GPUs e Macs rodam Kimi K3?

Baseline com Q4_K_M e valores padrão. tok/s é estimativa por largura de banda.

NVIDIA GeForce RTX 4090 24GB

Não cabe (-1,799.65 GiB)

Estimado 11.46 tokens/s

Quantização recomendada: Sem ajuste nas quantizações listadas

NVIDIA GeForce RTX 5090 32GB

Não cabe (-1,791.65 GiB)

Estimado 20.38 tokens/s

Quantização recomendada: Sem ajuste nas quantizações listadas

NVIDIA GeForce RTX 4080 SUPER 16GB

Não cabe (-1,807.65 GiB)

Estimado 8.37 tokens/s

Quantização recomendada: Sem ajuste nas quantizações listadas

NVIDIA GeForce RTX 4070 Ti SUPER 16GB

Não cabe (-1,807.65 GiB)

Estimado 7.64 tokens/s

Quantização recomendada: Sem ajuste nas quantizações listadas

AMD Radeon RX 7900 XTX 24GB

Não cabe (-1,799.65 GiB)

Estimado 10.92 tokens/s

Quantização recomendada: Sem ajuste nas quantizações listadas

NVIDIA A100 80GB PCIe

Não cabe (-1,743.65 GiB)

Estimado 22 tokens/s

Quantização recomendada: Sem ajuste nas quantizações listadas

Apple Silicon M3 Max (128GB unified memory)

Não cabe (-1,695.65 GiB)

Estimado 3.88 tokens/s

Quantização recomendada: Sem ajuste nas quantizações listadas

Apple Silicon M2 Ultra (192GB unified memory)

Não cabe (-1,631.65 GiB)

Estimado 7.76 tokens/s

Quantização recomendada: Sem ajuste nas quantizações listadas

2× NVIDIA GeForce RTX 4090 (aggregate)

Não cabe (-1,775.65 GiB)

Estimado 20.63 tokens/s

Quantização recomendada: Sem ajuste nas quantizações listadas

Dispositivos que passam no baseline: nenhum.

Snippets de deploy para Kimi K3

llama.cpp

./llama-server -m ./Kimi-K3-Q3_K_M.gguf -c 32768 --split-mode layer --tensor-split 1,1,1,1

vLLM

vllm serve moonshotai/Kimi-K3 --tensor-parallel-size 8 --max-model-len 65536 --gpu-memory-utilization 0.92

Offload CPU/RAM: mover camadas para RAM do sistema pode viabilizar o carregamento com menos VRAM, mas tende a reduzir o throughput.

Kimi K3 guia aprofundado

Visão geral de VRAM e RAM para Kimi K3

Quem pesquisa “kimi k3 vram requirements” geralmente quer decidir rápido se o modelo é viável localmente. Esta página separa pesos residentes, cache KV e overhead de runtime.

No Kimi K3, campos de arquitetura como número de camadas, cabeças KV e head_dim mudam bastante o comportamento de memória. Em MoE, fit de memória segue total params; throughput por token segue active params.

Como a quantização muda a memória necessária em Kimi K3

Quantização é o principal ajuste prático. Q4_K_M costuma ser o início mais seguro; Q5/Q6 para qualidade melhor; Q3/Q2 para limites rígidos de memória.

Comprimento de contexto, cache KV e crescimento real de memória

Ao aumentar contexto, o cache KV cresce rápido e pode dominar o consumo. Em produção, um contexto moderado e estável costuma ser mais confiável.

Estratégia de fit em VRAM de GPU e memória unificada de Mac

Na escolha de hardware, capacidade e largura de banda são complementares: capacidade para caber, banda para responsividade.

Fluxo de deploy local (Ollama, llama.cpp, vLLM, ComfyUI)

Ollama facilita testes rápidos, llama.cpp oferece controle fino de offload, e vLLM tende a escalar melhor em APIs concorrentes. Para imagem/vídeo, considere memória extra de VAE e resolução.

Diagnóstico de OOM e throughput instável

Se ocorrer OOM, comece no perfil mínimo e aumente carga gradualmente. Offload CPU/RAM pode viabilizar o carregamento, com custo de latência e throughput.

Como escolher a configuração ideal de Kimi K3

Para definir a configuração final, valide com prompts e metas reais de qualidade. Um perfil com folga operacional costuma ser mais estável do que operar no limite de memória.

FAQ: Kimi K3

Quanta memória Kimi K3 precisa na prática?

Depende de quantização, contexto e overhead de runtime. Reserve mais 10–20% de margem.

Para Kimi K3, devo priorizar VRAM, memória unificada ou offload CPU/RAM?

Garanta primeiro residência estável; depois otimize throughput. Offload ajuda a caber, mas tende a reduzir velocidade.

Com qual quantização começar em Kimi K3?

Q4_K_M costuma ser um começo prático.

Fontes de dados e notas de verificação

Model card states 2.8T total parameters and 104B activated parameters.

Links internos