NVIDIA GeForce RTX 4090 24GB: o que roda localmente?
Se você buscou “NVIDIA GeForce RTX 4090 24GB o que roda localmente”, aqui vai uma resposta prática com premissas transparentes.
- Tipo de memória: VRAM dedicada
- Memória total: 24 GiB
- Largura de banda: 1,008 GB/s
- Dica de planejamento: Para MoE e multimodal, reserve folga extra de memória.
Tabela de compatibilidade em NVIDIA GeForce RTX 4090 24GB
Premissa base: contexto/batch padrão + Q4_K_M para cada modelo.
| Modelo | Total estimado | Resultado | tok/s estimados | Quantização recomendada |
|---|---|---|---|---|
| Qwen 3.8 27B | 20.91 GiB | Cabe | 44.15 | q5_k_m |
| Qwen 3.8 Flash Next 125B | 78.66 GiB | Não cabe | 198.68 | Sem ajuste |
| MiniMax H3 33B | 22.45 GiB | Cabe | 36.12 | q4_k_m |
| Qwen Image 2.1 | 5.38 GiB | Cabe | 170.3 | fp16 |
| Kimi K3 | 1,823.65 GiB | Não cabe | 11.46 | Sem ajuste |
| GLM 5.3 (Flash) | 215.7 GiB | Não cabe | 66.23 | Sem ajuste |
| DeepSeek V4.1 Flash | 334.25 GiB | Não cabe | 74.5 | Sem ajuste |
| MiMo V2.6 Pro RL | 625.89 GiB | Não cabe | 28.38 | Sem ajuste |
| Bonsai 2 27B | 21.13 GiB | Cabe | 43.57 | q5_k_m |
| Mistral 7B Instruct v0.3 | 5.83 GiB | Cabe | 170.3 | fp16 |
Resposta rápida: o que NVIDIA GeForce RTX 4090 24GB?
NVIDIA GeForce RTX 4090 24GB roda 5 de 10 modelos no baseline Q4_K_M.
Para MoE e multimodal, reserve folga extra de memória.
FAQ
O que o NVIDIA GeForce RTX 4090 24GB consegue rodar localmente?
Use a baseline Q4_K_M como primeira triagem. Para contexto longo e multimodal, reserve margem adicional de memória.
Inclui cenários de offload CPU/RAM?
A tabela mostra o comportamento base em memória. Offload parcial pode permitir modelos maiores, normalmente com menor throughput.
Como interpretar memória unificada no Mac?
Ela é tratada como alvo principal. O fit melhora com mais memória, mas a responsividade ainda depende da largura de banda e do runtime.
Fonte e verificação
Fonte das especificações: NVIDIA product page (coletado 2026-10-06).