NVIDIA GeForce RTX 4090 24GB: ¿qué puede ejecutar en local?
Si buscas “NVIDIA GeForce RTX 4090 24GB qué puede ejecutar en local”, aquí tienes una respuesta práctica con supuestos transparentes.
- Tipo de memoria: VRAM dedicada
- Memoria total: 24 GiB
- Ancho de banda: 1,008 GB/s
- Consejo de planificación: Para MoE y multimodal, reserva margen adicional.
Tabla de ajuste en NVIDIA GeForce RTX 4090 24GB
Supuesto base: contexto/batch por defecto y Q4_K_M en cada modelo.
| Modelo | Total estimado | Veredicto | tok/s estimados | Cuantización recomendada |
|---|---|---|---|---|
| Qwen 3.8 27B | 20.91 GiB | Compatible | 44.15 | q5_k_m |
| Qwen 3.8 Flash Next 125B | 78.66 GiB | No compatible | 198.68 | Sin ajuste |
| MiniMax H3 33B | 22.45 GiB | Compatible | 36.12 | q4_k_m |
| Qwen Image 2.1 | 5.38 GiB | Compatible | 170.3 | fp16 |
| Kimi K3 | 1,823.65 GiB | No compatible | 11.46 | Sin ajuste |
| GLM 5.3 (Flash) | 215.7 GiB | No compatible | 66.23 | Sin ajuste |
| DeepSeek V4.1 Flash | 334.25 GiB | No compatible | 74.5 | Sin ajuste |
| MiMo V2.6 Pro RL | 625.89 GiB | No compatible | 28.38 | Sin ajuste |
| Bonsai 2 27B | 21.13 GiB | Compatible | 43.57 | q5_k_m |
| Mistral 7B Instruct v0.3 | 5.83 GiB | Compatible | 170.3 | fp16 |
Respuesta rápida: qué puede ejecutar NVIDIA GeForce RTX 4090 24GB?
NVIDIA GeForce RTX 4090 24GB puede ejecutar 5 de 10 modelos en la baseline Q4_K_M.
Para MoE y multimodal, reserva margen adicional.
Preguntas frecuentes
¿Qué puede ejecutar NVIDIA GeForce RTX 4090 24GB en local?
Usa la baseline Q4_K_M como primera referencia. Para contexto largo o multimodal, deja margen extra de memoria.
¿Incluye opciones de offload CPU/RAM?
La tabla refleja el comportamiento base en memoria. El offload parcial puede cargar modelos más grandes, normalmente con menor rendimiento.
¿Cómo interpretar la memoria unificada de Mac?
Se trata como objetivo principal. El ajuste mejora con más memoria, pero la respuesta sigue dependiendo del ancho de banda y del runtime.
Fuente y verificación
Fuente de especificaciones: NVIDIA product page (obtenido 2026-10-06).