2× NVIDIA GeForce RTX 4090 (aggregate): ¿qué puede ejecutar en local?
Si buscas “2× NVIDIA GeForce RTX 4090 (aggregate) qué puede ejecutar en local”, aquí tienes una respuesta práctica con supuestos transparentes.
- Tipo de memoria: VRAM dedicada
- Memoria total: 48 GiB
- Ancho de banda: 1,814 GB/s
- Consejo de planificación: Para MoE y multimodal, reserva margen adicional.
Tabla de ajuste en 2× NVIDIA GeForce RTX 4090 (aggregate)
Supuesto base: contexto/batch por defecto y Q4_K_M en cada modelo.
| Modelo | Total estimado | Veredicto | tok/s estimados | Cuantización recomendada |
|---|---|---|---|---|
| Qwen 3.8 27B | 20.91 GiB | Compatible | 79.45 | int8 |
| Qwen 3.8 Flash Next 125B | 78.66 GiB | No compatible | 357.54 | q2_k |
| MiniMax H3 33B | 22.45 GiB | Compatible | 65.01 | int8 |
| Qwen Image 2.1 | 5.38 GiB | Compatible | 306.46 | fp16 |
| Kimi K3 | 1,823.65 GiB | No compatible | 20.63 | Sin ajuste |
| GLM 5.3 (Flash) | 215.7 GiB | No compatible | 119.18 | Sin ajuste |
| DeepSeek V4.1 Flash | 334.25 GiB | No compatible | 134.08 | Sin ajuste |
| MiMo V2.6 Pro RL | 625.89 GiB | No compatible | 51.08 | Sin ajuste |
| Bonsai 2 27B | 21.13 GiB | Compatible | 78.41 | int8 |
| Mistral 7B Instruct v0.3 | 5.83 GiB | Compatible | 306.46 | fp16 |
Respuesta rápida: qué puede ejecutar 2× NVIDIA GeForce RTX 4090 (aggregate)?
2× NVIDIA GeForce RTX 4090 (aggregate) puede ejecutar 5 de 10 modelos en la baseline Q4_K_M.
Para MoE y multimodal, reserva margen adicional.
Preguntas frecuentes
¿Qué puede ejecutar 2× NVIDIA GeForce RTX 4090 (aggregate) en local?
Usa la baseline Q4_K_M como primera referencia. Para contexto largo o multimodal, deja margen extra de memoria.
¿Incluye opciones de offload CPU/RAM?
La tabla refleja el comportamiento base en memoria. El offload parcial puede cargar modelos más grandes, normalmente con menor rendimiento.
¿Cómo interpretar la memoria unificada de Mac?
Se trata como objetivo principal. El ajuste mejora con más memoria, pero la respuesta sigue dependiendo del ancho de banda y del runtime.
Fuente y verificación
Fuente de especificaciones: Derived from two RTX 4090 cards (aggregate estimate) (obtenido 2026-10-06).