NVIDIA A100 80GB PCIe: ¿qué puede ejecutar en local?
Si buscas “NVIDIA A100 80GB PCIe qué puede ejecutar en local”, aquí tienes una respuesta práctica con supuestos transparentes.
- Tipo de memoria: VRAM dedicada
- Memoria total: 80 GiB
- Ancho de banda: 1,935 GB/s
- Consejo de planificación: Para MoE y multimodal, reserva margen adicional.
Tabla de ajuste en NVIDIA A100 80GB PCIe
Supuesto base: contexto/batch por defecto y Q4_K_M en cada modelo.
| Modelo | Total estimado | Veredicto | tok/s estimados | Cuantización recomendada |
|---|---|---|---|---|
| Qwen 3.8 27B | 20.91 GiB | Compatible | 84.75 | fp16 |
| Qwen 3.8 Flash Next 125B | 78.66 GiB | Compatible | 381.39 | q4_k_m |
| MiniMax H3 33B | 22.45 GiB | Compatible | 69.34 | fp16 |
| Qwen Image 2.1 | 5.38 GiB | Compatible | 326.91 | fp16 |
| Kimi K3 | 1,823.65 GiB | No compatible | 22 | Sin ajuste |
| GLM 5.3 (Flash) | 215.7 GiB | No compatible | 127.13 | Sin ajuste |
| DeepSeek V4.1 Flash | 334.25 GiB | No compatible | 143.02 | Sin ajuste |
| MiMo V2.6 Pro RL | 625.89 GiB | No compatible | 54.48 | Sin ajuste |
| Bonsai 2 27B | 21.13 GiB | Compatible | 83.64 | fp16 |
| Mistral 7B Instruct v0.3 | 5.83 GiB | Compatible | 326.91 | fp16 |
Respuesta rápida: qué puede ejecutar NVIDIA A100 80GB PCIe?
NVIDIA A100 80GB PCIe puede ejecutar 6 de 10 modelos en la baseline Q4_K_M.
Para MoE y multimodal, reserva margen adicional.
Preguntas frecuentes
¿Qué puede ejecutar NVIDIA A100 80GB PCIe en local?
Usa la baseline Q4_K_M como primera referencia. Para contexto largo o multimodal, deja margen extra de memoria.
¿Incluye opciones de offload CPU/RAM?
La tabla refleja el comportamiento base en memoria. El offload parcial puede cargar modelos más grandes, normalmente con menor rendimiento.
¿Cómo interpretar la memoria unificada de Mac?
Se trata como objetivo principal. El ajuste mejora con más memoria, pero la respuesta sigue dependiendo del ancho de banda y del runtime.
Fuente y verificación
Fuente de especificaciones: NVIDIA data center specs (obtenido 2026-10-06).