LLMRAM

NVIDIA GeForce RTX 5090 32GB: ¿qué puede ejecutar en local?

Si buscas “NVIDIA GeForce RTX 5090 32GB qué puede ejecutar en local”, aquí tienes una respuesta práctica con supuestos transparentes.

  • Tipo de memoria: VRAM dedicada
  • Memoria total: 32 GiB
  • Ancho de banda: 1,792 GB/s
  • Consejo de planificación: Para MoE y multimodal, reserva margen adicional.

Tabla de ajuste en NVIDIA GeForce RTX 5090 32GB

Supuesto base: contexto/batch por defecto y Q4_K_M en cada modelo.

ModeloTotal estimadoVeredictotok/s estimadosCuantización recomendada
Qwen 3.8 27B20.91 GiBCompatible78.49q6_k
Qwen 3.8 Flash Next 125B78.66 GiBNo compatible353.21Sin ajuste
MiniMax H3 33B22.45 GiBCompatible64.22q6_k
Qwen Image 2.15.38 GiBCompatible302.75fp16
Kimi K31,823.65 GiBNo compatible20.38Sin ajuste
GLM 5.3 (Flash)215.7 GiBNo compatible117.74Sin ajuste
DeepSeek V4.1 Flash334.25 GiBNo compatible132.45Sin ajuste
MiMo V2.6 Pro RL625.89 GiBNo compatible50.46Sin ajuste
Bonsai 2 27B21.13 GiBCompatible77.46q6_k
Mistral 7B Instruct v0.35.83 GiBCompatible302.75fp16

Respuesta rápida: qué puede ejecutar NVIDIA GeForce RTX 5090 32GB?

NVIDIA GeForce RTX 5090 32GB puede ejecutar 5 de 10 modelos en la baseline Q4_K_M.

Para MoE y multimodal, reserva margen adicional.

Preguntas frecuentes

¿Qué puede ejecutar NVIDIA GeForce RTX 5090 32GB en local?

Usa la baseline Q4_K_M como primera referencia. Para contexto largo o multimodal, deja margen extra de memoria.

¿Incluye opciones de offload CPU/RAM?

La tabla refleja el comportamiento base en memoria. El offload parcial puede cargar modelos más grandes, normalmente con menor rendimiento.

¿Cómo interpretar la memoria unificada de Mac?

Se trata como objetivo principal. El ajuste mejora con más memoria, pero la respuesta sigue dependiendo del ancho de banda y del runtime.

Fuente y verificación

Fuente de especificaciones: NVIDIA product page (obtenido 2026-10-06).