Guía del modelo
Qwen 3.6 35B-A3B requisitos de VRAM, compatibilidad GGUF y despliegue local
Si buscas "qwen 3.6 35b a3b vram requirements", probablemente quieres saber si Qwen 3.6 35B-A3B es viable en tu hardware local. Aquí separamos pesos, caché KV y overhead de runtime para decidir con criterio.
Qwen 3.6 35B-A3B puede configurarse hasta alrededor de 262,144 tokens en ajustes publicados, por lo que la estrategia de contexto importa tanto como la de cuantización.
Estado de verificación: Verificación parcial. Fuentes obtenidas el 2026-10-06.
Calculadora VRAM / RAM
Compara escenarios de VRAM dedicada, memoria unificada de Apple y offload CPU/RAM.
ID de Hugging Face / parámetros personalizados (opcional)
Si el repo no es conocido, se usarán tus valores como estimación.
| Quant | Pesos | KV | Overhead | Total |
|---|---|---|---|---|
| FP16 / BF16 | 65.19 GiB | 0.63 GiB | 1.32 GiB | 67.14 GiB |
| INT8 / Q8_0 | 33.41 GiB | 0.63 GiB | 1.32 GiB | 35.35 GiB |
| Q6_K | 25.87 GiB | 0.63 GiB | 1.32 GiB | 27.82 GiB |
| Q5_K_M | 22.21 GiB | 0.63 GiB | 1.32 GiB | 24.15 GiB |
| Q4_K_M | 18.74 GiB | 0.63 GiB | 1.32 GiB | 20.69 GiB |
| Q3_K_M / Q3 | 14.26 GiB | 0.63 GiB | 1.32 GiB | 16.2 GiB |
| Q2_K / Q2 | 10.19 GiB | 0.63 GiB | 1.32 GiB | 12.13 GiB |
| Hardware | Memoria | Veredicto | tok/s est. |
|---|---|---|---|
| NVIDIA GeForce RTX 4090 24GB | 24 GiB | Compatible | 34.06 |
| NVIDIA GeForce RTX 5090 32GB | 32 GiB | Compatible | 60.55 |
| NVIDIA GeForce RTX 4080 SUPER 16GB | 16 GiB | No compatible | n/a (No compatible) |
| NVIDIA GeForce RTX 4070 Ti SUPER 16GB | 16 GiB | No compatible | n/a (No compatible) |
| AMD Radeon RX 7900 XTX 24GB | 24 GiB | Compatible | 32.44 |
| NVIDIA A100 80GB PCIe | 80 GiB | Compatible | 65.38 |
| Apple Silicon M3 Max (128GB unified memory) | 128 GiB | Compatible | 11.53 |
| Apple Silicon M2 Ultra (192GB unified memory) | 192 GiB | Compatible | 23.06 |
| 2× NVIDIA GeForce RTX 4090 (aggregate) | 48 GiB | Compatible | 61.29 |
Fórmulas y supuestos
- Weight memory uses resident params × effective_bits / 8 (total params when available, otherwise active/fallback estimate).
- KV cache = 2 × layers × kv_heads × head_dim × kv_bytes × context × batch.
- Runtime overhead = 1.3 GiB base + 3% of KV-cache memory.
- Tokens/sec estimate uses active_params for decode bandwidth and should be treated as a rough directional number.
- Apple Silicon fit checks use an estimated usable unified-memory budget (about 75% by default, about 68% on 16GB systems) aligned with macOS recommendedMaxWorkingSetSize behavior.
- Recommended quantization keeps at least 10% memory headroom relative to usable memory budget.
- CPU/RAM offload (for example llama.cpp partial offload with lower GPU layer count) can reduce VRAM needs at the cost of speed.
- When config values are unavailable, fallback defaults are used and flagged as estimated on the page.
Qwen 3.6 35B-A3B VRAM / RAM por cuantización
Vista base con contexto y batch por defecto del modelo.
| Quant | Pesos | KV | Overhead | Total |
|---|---|---|---|---|
| FP16 / BF16 | 65.19 GiB | 0.63 GiB | 1.32 GiB | 67.14 GiB |
| INT8 / Q8_0 | 33.41 GiB | 0.63 GiB | 1.32 GiB | 35.35 GiB |
| Q6_K | 25.87 GiB | 0.63 GiB | 1.32 GiB | 27.82 GiB |
| Q5_K_M | 22.21 GiB | 0.63 GiB | 1.32 GiB | 24.15 GiB |
| Q4_K_M | 18.74 GiB | 0.63 GiB | 1.32 GiB | 20.69 GiB |
| Q3_K_M / Q3 | 14.26 GiB | 0.63 GiB | 1.32 GiB | 16.2 GiB |
| Q2_K / Q2 | 10.19 GiB | 0.63 GiB | 1.32 GiB | 12.13 GiB |
Qué GPUs y Macs pueden ejecutar Qwen 3.6 35B-A3B?
Baseline con Q4_K_M y valores por defecto. tok/s es una estimación por ancho de banda.
NVIDIA GeForce RTX 4090 24GB
Compatible (3.31 GiB)
Estimado 34.06 tokens/s
Cuantización recomendada: q4_k_m
NVIDIA GeForce RTX 5090 32GB
Compatible (11.31 GiB)
Estimado 60.55 tokens/s
Cuantización recomendada: q6_k
NVIDIA GeForce RTX 4080 SUPER 16GB
No compatible (-4.69 GiB)
Estimado n/a (No compatible)
Cuantización recomendada: q2_k
NVIDIA GeForce RTX 4070 Ti SUPER 16GB
No compatible (-4.69 GiB)
Estimado n/a (No compatible)
Cuantización recomendada: q2_k
AMD Radeon RX 7900 XTX 24GB
Compatible (3.31 GiB)
Estimado 32.44 tokens/s
Cuantización recomendada: q4_k_m
NVIDIA A100 80GB PCIe
Compatible (59.31 GiB)
Estimado 65.38 tokens/s
Cuantización recomendada: fp16
Apple Silicon M3 Max (128GB unified memory)
Compatible (75.31 GiB)
Estimado 11.53 tokens/s
Cuantización recomendada: fp16
Apple Silicon M2 Ultra (192GB unified memory)
Compatible (123.31 GiB)
Estimado 23.06 tokens/s
Cuantización recomendada: fp16
2× NVIDIA GeForce RTX 4090 (aggregate)
Compatible (27.31 GiB)
Estimado 61.29 tokens/s
Cuantización recomendada: int8
Dispositivos que cumplen la baseline: NVIDIA GeForce RTX 4090 24GB, NVIDIA GeForce RTX 5090 32GB, AMD Radeon RX 7900 XTX 24GB, NVIDIA A100 80GB PCIe, Apple Silicon M3 Max (128GB unified memory), Apple Silicon M2 Ultra (192GB unified memory), 2× NVIDIA GeForce RTX 4090 (aggregate).
Snippets de despliegue para Qwen 3.6 35B-A3B
llama.cpp
./llama-cli -m ./Qwen-3.6-35B-A3B-Q4_K_M.gguf -c 8192 -ngl 99
vLLM
vllm serve Qwen/Qwen3.6-35B-A3B --max-model-len 8192
Nota de offload CPU/RAM: mover capas a RAM del sistema puede habilitar carga con menos VRAM, pero normalmente reduce rendimiento.
Qwen 3.6 35B-A3B guía en profundidad
Panorama de VRAM y RAM para Qwen 3.6 35B-A3B
Quien busca « qwen 3.6 35b a3b vram requirements » suele necesitar una decisión rápida y fiable para correr el modelo en local. Por eso separamos pesos residentes, KV cache y overhead.
En Qwen 3.6 35B-A3B, los campos de arquitectura mandan: capas, KV heads y head_dim. En MoE, la residencia suele seguir total params y el rendimiento por token active params.
Cómo cambia la memoria de Qwen 3.6 35B-A3B según la cuantización
La cuantización es el ajuste más influyente. Q4_K_M suele ser el punto de partida; Q5/Q6 para más calidad; Q3/Q2 para presupuestos de memoria muy ajustados.
Longitud de contexto, caché KV y crecimiento real de memoria
Al crecer el contexto, el KV cache domina el consumo. En producción, un contexto moderado y estable suele ser mejor que forzar el máximo desde el inicio.
Estrategia de ajuste en VRAM de GPU y memoria unificada de Mac
Para hardware, combina capacidad y ancho de banda: capacidad para “cabe/no cabe”, ancho de banda para experiencia interactiva.
Flujo de despliegue local (Ollama, llama.cpp, vLLM, ComfyUI)
Ollama acelera pruebas, llama.cpp da control fino de offload, vLLM encaja mejor en APIs concurrentes. En imagen/vídeo añade memoria de VAE y resolución.
Solución de OOM y rendimiento inestable
Si aparece OOM, empieza con un perfil mínimo y escala carga gradualmente. El offload CPU/RAM puede ayudar a cargar, con coste de latencia y throughput.
Cómo elegir la configuración de Qwen 3.6 35B-A3B para uso real
Para el ajuste final, usa tus prompts y objetivos de calidad reales. Un perfil con margen operativo suele ser más fiable que exprimir una configuración al límite.
FAQ: Qwen 3.6 35B-A3B
¿Cuánta memoria necesita Qwen 3.6 35B-A3B en la práctica?
Depende de la cuantización, el contexto y el overhead de runtime. Añade un margen de 10–20%.
¿Qué priorizar para Qwen 3.6 35B-A3B: VRAM, memoria unificada u offload CPU/RAM?
Primero asegura residencia estable; luego optimiza rendimiento. El offload ayuda a encajar, pero suele bajar velocidad.
¿Con qué cuantización empezar para Qwen 3.6 35B-A3B?
Q4_K_M suele ser un punto de partida práctico.
Fuentes de datos y notas de verificación
- Hugging Face config source (obtenido 2026-10-08)
- Hugging Face model card (obtenido 2026-10-08)
- Number of Parameters: 35B in total and 3B activated | - Number of Activated Experts: 8 Routed + 1 Shared | > We recommend using the following set of sampling parameters for generation