2× NVIDIA GeForce RTX 4090 (aggregate): o que roda localmente?

Se você buscou “2× NVIDIA GeForce RTX 4090 (aggregate) o que roda localmente”, aqui vai uma resposta prática com premissas transparentes.

Tabela de compatibilidade em 2× NVIDIA GeForce RTX 4090 (aggregate)

Premissa base: contexto/batch padrão + Q4_K_M para cada modelo.

Modelo	Total estimado	Resultado	tok/s estimados	Quantização recomendada
Qwen 3.8 27B	20.91 GiB	Cabe	79.45	int8
Qwen 3.8 Flash Next 125B	78.66 GiB	Não cabe	357.54	q2_k
MiniMax H3 33B	22.45 GiB	Cabe	65.01	int8
Qwen Image 2.1	5.38 GiB	Cabe	306.46	fp16
Kimi K3	1,823.65 GiB	Não cabe	20.63	Sem ajuste
GLM 5.3 (Flash)	215.7 GiB	Não cabe	119.18	Sem ajuste
DeepSeek V4.1 Flash	334.25 GiB	Não cabe	134.08	Sem ajuste
MiMo V2.6 Pro RL	625.89 GiB	Não cabe	51.08	Sem ajuste
Bonsai 2 27B	21.13 GiB	Cabe	78.41	int8
Mistral 7B Instruct v0.3	5.83 GiB	Cabe	306.46	fp16

2× NVIDIA GeForce RTX 4090 (aggregate) roda 5 de 10 modelos no baseline Q4_K_M.

Para MoE e multimodal, reserve folga extra de memória.

Use a baseline Q4_K_M como primeira triagem. Para contexto longo e multimodal, reserve margem adicional de memória.

A tabela mostra o comportamento base em memória. Offload parcial pode permitir modelos maiores, normalmente com menor throughput.

Ela é tratada como alvo principal. O fit melhora com mais memória, mas a responsividade ainda depende da largura de banda e do runtime.