NVIDIA A100 80GB PCIe: что можно запустить локально?
Если вы искали «NVIDIA A100 80GB PCIe что можно запустить локально», эта страница даёт практичный ответ на прозрачных допущениях.
- Тип памяти: Дискретная VRAM
- Общая память: 80 GiB
- Пропускная способность: 1,935 GB/s
- Подсказка по планированию: Для MoE и мультимодальных моделей закладывайте дополнительный запас памяти.
Таблица совместимости на NVIDIA A100 80GB PCIe
База: дефолтные context/batch и Q4_K_M для каждой модели.
| Модель | Оценка total | Вердикт | tok/s (оценка) | Рекоменд. квантизация |
|---|---|---|---|---|
| Qwen 3.8 27B | 20.91 GiB | Подходит | 84.75 | fp16 |
| Qwen 3.8 Flash Next 125B | 78.66 GiB | Подходит | 381.39 | q4_k_m |
| MiniMax H3 33B | 22.45 GiB | Подходит | 69.34 | fp16 |
| Qwen Image 2.1 | 5.38 GiB | Подходит | 326.91 | fp16 |
| Kimi K3 | 1,823.65 GiB | Не подходит | 22 | Нет fit |
| GLM 5.3 (Flash) | 215.7 GiB | Не подходит | 127.13 | Нет fit |
| DeepSeek V4.1 Flash | 334.25 GiB | Не подходит | 143.02 | Нет fit |
| MiMo V2.6 Pro RL | 625.89 GiB | Не подходит | 54.48 | Нет fit |
| Bonsai 2 27B | 21.13 GiB | Подходит | 83.64 | fp16 |
| Mistral 7B Instruct v0.3 | 5.83 GiB | Подходит | 326.91 | fp16 |
Быстрый ответ: что может NVIDIA A100 80GB PCIe?
NVIDIA A100 80GB PCIe запускает 6 из 10 моделей в базовом профиле Q4_K_M.
Для MoE и мультимодальных моделей закладывайте дополнительный запас памяти.
FAQ
Что можно запустить локально на NVIDIA A100 80GB PCIe?
Используйте таблицу Q4_K_M как первую оценку. Для длинного контекста и мультимодальности закладывайте дополнительный запас.
Учитываются ли сценарии CPU/RAM offload?
Таблица отражает базовую резидентность. Частичный offload позволяет загрузить более крупные модели, но обычно снижает скорость.
Как интерпретировать unified memory на Mac?
Unified memory учитывается как основной вариант. Fit может улучшаться, но отзывчивость всё равно ограничивается bandwidth и runtime.
Источник и проверка
Источник спецификаций железа: NVIDIA data center specs (получено 2026-10-06).