LLMRAM

Apple Silicon M2 Ultra (192GB unified memory): что можно запустить локально?

Если вы искали «Apple Silicon M2 Ultra (192GB unified memory) что можно запустить локально», эта страница даёт практичный ответ на прозрачных допущениях.

  • Тип памяти: Unified memory
  • Общая память: 192 GiB
  • Пропускная способность: 800 GB/s
  • Подсказка по планированию: Для MoE и мультимодальных моделей закладывайте дополнительный запас памяти.

Таблица совместимости на Apple Silicon M2 Ultra (192GB unified memory)

База: дефолтные context/batch и Q4_K_M для каждой модели.

МодельОценка totalВердиктtok/s (оценка)Рекоменд. квантизация
Qwen 3.8 27B20.91 GiBПодходит29.89fp16
Qwen 3.8 Flash Next 125B78.66 GiBПодходит134.49int8
MiniMax H3 33B22.45 GiBПодходит24.45fp16
Qwen Image 2.15.38 GiBПодходит115.28fp16
Kimi K31,823.65 GiBНе подходит7.76Нет fit
GLM 5.3 (Flash)215.7 GiBНе подходит44.83q3_k_m
DeepSeek V4.1 Flash334.25 GiBНе подходит50.43q2_k
MiMo V2.6 Pro RL625.89 GiBНе подходит19.21Нет fit
Bonsai 2 27B21.13 GiBПодходит29.49fp16
Mistral 7B Instruct v0.35.83 GiBПодходит115.28fp16

Быстрый ответ: что может Apple Silicon M2 Ultra (192GB unified memory)?

Apple Silicon M2 Ultra (192GB unified memory) запускает 6 из 10 моделей в базовом профиле Q4_K_M.

Для MoE и мультимодальных моделей закладывайте дополнительный запас памяти.

FAQ

Что можно запустить локально на Apple Silicon M2 Ultra (192GB unified memory)?

Используйте таблицу Q4_K_M как первую оценку. Для длинного контекста и мультимодальности закладывайте дополнительный запас.

Учитываются ли сценарии CPU/RAM offload?

Таблица отражает базовую резидентность. Частичный offload позволяет загрузить более крупные модели, но обычно снижает скорость.

Как интерпретировать unified memory на Mac?

Unified memory учитывается как основной вариант. Fit может улучшаться, но отзывчивость всё равно ограничивается bandwidth и runtime.

Источник и проверка

Источник спецификаций железа: Apple Mac Studio specs (получено 2026-10-06).