Huawei выложила Qwen3.6-35B для локального запуска в llama.cpp

В локальных сборках одной модели часто приходится выбирать между размером файла и тем, насколько ответы отклоняются от исходной версии. Huawei предложила другой способ потратить тот же объём. Её лаборатория доработала уже сжатые веса Qwen3.6-35B-A3B и выложила готовый GGUF. Репозиторий появился в ночь на 12 ноября по Москве.

Тот же размер файла

Веса модели хранятся в числах. При квантовании их записывают с меньшей точностью, чтобы сократить объём. MACaQ-R берёт готовый квантованный файл и уточняет, какими значениями представлены отдельные веса. Вариант для Qwen сохраняет форматы и масштабы блоков GGUF, поэтому его принимает обычная установка llama.cpp.

Обе сборки в сравнении Huawei весят 22,36 ГБ. Для Unsloth UD-Q4_K_XL лаборатория приводит расхождение с исходной моделью FP16 в 0,015731, для MACaQ-R Q4_K_XL в 0,013367. Это KL-расхождение между распределениями вероятностей следующего токена. Чем оно ниже, тем ближе модель к исходной по этой метрике. Разница в тесте Huawei составляет около 15%. Насколько она заметна в конкретном диалоге или при написании кода, из этой цифры определить нельзя.

Как запустить сборку

На Hugging Face лежит один готовый файл в варианте Q4_K_XL. Это текстовая сборка. В карточке Huawei отдельно отмечено, что в файле отсутствует блок многотокенного предсказания MTP. Лицензия указана как Apache 2.0.

В инструкции Huawei для локального диалога указана команда llama cli -m файл.gguf, для HTTP-сервера используется llama serve -m файл.gguf. 22,36 ГБ в карточке относятся к размеру файла. Для работающей модели нужна дополнительная память, в том числе под контекст, поэтому объём файла сам по себе не гарантирует, что модель целиком поместится в конкретную видеокарту.

Что означает 35B в названии

Qwen3.6-35B-A3B устроена как смесь экспертов. У модели около 35 млрд параметров, но на одном токене задействуется лишь часть сети. Это сокращает объём вычислений на шаг, а веса экспертов всё равно приходится хранить. Поэтому число активных параметров в названии полезно для понимания устройства модели, но по нему нельзя прикинуть, сколько памяти займёт весь GGUF.

Два режима квантования

В репозитории Huawei есть полный набор MACaQ для разных типов моделей. В версии для vLLM он может сжимать веса и промежуточные значения, возникающие при вычислениях. В отдельном опыте с Qwen3.8-27B Huawei заявила ускорение обработки входа в 2,33 раза и генерации в 2,58 раза относительно BF16. Этот замер сделан на другой модели и относится к полному методу в vLLM.

MACaQ-R в новости решает более узкую задачу. Он улучшает уже готовый GGUF и сохраняет совместимость с обычным llama.cpp. Для владельца локальной установки практический смысл релиза в том, что файл можно подставить вместо другой сборки Qwen того же класса и сравнить на своих текстах и запросах при одинаковых настройках.