Tether открыла веса локального агента BotPsy

Tether AI Research выпустила BotPsy для вызова инструментов на пользовательских устройствах. Компактную модель дообучили на базе Qwen. Веса доступны на Hugging Face, включая варианты для llama.cpp.
Tether открыла веса локального агента BotPsy

BotPsy рассчитана на короткую цепочку действий, которую приложение выполняет по просьбе пользователя. Например, чтобы найти встречу и предложить новое время, модель должна выбрать календарь, передать ему правильную дату и разобрать ответ. Tether AI Research 11 ноября представила модель и опубликовала результаты таких проверок.

Как устроен локальный помощник

У BotPsy 800 млн параметров. Её дообучили на базе Qwen3.5-0.8B для выбора и вызова инструментов. Приложение сообщает модели, какие действия доступны. BotPsy выбирает действие и формирует параметры, а вызывающий код запускает сам инструмент. Для работы с почтой, календарём или поиском такой доступ должен предоставить разработчик приложения.

Веса можно исполнять на устройстве без облачного запроса к самой модели. Вызванный инструмент по-прежнему может обращаться в интернет, например за результатами поиска. Поэтому место запуска модели и путь данных через инструменты нужно оценивать отдельно.

Что показало сравнение с Qwen

В тестах авторов BotPsy набрала 44,0% в BFCL v4 для вызова функций против 23,4% у исходной Qwen3.5-0.8B-Think. В тесте ToolSandbox результат вырос с 30,5% до 64,6%. Более крупная Qwen3.5-2B-Think уступила по пяти из шести тестов на инструменты, но опередила BotPsy в Claw-Eval и показала лучшие результаты в двух тестах на знания.

Разрыв между тестами помогает понять назначение модели. В BrowseComp-Plus на исследовательский поиск BotPsy решила только 4,5% задач. Разработчики рекомендуют применять её для простых и умеренно сложных действий. Таблица результатов не обещает, что агент выполнит редкое многошаговое поручение на любом телефоне.

Где взять веса

На Hugging Face выложены веса BF16 в формате safetensors и отдельные GGUF в BF16, 8- и 4-битном вариантах. Для GGUF указаны llama.cpp и QVAC SDK. Лицензия Apache 2.0 разрешает использовать и адаптировать модель на её условиях. Начать проще с одного инструмента и набора проверяемых запросов, где приложение может показать пользователю выбранное действие до его выполнения.

19:46
51
Нет комментариев. Ваш будет первым!