NVIDIA представляет Mistral-NeMo-Minitron 8B: компактная языковая модель

Компания NVIDIA представила новую языковую модель Mistral-NeMo-Minitron 8B, которая совмещает в себе высокую точность и компактные размеры. Эта модель является уменьшенной версией недавно выпущенной Mistral NeMo 12B и способна работать на рабочих станциях, оснащенных графическими процессорами NVIDIA RTX.

Брайан Катанзаро, вице-президент по исследованиям в области прикладного глубокого обучения NVIDIA, пояснил: "Мы объединили два метода оптимизации ИИ — обрезку для сокращения 12 миллиардов параметров Mistral NeMo до 8 миллиардов, и дистилляцию для повышения точности. В результате Mistral-NeMo-Minitron 8B обеспечивает сопоставимую точность с оригинальной моделью при меньших вычислительных затратах".

Mistral-NeMo-Minitron 8B лидирует по девяти популярным тестам для языковых моделей в своем классе. Эти тесты охватывают различные задачи, включая понимание языка, здравый смысл, математические рассуждения, суммаризацию, кодирование и способность генерировать правдивые ответы.

Компактные языковые модели могут работать в режиме реального времени на рабочих станциях и ноутбуках. Это упрощает развертывание возможностей генеративного ИИ в организациях с ограниченными ресурсами, оптимизируя затраты, операционную эффективность и энергопотребление. Локальный запуск языковых моделей на периферийных устройствах также повышает безопасность, так как данные не нужно передавать на сервер.

Разработчики могут начать работу с Mistral-NeMo-Minitron 8B, используя ее в качестве микросервиса NVIDIA NIM со стандартным API, или загрузить модель с платформы Hugging Face.

NVIDIA также объявила о выпуске Nemotron-Mini-4B-Instruct — еще одной компактной языковой модели, оптимизированной для низкого использования памяти и более быстрого времени отклика на ПК и ноутбуках с NVIDIA GeForce RTX AI.

Эти разработки NVIDIA открывают новые возможности для внедрения технологий ИИ в различные устройства и приложения, делая передовые языковые модели доступными для более широкого круга пользователей и разработчиков.