Axolotl v0.8.0 теперь поддерживает Gemma 3: ИИ-разработка становится доступнее

Разработчики из Google AI объявили о выпуске новой версии инструмента тонкой настройки языковых моделей Axolotl — 0.8.0. Одним из ключевых новшеств стала официальная поддержка моделей семейства Gemma 3, открывающая новые возможности для обучения ИИ даже на относительно слабом оборудовании.

Быстрее, легче и доступнее: что нового в Axolotl

Axolotl, популярный среди разработчиков инструмент для адаптации больших языковых моделей под конкретные задачи, теперь позволяет обучать модели Gemma 3 в 3,6 раза быстрее по сравнению с традиционными методами, такими как Hugging Face с Flash Attention 2. Об этом сообщил один из главных участников проекта, Винг Лиан (Wing Lian).

Кроме того, потребление видеопамяти снижено на 50%, благодаря чему обучать мощную модель Gemma 3 27B теперь можно даже на одном графическом процессоре, например NVIDIA 4090, с объемом VRAM всего 21,6 ГБ. Это делает модель доступной для малого бизнеса, энтузиастов и стартапов без дорогостоящих кластеров.

Что такое Gemma 3 и почему это важно

Представленное Google в марте 2025 года семейство Gemma 3 — это одни из самых производительных открытых моделей своего класса. Особое внимание привлекает модель Gemma 3 27B, которая, по данным платформы LMArena, демонстрирует лучшие результаты, чем конкуренты вроде LLaMA 3-405B, DeepSeek-V3 и o3-mini.

Gemma 3 разработана с прицелом на работу в условиях ограниченных ресурсов. Среди ключевых особенностей:

• Поддержка длинного контекста — до 128 тысяч токенов, а при использовании gradient checkpointing — более 250 тысяч, что делает её подходящей для анализа больших текстов.
• Мультимодальность — возможность работать не только с текстом, но и с изображениями и другими типами данных.
• Аппаратная универсальность — оптимизация под разные типы оборудования: от Jetson Nano до GPU Blackwell, а также TPU от Google и GPU AMD через стек ROCm.

Новые функции в Axolotl: параллелизм и мультимодальность

Среди других новшеств Axolotl v0.8.0:

• Поддержка Sequence Parallelism — технологии, позволяющей распределять длинные последовательности данных по нескольким GPU, снижая нагрузку на память и ускоряя обучение.
• Экспериментальная поддержка мультимодальных моделей.
• Новый оптимизатор Muon, повышающий эффективность обучения.
• Улучшенное накопление градиентов для Gemma 3.
• Расширенная документация и удобная интеграция с такими платформами, как Hugging Face, Google Colab и Vertex AI.

Это фантастические новости! Улучшения производительности в Axolotl v0.8.0 действительно впечатляют. С нетерпением жду, что смогут создать разработчики с этими новыми функциями! — прокомментировала пользовательница сообщества.

Почему это важно для разработчиков

Обновление Axolotl и поддержка Gemma 3 — важный шаг к демократизации ИИ-технологий. Теперь разработка сложных приложений, таких как чат-боты, интеллектуальные ассистенты, генераторы текста или мультимодальные решения, становится возможной даже без доступа к мощным серверам. Это особенно актуально для небольших команд и индивидуальных разработчиков.

Разработчики уже могут ознакомиться с полной документацией на официальном сайте Axolotl и изучить бенчмарки, опубликованные Вингом Лианом. Команда продолжает работать над расширением мультимодальных функций и устранением недочётов в будущем.