Grok 1

Grok 1 был представлен в ноябре 2023 года как первая модель от xAI. Официально компания объявила о нём 4 ноября 2023 года, а доступ для пользователей начался вскоре после этого для подписчиков X Premium+.

• Цель: Grok 1 задумывался как ИИ-помощник, вдохновлённый «Автостопом по галактике» Дугласа Адамса и JARVIS из «Железного человека». Его задача — давать полезные и правдивые ответы, часто с юмором и нестандартным взглядом.

• Параметры: 314 миллиардов параметров, что делало его одним из крупнейших языковых моделей на тот момент. Это смесь экспертов (Mixture-of-Experts), где только часть весов активируется для каждого запроса.

• Обучение: Тренировался с нуля командой xAI на основе их собственного стека с использованием JAX и Rust. Точные данные о тренировочном наборе не раскрывались.

• Доступ: Изначально был встроен в платформу X, чтобы отвечать на вопросы в реальном времени, используя данные соцсети.

Открытый релиз

В марте 2024 года xAI сделала Grok 1 открытым — выпустила базовые веса модели и архитектуру под лицензией Apache 2.0 на GitHub. Это был «сырой» базовый чекпоинт до тонкой настройки, законченный в октябре 2023 года. Он не был оптимизирован для диалогов, но мог предсказывать следующий токен (например, завершать текст). Для запуска требовались мощные серверные GPU, что ограничило его использование энтузиастами.

Значение