Почему бенчмарки Grok 3 вызвали конфликт с OpenAI ?
В середине февраля 2025 года компания xAI, основанная Илоном Маском, громко заявила о себе, представив Grok 3 как «самый умный ИИ на Земле». Маск и его команда уверяла, что модель превосходит конкурентов, включая OpenAI, в популярных тестах, таких как LMSys Chatbot Arena, AIME и GPQA.
Опубликованные xAI графики показывают, что версии Grok 3 Reasoning Beta и Grok 3 mini Reasoning превосходят o3-mini-high от OpenAI в тесте AIME 2025 — сборнике сложных математических задач, который считается показателем математических способностей ИИ. Маск даже намекнул, что это только начало: суперкомпьютер Colossus, оснащённый 100 тысячами GPU Nvidia H100 (а вскоре и 200 К), должен вывести Grok на новый уровень.
Но громкие заявления xAI тут же столкнулись с критикой. Сотрудники OpenAI и независимые эксперты начали задаваться вопросами: насколько эти результаты объективны? Почему xAI не раскрывает детали тестирования и архитектуры модели так же, как это делают другие игроки индустрии? В центре спора оказалась методика тестирования «cons@64».
Как «cons@64» влияет на результаты?
Тест AIME 2025 стал ключевым элементом дебатов. OpenAI указала, что xAI сравнила свои модели с их o3-mini-high, но при этом не учла показатели по методу «cons@64». Этот метод предполагает, что модели предоставляется 64 попытки на каждую задачу, а окончательный ответ выбирается на основе наиболее частого результата.
Такой подход значительно повышает точность модели, и если учитывать его, то o3-mini-high обходит обе версии Grok 3. Однако xAI в своём графике использовала только первый полученный ответ («@1»), что создало впечатление превосходства их модели.
Представь, что ты сдаёшь экзамен. Если тебе дают одну попытку, ты можешь случайно ошибиться. А если 64 попытки и лучший результат засчитывается, шансы на успех выше. OpenAI говорит: «Мы так тестировали, а вы — нет, поэтому ваше сравнение несправедливо».
Если рассматривать результаты в таком формате, то Grok 3 Reasoning Beta не только уступает o3-mini-high, но и слегка проигрывает модели o1, работающей на средних вычислительных настройках OpenAI. В таком случае, громкие заявления xAI могут оказаться лишь частью общей картины, выгодной для маркетинга, но не отражающей реальную ситуацию.
Ответ xAI и альтернативные данные
Сотрудник OpenAI публично обвинил xAI в манипуляции с результатами, назвав их графики выборочными. В ответ соучредитель xAI Игорь Бабушкин заявил, что OpenAI также неоднократно публиковала спорные данные, особенно при сравнении собственных моделей между собой. В соцсети X появился альтернативный график от стороннего исследователя, в котором учтены все модели и их показатели по «cons@64». Интересно, что по этим данным, в выигрыше оказался вовсе не Grok 3 и не o3-mini-high, а модель DeepSeek R1, что стало неожиданным поворотом в споре двух гигантов.
«Смешно, как одни воспринимают мой график как атаку на OpenAI, а другие – как нападение на Grok, ведь на деле это пропаганда DeepSeek. Я считаю, что Grok демонстрирует достойные результаты, а хитрости OpenAI с o3-mini-high-pass@1 требуют большего внимания.»
Этот конфликт снова высветил проблему бенчмарков в ИИ-индустрии: многие компании выбирают удобные показатели, скрывая нюансы тестирования.
Ресурсы vs Оптимизация: у кого стратегия сильнее?
За цифрами бенчмарков скрывается более важный вопрос: что именно стоит за успехом моделей? xAI явно делает ставку на грубую вычислительную мощность: их Colossus, обладая сотнями тысяч GPU, обеспечивает небывалый масштаб. Это продолжение стратегии Илона Маска — увеличивать мощность вычислений до максимума. OpenAI же известна своим умением добиваться высокой эффективности без таких гигантских затрат. Исследователь Нейтан Ламберт подчеркнул, что без данных о затратах — времени, энергии и денег — сравнение моделей остаётся поверхностным.
Примером может служить тест профессора Итана Моллика из Уортонской школы, который попробовал Grok 3 в действии. По его словам, модель действительно сильная, но не даёт революционного скачка по сравнению с o3 или GPT-4o. Известный критик ИИ-индустрии Гэри Маркус высказался ещё жёстче:
«Сэму Альтману пока не о чем беспокоиться.»
При этом разные тесты показывают разные стороны моделей. Так, Андрей Карпати, бывший сотрудник OpenAI, похвалил Grok 3 за умение разрабатывать веб-сайты, но отметил его провалы в задачах с эмодзи, где DeepSeek R1 оказался лучше.
Прозрачность и будущее гонки ИИ
Этот конфликт вновь обнажил слабое место индустрии: отсутствие единого стандарта для оценки ИИ. xAI не публикует детальных технических отчётов, как это делают OpenAI или Anthropic, ограничиваясь общими заявлениями. Хотя OpenAI также скрывает многие детали своих моделей, её репутация лидера с проверенной историей пока работает на неё.
Независимые тесты Grok 3, которые могут появиться в ближайшие недели, помогут понять, насколько оправданы заявления xAI. Пока же это больше похоже на битву репутаций: Маск играет на эффектных заголовках, а OpenAI держит планку стабильности. Где правда? Скорее всего, истина, как всегда, где-то посередине.
