Илон Маск запустил самый мощный ИИ-тренировочный кластер в мире
Мемфис, Теннесси – В эпохальном шаге стартап Илона Маска xAI запустил суперкомпьютер, который претендует на звание самого мощного ИИ-тренировочного кластера в мире. "Мемфисский Суперкластер", как его назвал сам Маск, находится в Мемфисе, Теннесси, и является крупнейшей инвестиционной программой новой компании в истории города.
Суперкластер включает в себя впечатляющий массив из 100 тысяч жидкостно-охлаждаемых видеокарт Nvidia H100, специально разработанных для обучения ИИ-моделей. Эти видеокарты соединены с помощью одной RDMA (удаленный доступ к памяти), что позволяет эффективно передавать данные между вычислительными узлами.
- Количество GPU: 100 тысяч Nvidia H100
- Система охлаждения: Жидкостное охлаждение
- Связь: Один RDMA-фабрик
- Потребление энергии: До 150 мегаватт в час
По словам Маска, эта конфигурация делает Мемфисский Суперкластер самым мощным ИИ-тренировочным кластером в мире с целью обучить "самый мощный ИИ по всем показателям" к декабрю 2024 года.
Инвестиции и экономическое воздействие
Создание Мемфисского Суперкластера является значимым экономическим событием для города. Торговая палата Большого Мемфиса подтвердила, что этот суперкомпьютерный кластер стал крупнейшей капитальной инвестицией новой компании в истории города. Оценочная стоимость каждой видеокарты Nvidia H100 составляет от 30 до 40 тысяч долларов, что делает общую сумму инвестиций примерно 3-4 миллиарда долларов.
Проект является результатом совместных усилий команд xAI, X (бывший Twitter) и Nvidia. Компания Supermicro предоставила большую часть оборудования, а её генеральный директор Чарльз Лян высоко оценил выполнение проекта.
Решение проблем
Несмотря на технологические достижения, проект столкнулся с некоторыми вызовами. Местные жители выразили обеспокоенность по поводу использования энергии и воды на объекте. По оценкам главы Memphis Light, Gas, and Water, потребление электричества на объекте может быть эквивалентно потреблению 100 тысяч домов. Несмотря на это, Маск и xAI полны решимости продолжать, подчеркивая потенциальные преимущества амбициозного проекта.
Илон Маск заявил, что Мемфисский Суперкластер будет обучать крупную языковую модель xAI под названием Grok, с целью завершения обучения к декабрю 2024 года. Этот график показывает, что xAI не ждет выхода следующего поколения GPU, таких как Nvidia Blackwell B100 и B200, а использует текущие H100 для ускорения своего прогресса.
Конкурентное преимущество
Масштаб Мемфисского Суперкластера значительно превосходит другие мощные суперкомпьютеры, такие как Frontier (37,888 AMD GPU), Aurora (60,000 Intel GPU) и Microsoft Eagle (14,400 Nvidia H100 GPU). Эта огромная вычислительная мощность ставит xAI в авангард гонки по разработке самых мощных ИИ-моделей.
Запуск Мемфисского Суперкластера является важным моментом в индустрии ИИ. Благодаря своему беспрецедентному масштабу и передовой технологической инфраструктуре, xAI готова сделать значительные шаги в развитии ИИ. Несмотря на возникающие проблемы, потенциальные выгоды от этого суперкомпьютера огромны, обещая прогресс в возможностях ИИ, которые могут изменить область. По мере продолжения обучения в Мемфисском Суперкластере мир будет внимательно следить за инновациями и прорывами, возникающими из этого амбициозного проекта.