Cerebras бросает вызов Nvidia: новый инструмент для вывода ИИ обещает более высокую производительность
Стартап по производству аппаратного обеспечения для искусственного интеллекта Cerebras представил новое решение для вывода данных ИИ, которое потенциально может стать серьезным конкурентом предложениям Nvidia для корпоративного сегмента. Инструмент Cerebras Inference, построенный на базе Wafer-Scale Engine компании, демонстрирует впечатляющую производительность. Согласно источникам, новый инструмент достиг скорости обработки 1800 токенов в секунду для модели Llama 3.1 8B и 450 токенов в секунду для модели Llama 3.1 70B. Cerebras утверждает, что эти показатели не только превосходят результаты, достигаемые с помощью гипермасштабируемых облачных продуктов Nvidia, но и являются более экономичными.
Как отмечает аналитик Gartner Арун Чандрасекран, это значительный сдвиг в направлении генеративного ИИ. Если раньше внимание рынка было сосредоточено на обучении моделей, то теперь акцент смещается на стоимость и скорость вывода данных. Этот сдвиг обусловлен ростом использования ИИ в корпоративной среде и открывает новые возможности для таких поставщиков, как Cerebras, конкурировать на основе производительности.
По словам Мики Хилл-Смита, соучредителя и генерального директора Artificial Analysis, Cerebras действительно выделяется в своих бенчмарках вывода данных ИИ. Компания установила новые рекорды, достигнув более 1800 выходных токенов в секунду для Llama 3.1 8B и более 446 выходных токенов в секунду для Llama 3.1 70B.
Тем не менее, несмотря на потенциальные преимущества в производительности, Cerebras сталкивается с серьезными вызовами на корпоративном рынке. Стек программного и аппаратного обеспечения Nvidia доминирует в индустрии и широко используется предприятиями. Аналитик Futurum Group Дэвид Николсон отмечает, что хотя система на основе кремниевых пластин Cerebras может обеспечить высокую производительность при более низкой стоимости, ключевой вопрос заключается в том, готовы ли предприятия адаптировать свои инженерные процессы для работы с системой Cerebras.
Выбор между Nvidia и альтернативами, такими как Cerebras, зависит от нескольких факторов, включая масштаб операций и доступный капитал. Меньшие компании, скорее всего, выберут Nvidia, так как она предлагает уже устоявшиеся решения. В то же время более крупные предприятия с большим капиталом могут предпочесть Cerebras для повышения эффективности и экономии затрат.
По мере развития рынка аппаратного обеспечения ИИ, Cerebras также столкнется с конкуренцией со стороны специализированных облачных провайдеров, таких как Microsoft, AWS и Google, а также от провайдеров, занимающихся исключительно выводом данных, таких как Groq. Баланс между производительностью, стоимостью и легкостью внедрения, вероятно, будет определять выбор предприятий при принятии новых технологий вывода данных.
Появление высокоскоростного вывода данных ИИ, способного обрабатывать более 1000 токенов в секунду, можно сравнить с развитием широкополосного интернета, что может открыть новые горизонты для приложений ИИ. Точность 16 бит и более быстрая производительность вывода Cerebras могут обеспечить создание будущих приложений ИИ, где целые агенты ИИ должны работать быстро, многократно и в реальном времени.
С ростом сферы ИИ увеличивается и рынок аппаратного обеспечения для вывода данных ИИ. Данный сегмент составляет около 40% всего рынка аппаратного обеспечения ИИ и становится все более привлекательной целью в рамках более широкой индустрии. Учитывая, что крупные компании занимают значительную часть этого сегмента, многим новичкам следует тщательно обдумать важные аспекты конкурентной среды, принимая во внимание ее конкуренцию и значительные ресурсы, необходимые для навигации в корпоративном пространстве.
