Simplismart из Бангалора превзошла мировых лидеров в скорости вывода ИИ-моделей
Бангалорский стартап Simplismart, возглавляемый бывшими инженерами Oracle и Google, стал лидером в сфере высокопроизводительных инструментов для внедрения искусственного интеллекта. В отличие от компаний, полагающихся на специализированное оборудование, таких как Groq и Cerebras Systems, Simplismart сосредоточилась на оптимизации программного обеспечения, и это позволило добиться невероятной скорости обработки данных.
Компания заявляет, что ее движок для вывода моделей ИИ, разработанный для модели Llama 3.1 8B, может обрабатывать более 343 токенов в секунду, что делает его самым быстрым среди подобных решений. В отличие от конкурентов, фокусирующихся на аппаратной оптимизации, Simplismart предоставляет гибкую платформу, поддерживающую различные модели и совместимую с большинством облачных и локальных решений.
Сооснователь и генеральный директор Simplismart Амританшу Джайн подчеркнул:
«Компании, как Groq и Cerebras, соревнуются в аппаратной производительности, но это не наша цель. Мы предлагаем универсальный движок, независимый от типа процессора и облачных сервисов, что обеспечивает клиентам максимальную автономию».
Платформа Simplismart работает с графическими процессорами NVIDIA и чипами AMD, а также может интегрироваться с новыми ускорителями, если они станут доступны. Эта адаптивность особенно привлекает компании, которые хотят использовать ИИ без привязки к конкретным поставщикам оборудования или облачных услуг.
В октябре Simplismart привлекла 7 миллионов долларов в рамках раунда финансирования Серии A. Инвестиции возглавил Accel, при участии Shastra VC, Titan Capital и Акишая Котхари, сооснователя Notion. Джайн подчеркнул, что компания сосредоточена на предоставлении бизнесу инструментов для эффективного использования ИИ, позволяя организациям самостоятельно настраивать и управлять моделями.
История основания
Simplismart была основана Джайном и его коллегой по колледжу Деваншем Гхатаком, с которым они начали работать над проектом после того, как столкнулись с трудностями в оптимизации ИИ в крупных технологических компаниях. Оба инженера, работая в разных фирмах, поняли, что предприятия, особенно более мелкие, нуждаются в стандартизированных инструментах для управления ИИ. Так родилась идея Simplismart, которая изначально воплотилась в 2022 году после победы на хакатоне.
Уникальные особенности платформы
Помимо высокой скорости, платформа Simplismart предлагает простоту и гибкость настройки. Стартап разработал собственный декларативный язык, схожий с Terraform, который упрощает процесс настройки и управления ИИ-моделями. Это позволяет компаниям использовать платформу на своих серверах, не полагаясь на сторонние API и избегая рисков, связанных с конфиденциальностью данных.
Джайн отметил:
«Компании, предлагающие API для генеративного ИИ, такие как TogetherAI и FireworksAI, — это, по сути, посредники в предоставлении доступа к ИИ. В то время как предприятия нуждаются в большей автономии и контроле над данными, что невозможно через обычные API».
Стартап Simplismart, благодаря своей независимой от оборудования архитектуре, предоставляет компаниям возможность самостоятельно настраивать и управлять ИИ, что особенно важно для организаций, работающих с конфиденциальной информацией.
Созданный командой инженеров из Бангалора, Simplismart продолжает привлекать внимание благодаря уникальным возможностям своей платформы, которая позволяет предприятиям использовать ИИ на своих условиях, обеспечивая высокую производительность и гибкость. Предполагается, что платформа будет востребована среди компаний, которые стремятся интегрировать ИИ в свои процессы, не полагаясь на внешние ресурсы и сохраняя контроль над данными.