Primate Labs представляет Geekbench AI: новый стандарт бенчмаркинга для ИИ
Выпуск Geekbench AI 1.0 стал результатом многолетней разработки и сотрудничества с клиентами, партнерами и сообществом инженеров в сфере ИИ. Ранее известный как Geekbench ML на стадии предварительного просмотра, бенчмарк был переименован в соответствии с терминологией отрасли и для большей ясности его назначения.
Geekbench AI теперь доступен для Windows, macOS и Linux через веб-сайт Primate Labs, а также в Google Play Store и Apple App Store для мобильных устройств.
Новый инструмент Primate Labs призван обеспечить стандартизированный метод измерения и сравнения возможностей ИИ на различных платформах и архитектурах. Бенчмарк предлагает уникальный подход, предоставляя три общие оценки, которые отражают сложность и неоднородность рабочих нагрузок ИИ.
"Измерение производительности, проще говоря, действительно сложная задача. Это не потому, что трудно провести произвольный тест, а потому, что трудно определить, какие тесты наиболее важны для измерения нужной производительности - особенно на разных платформах, и особенно когда все делают это немного по-разному".- поясняют в Primate Labs.
Система с тремя оценками учитывает различные уровни точности и аппаратные оптимизации, присутствующие в современных реализациях ИИ. Такой многомерный подход позволяет разработчикам, производителям оборудования и энтузиастам получить более глубокое представление о производительности устройства в различных сценариях использования ИИ.
Важным дополнением к Geekbench AI является включение измерений точности для каждого теста. Эта функция учитывает, что производительность ИИ зависит не только от скорости, но и от качества результатов. Сочетая показатели скорости и точности, Geekbench AI обеспечивает более целостное представление о возможностях ИИ, помогая пользователям понять компромиссы между производительностью и точностью.
Geekbench AI 1.0 поддерживает широкий спектр фреймворков ИИ, включая OpenVINO на Linux и Windows, а также специфические для производителей делегаты TensorFlow Lite, такие как Samsung ENN, ArmNN и Qualcomm QNN на Android. Эта широкая поддержка фреймворков гарантирует, что бенчмарк отражает новейшие инструменты и методологии, используемые разработчиками ИИ.
Бенчмарк также использует более обширные и разнообразные наборы данных, которые не только повышают точность оценок, но и лучше представляют реальные сценарии использования ИИ. Все рабочие нагрузки в Geekbench AI 1.0 выполняются минимум одну секунду, позволяя устройствам достичь максимальной производительности во время тестирования, при этом отражая прерывистый характер реальных приложений.
Primate Labs опубликовала подробные технические описания рабочих нагрузок и моделей, используемых в Geekbench AI 1.0, подчеркивая свою приверженность прозрачности и стандартным методологиям тестирования в отрасли. Бенчмарк интегрирован с Geekbench Browser, что облегчает сравнение результатов между платформами и обмен ими.
Компания планирует регулярно обновлять Geekbench AI, чтобы идти в ногу с изменениями на рынке и появлением новых функций ИИ. Однако в Primate Labs считают, что Geekbench AI уже достиг уровня надежности, достаточного для интеграции в профессиональные рабочие процессы. Крупные технологические компании, такие как Samsung и Nvidia, уже используют этот бенчмарк.