Anthropic запускает программу финансирования новых методов оценки ИИ
Компания Anthropic объявила о запуске амбициозной программы по финансированию разработки новых методов оценки систем искусственного интеллекта. Эта инициатива призвана решить нарастающую проблему в сфере ИИ, поскольку существующие методы оценки не успевают за стремительным развитием технологий и не могут адекватно анализировать возможности и риски современных моделей.
Мы столкнулись с серьезным вызовом. Спрос на качественные, релевантные методы оценки ИИ значительно превышает предложение. Наша цель - стимулировать создание инструментов, которые помогут всему сообществу разработчиков ИИ лучше понимать и контролировать создаваемые технологии. - пояснила представитель Anthropic: Дафни Ипполито
Программа Anthropic будет финансировать разработку широкого спектра оценочных инструментов. Особый интерес представляют методы, способные измерить продвинутые возможности ИИ в таких областях, как кибербезопасность, научные исследования и социальное взаимодействие. Компания также заинтересована в создании тестов, оценивающих потенциальные риски ИИ, включая способность к автономной работе и возможность манипулировать людьми.
Одним из ключевых направлений программы является разработка так называемых "Оценок уровня безопасности ИИ" (AI Safety Level assessments). Эти оценки призваны определить, насколько безопасно использовать ту или иную модель и какие меры предосторожности необходимо принять при ее развертывании.
Anthropic также подчеркивает необходимость создания инфраструктуры и инструментов, которые упростят процесс разработки новых методов оценки. Это включает платформы для создания тестов без навыков программирования и инструменты для проведения масштабных испытаний с участием людей.
Мы не просто ищем новые бенчмарки, мы стремимся создать целую экосистему оценки ИИ, которая позволит нам быть на шаг впереди потенциальных рисков и максимально эффективно использовать возможности этой технологии. - отметила Ипполито.
Компания приглашает исследователей, организации и отдельных экспертов подавать заявки на финансирование через специальную форму на своем сайте. Заявки будут рассматриваться на постоянной основе, а успешные кандидаты получат не только финансирование, но и возможность сотрудничать с экспертами Anthropic для доработки своих проектов.
Эта инициатива Anthropic может стать важным шагом в развитии индустрии ИИ, способствуя созданию более надежных и безопасных систем. Однако некоторые эксперты выражают озабоченность тем, что компания может использовать эту программу для получения конкурентного преимущества, получая доступ к передовым методам оценки раньше других участников рынка.
Несмотря на эти опасения, большинство наблюдателей сходятся во мнении, что инициатива Anthropic является важным и своевременным шагом в направлении более ответственного развития искусственного интеллекта.
