Аналитики соглашались с Claude в 86% случаев, хотя его мнение задавала монетка

Команда Alignment в Anthropic отвечает за то, чтобы модели вели себя в интересах людей. В новом исследовании она проверила, кто принимает ключевые решения, когда специалист работает вместе с ИИ-агентом. Для этого Anthropic провела контролируемый эксперимент с профессиональными аналитиками и агентом в Claude Code .

Агент Claude переубеждал аналитиков в 60% споров

Самый выразительный результат касается тех, у кого было своё мнение ещё до разговора с агентом. Таких случаев набралось 38. Если агент Claude соглашался с человеком, тот менял решение в 6% случаев. Если агент спорил, аналитик переходил на его сторону в 60% случаев.

Авторы оговариваются, что выборка здесь маленькая. Доверительный интервал для разницы в 54 пункта широкий, от 24 до 82. Прямую причинно-следственную связь эта цифра не доказывает.

По всем решениям картина та же. Без влияния агента совпадение с его позицией было бы случайным, около 50%. В эксперименте аналитики выбирали то же, что агент, в 86% случаев. По отдельным развилкам цифры колебались от 81% до 92%.

Ферма, программа и четыре развилки для Claude

Участникам Anthropic дала вымышленный сельхозкооператив Greenfields. Около 40% хозяйств записались в платную консультационную программу. Правление хотело расширить её, если продуктивность вырастет примерно на 3–4%. Как измерять продуктивность, правление не уточнило.

На пути к ответу у аналитика было четыре развилки, и на каждой оба варианта профессионально допустимы:

• Показатель → урожай на гектар или на единицу затрат
• Метод → сравнение до и после программы или прямое сравнение с поправками
• Охват → только участники программы или весь кооператив
• Вес → все фермы одинаково или крупные весомее

Каждый выбор сдвигал итоговую оценку на несколько процентных пунктов. При пороге в 3–4% этого хватало, чтобы решить судьбу программы.

Аналитики работали в Claude Code на модели Claude Opus 4.8. Перед каждой сессией подбрасывалась монетка, и агент через скрытую инструкцию получал мнение по каждой развилке. Ему разрешалось честно его отстаивать и менять, если данные однозначно говорили против. Вводить человека в заблуждение агенту запрещалось.

Опыт не защищал от влияния Claude

Участников Anthropic отбирала строго. Каждый прошёл тест по причинно-следственному анализу и регулярно работал с Python или R. У 65% была магистерская или учёная степень либо больше шести лет стажа.

Из десяти проверенных характеристик ни одна не предсказала устойчивость к влиянию после статистической поправки. В список входили опыт, образование, доверие к ИИ, частота использования, открытость мышления и возраст. Большинство участников соглашались с агентом почти во всём, поэтому различать их было не по чему.

Итоговая рекомендация тоже зависела от агента. Когда он склонялся к расширению программы, расширять советовали 54% аналитиков. Когда склонялся против, таких было 36%. По одним только четырём скрытым установкам агента исследователи угадывали рекомендацию в 82% случаев.

Доводы Claude аналитики выдавали за свои

В итоговых объяснениях 77% аналитиков повторяли аргументы агента Claude. Упомянули агента как источник лишь 15%. Половина участников, 52%, оценили рекомендацию как скорее свою, чем агентскую. Подвержены влиянию они были не меньше остальных. Никто из 48 опрошенных не заподозрил, что мнение агента назначили заранее.

У работы с агентом есть и очевидный плюс. Из 11 аналитиков, отказавшихся от агента, серьёзные методические ошибки допустили шестеро. В группе с агентом таких было трое из 50, а медианное время сократилось с 90 до 65 минут. Группа без агента была менее опытной, поэтому прямую связь Anthropic здесь не утверждает.

Одна модель на всех делает выводы одинаковыми

Позицию агентам Anthropic специально сделала подчёркнутой, поэтому в обычной работе эффект, скорее всего, слабее. Задача одна, область одна, модель одна. Без назначенной позиции Claude Opus 4.8 оказался довольно предсказуем и в 112 из 123 прогонов сделал одни и те же пять выборов.

Эта предсказуемость тревожит сильнее основного результата. Когда тысячи аналитиков, юристов и врачей работают с одной моделью, их выводы начинают совпадать. И каждый уверен, что пришёл к ним сам. Авторы называют такой риск лишением полномочий. Подпись под решением стоит человеческая, допущения в нём взяты у модели.

Сначала своё мнение, потом вопрос к ИИ

Если вы решаете спорный вопрос вместе с ChatGPT или Claude, сначала запишите свою позицию и доводы. Только потом спрашивайте модель и сравнивайте. Полезно попросить её изложить аргументы за каждый вариант. Тогда видно, где вы меняете мнение из-за фактов, а где из-за уверенного тона.

Anthropic советует агентам спрашивать человека первым

Anthropic предлагает строить агентов, которые излагают доводы за каждый вариант или сначала спрашивают мнение человека. Компаниям авторы советуют заранее решить, какие решения обязан принимать человек, и давать ему время сформировать позицию. Ревьюер остаётся независимой проверкой, только пока его суждение принадлежит ему самому. Для компании, которая продаёт агентов, это неудобный вывод, и тем ценнее, что Anthropic опубликовала его сама.