Как ИИ влияет на обучение программистов: исследование Anthropic

Исследовательская группа Anthropic опубликовала результаты рандомизированного контролируемого эксперимента, посвящённого влиянию ИИ-ассистентов на формирование профессиональных навыков программистов. В центре внимания - не производительность как таковая, а глубина понимания и качество усвоения новых знаний.

Ранее компания уже показывала, что ИИ может ускорять выполнение отдельных рабочих задач до 80 процентов. Однако новый вопрос оказался куда менее очевидным: не превращается ли эта скорость в скрытую плату за счёт утраты навыков?

Исследование сосредоточилось на программировании - сфере, где ИИ-инструменты уже стали повседневной практикой. Именно здесь возникает ключевое противоречие: автоматизация растёт, но ответственность за ошибки, архитектурные решения и контроль всё равно остаётся на человеке. Значит ли это, что ИИ помогает быстрее учиться? Или он подменяет процесс обучения удобным результатом?

Как проходил эксперимент

В исследовании приняли участие 52 разработчика, в основном начинающего уровня. Все они регулярно использовали Python не менее года и были знакомы с ИИ-ассистентами, но не имели опыта работы с библиотекой Trio, выбранной для эксперимента.

Участников разделили на две группы: одна могла пользоваться ИИ-ассистентом, вторая писала код без помощи алгоритмов. Задача имитировала реальную рабочую ситуацию - самостоятельное освоение нового инструмента по краткому описанию и стартовому коду.

Эксперимент состоял из трёх этапов: разминки, выполнения двух практических заданий и итогового теста. О том, что после работы будет проверка знаний, участникам сообщили заранее, но при этом просили действовать максимально быстро.

ИИ-ассистент был встроен в интерфейс редактора и имел доступ ко всему коду. При желании он мог не только подсказать, но и полностью сгенерировать корректное решение.

Что и как оценивали

Для проверки усвоения материала исследователи использовали методики из области компьютерного образования. Тест включал четыре типа заданий:

• поиск и объяснение ошибок в коде;
• чтение и понимание уже написанных фрагментов;
• выбор корректного способа реализации;
• вопросы на понимание базовых концепций библиотеки.

Особый акцент сделали на отладке и концептуальном мышлении - именно эти навыки критичны, когда речь идёт о контроле ИИ-сгенерированного кода в реальных продуктах.

Результаты оказались тревожными

Разработчики, использовавшие ИИ-ассистента, в среднем завершали задания на пару минут быстрее. Однако это преимущество не достигло статистически значимого уровня.

Зато разница в понимании была очевидной. В итоговом тесте участники с ИИ набрали в среднем 50 процентов правильных ответов. Те, кто писал код вручную, - 67 процентов. Разрыв эквивалентен почти двум буквенным оценкам и статистически значим (Cohen’s d = 0,738; p = 0,01).

Наибольшая разница проявилась в заданиях на отладку. Иными словами, разработчики, активно полагавшиеся на ИИ, хуже понимали, почему код может работать неправильно и как это исправить.

Всё решает не сам ИИ, а способ работы с ним

Важно подчеркнуть: использование ИИ само по себе не гарантировало низких результатов. Ключевым фактором оказался стиль взаимодействия.

Анализ экранных записей показал, что некоторые участники тратили до 30 процентов времени на формулирование запросов к ИИ, задавая до 15 вопросов за сессию. Исследователи выделили несколько характерных паттернов поведения.

Низкие результаты чаще демонстрировали те, кто:

• полностью делегировал написание кода ИИ;
• постепенно переходил от помощи к полной зависимости;
• использовал ИИ исключительно для исправления ошибок без попытки разобраться.

Средний балл в этих группах не превышал 40 процентов.

На противоположной стороне оказались участники, которые использовали ИИ как инструмент для понимания, а не замену мышления. Они задавали уточняющие вопросы, просили объяснить логику решений или интересовались концепциями отдельно от кода. Их результаты превышали 65 процентов и были сопоставимы с контрольной группой.

Почему это важно для индустрии

Авторы исследования подчёркивают: речь не идёт о призыве отказаться от ИИ-инструментов. Проблема глубже - в том, как именно они внедряются в рабочие процессы.

Для начинающих специалистов соблазн очевиден: быстрее закрыть задачу, уложиться в дедлайн, не вникая в детали. Но в долгосрочной перспективе это может привести к дефициту навыков, необходимых для контроля сложных систем, особенно в критически важных средах.

Исследование Anthropic - лишь первый шаг. Выборка была относительно небольшой, а тестирование проводилось сразу после выполнения заданий. Как это влияет на долгосрочное развитие навыков, ещё предстоит выяснить.

Тем не менее вывод уже ясен: рост производительности не всегда означает рост компетентности. В эпоху ИИ эффективность и обучение больше не тождественны.

В Anthropic мы рассматриваем результаты этого эксперимента как подтверждение того, что даже по мере автоматизации программирования ключевая роль человека никуда не исчезает: инженерам по‑прежнему нужны глубокие навыки, чтобы замечать ошибки ИИ, направлять его выводы и обеспечивать надежный контроль во всех высокорисковых сценариях использования.

- Anthropic

Выводы

ИИ способен быть ускорителем, но также может стать костылём. Всё зависит от того, используется ли он как партнёр в мышлении или как замена ему. В условиях, где всё больше кода пишут алгоритмы, человеческое понимание становится не менее, а более важным ресурсом.