Образовательный отчёт Anthropic: как студенты университетов используют Claude

Перевод с официального сайта Anthropic

Системы ИИ больше не являются исключительно инструментами научных исследований — они стали повседневными помощниками в учёбе. По мере того как ИИ всё глубже интегрируется в образовательную среду, перед нами встают важные вопросы: как он влияет на обучение, оценивание и развитие навыков. До сих пор большинство обсуждений основывались на опросах и лабораторных экспериментах, а не на реальных данных о том, как студенты используют ИИ в своей академической жизни.

Чтобы восполнить этот пробел, мы провели одно из первых масштабных исследований реального использования ИИ в высшем образовании, проанализировав миллион анонимизированных студенческих бесед на платформе Claude.ai.

Основные выводы из отчёта об образовании:

• Студенты технических и естественнонаучных направлений оказались ранними пользователями Claude. Особенно выделяются студенты по специальности «Информатика», на которых пришлось 36,8% всех бесед, несмотря на то что они составляют лишь 5,4% от общего числа полученных степеней в США. В то время как студенты из области бизнеса, здравоохранения и гуманитарных наук демонстрируют более низкие уровни вовлечённости.
• Мы выявили четыре основных паттерна взаимодействия студентов с ИИ, каждый из которых встречался примерно в 23–29% бесед: прямое решение задач, прямое создание контента, совместное решение задач и совместное создание контента.
• Основное использование ИИ связано с созданием нового и аналитикой — например, созданием кодов или анализом юридических концепций. Это соответствует высшему уровню когнитивной деятельности в таксономии Блума и вызывает вопросы о том, насколько уместно перекладывание ключевых мыслительных задач на ИИ.

Идентификация образовательного использования ИИ

При исследовании моделей использования ИИ крайне важно обеспечить конфиденциальность. Мы применили систему анализа Claude Insights and Observations (Clio), которая обобщает разговоры пользователей в виде высокоуровневых паттернов вроде «отладка кода» или «объяснение экономических концепций». Clio многослойно обрабатывает данные, очищая их от персональной информации, что делает процесс максимально безопасным.

В рамках исследования были проанализированы около миллиона анонимных бесед пользователей с Claude (с бесплатных и Pro-аккаунтов), привязанных к университетским адресам электронной почты. После фильтрации остались 574 740 разговоров, непосредственно связанных с учёбой или научной деятельностью.

Для чего студенты используют ИИ?

Наиболее частый запрос — это создание и улучшение учебного контента (39,3% разговоров), включая составление тренировочных заданий, редактирование эссе и резюмирование материалов. Далее следуют технические объяснения и решения учебных заданий (33,5%), например, отладка кода, алгоритмы, математические задачи. Также встречались анализ и визуализация данных (11,0%), поддержка научных исследований (6,5%), создание технических диаграмм (3,2%), перевод и вычитка (2,4%).

Ниже представлены часто встречающиеся студенческие запросы в четырёх ведущих академических дисциплинах, основанные на 15 наиболее частых запросах в системе Clio в рамках каждой из них.

1 Компьютерные науки

• Создание и отладка программ на C++
• Устранение ошибок в коде на Python
• Обучение основам программирования с примерами
• Объяснение концепций машинного обучения
• Разработка и исправление кода для визуализации данных

2 Естественные науки и математика

• Решение и объяснение задач по статистике
• Разбор задач по физике с подробными объяснениями
• Ответы на вопросы по наукам о Земле
• Решение задач по математическому анализу с пошаговыми объяснениями
• Решение задач по химии с расчетами

3 Бизнес

• Помощь с концепциями и задачами по бухгалтерскому учету
• Анализ кейсов в бизнесе
• Ответы на финансовые вопросы с расчетами
• Объяснение концепций управления проектами
• Создание практических упражнений по переговорам

4 Социальные науки и история

• Поддержка в написании академических текстов по международным отношениям
• Объяснение теорий социальных наук
• Отладка и написание кода на Stata для анализа данных
• Анализ конкретных судебных дел
• Решение задач по теории игр

Использование ИИ в разных академических дисциплинах

Далее мы изучили, в каких дисциплинах Claude используется непропорционально часто. Для этого мы сравнили данные о частоте использования Claude с числом степеней бакалавра, присуждаемых в США по данным Национального центра статистики образования (NCES).

Наиболее заметно Claude применяют студенты по направлению «Информатика»: при том что на эту специальность приходится всего 5,4% от общего числа степеней, на неё приходится 38,6% всех разговоров с Claude. Похожая картина наблюдается в естественных науках и математике (15,2% использования Claude при доле в 9,2% студентов).

В то же время дисциплины в области бизнеса, здравоохранения и гуманитарных наук показали более низкие показатели: бизнес — 8,9% разговоров при 18,6% студентов, здравоохранение — 5,5% при 13,1%, гуманитарные науки — 6,4% при 12,5%.

Такие различия могут говорить о том, что студенты STEM-направлений (в особенности — информатики) становятся ранними пользователями ИИ. Вероятно, в этих сообществах выше осведомлённость о Claude, а сам ИИ демонстрирует большую эффективность в задачах, типичных для технических дисциплин.​

Как студенты взаимодействуют с ИИ

Существует множество способов взаимодействия с ИИ, и каждый из них по-разному влияет на учебный процесс. В нашем исследовании мы выделили четыре основные модели взаимодействия студентов с Claude, основываясь на двух осях:

Первая ось — это режим взаимодействия:

1. Прямой — пользователь стремится как можно быстрее получить ответ на вопрос;
2. Совместный — пользователь вовлекает модель в диалог для достижения своей цели.

Вторая ось — это желаемый результат:

1. Решение задач — получение решений или объяснений по вопросам;
2. Создание контента — подготовка развёрнутых текстов, презентаций, эссе и прочего.

Комбинация этих двух осей даёт нам четыре типа взаимодействий:

Все четыре стиля взаимодействия были представлены примерно равномерно (от 23% до 29% всех разговоров), что подчёркивает разнообразие целей, с которыми студенты обращаются к ИИ. В отличие от традиционного веб-поиска, который в основном выдаёт короткие ответы, ИИ предлагает широкий спектр форматов общения — а вместе с ними и новые возможности для образования.

Вот несколько положительных примеров:

• Объяснение философских концепций и теорий;
• Создание комплексных обучающих материалов по химии;
• Разъяснение анатомии мышц, физиологии и функций в контексте учебных заданий.

Однако ИИ несёт и вызовы. Часто задаётся вопрос: «А не списывают ли студенты с его помощью?» Ответить сложно, ведь мы не знаем контекста каждого разговора. Так, прямое решение задач может быть как формой подготовки к экзамену, так и нарушением правил при выполнении домашнего задания. Точно так же прямое создание текста может быть как способом обобщения знаний, так и написанием эссе "под ключ".

Более того, около 47% всех разговоров были прямыми — то есть с минимальным вовлечением студента. Хотя многие из них полезны для учёбы (например, генерация шпаргалок), встречались и тревожные примеры:

• Ответы на тестовые задания по машинному обучению;
• Прямые ответы на вопросы по английскому языку;
• Переписывание маркетинговых текстов с целью обхода систем обнаружения плагиата.

Эти случаи вызывают вопросы об академической честности, развитии критического мышления и корректности оценки знаний. Даже при совместном формате не всегда можно говорить о глубоком обучении — пример: «решение задач по статистике с объяснениями» может включать несколько шагов диалога, но при этом всё равно снимать с учащегося интеллектуальную нагрузку.

Мы продолжим изучать такие сценарии, чтобы лучше понять, какие из них действительно способствуют обучению.​

Особенности использования ИИ в разных дисциплинах

Студенты из различных академических областей по-разному взаимодействуют с ИИ. Ниже — некоторые ключевые наблюдения:

• В области естественных наук и математики чаще всего встречались запросы на решение задач, например: «реши конкретную задачу по теории вероятностей с пошаговыми расчётами» или «реши задание с экзамена с подробными объяснениями».
• Студенты информатики, инженерии, естественных наук и математики чаще предпочитают совместные разговоры. В то же время студенты гуманитарных дисциплин, бизнеса и медицины примерно поровну распределяются между прямыми и совместными форматами общения.
• Особенно выделяется направление «Образование»: здесь 74,4% разговоров были связаны с созданием контента. Однако этот результат может быть частично вызван ошибками фильтрации. Многие такие беседы касались разработки учебных материалов или составления детальных планов уроков — то есть, возможно, их вели не студенты, а преподаватели. В целом на «Образование» пришлось 3,8% всех разговоров.

Эти данные указывают на то, что эффективное внедрение ИИ в обучение должно учитывать специфику каждой дисциплины. Наше исследование — это первый шаг к пониманию того, как студенты из разных сфер используют ИИ.

Какие когнитивные задачи студенты перекладывают на ИИ

Мы также проанализировали, какие именно умственные операции студенты доверяют ИИ. Для этого использовалась таксономия Блума — иерархическая модель когнитивных процессов, применяемая в образовании. Изначально она предназначалась для оценки мышления учащихся, но мы адаптировали её для анализа ответов Claude в диалогах со студентами.

Результаты показали перевёрнутую пирамиду когнитивных навыков:

• Claude в основном выполнял задачи высшего порядка: «создание» (39,8%) и «анализ» (30,2%) — наиболее частые когнитивные операции.
• Задачи низшего порядка встречались реже: «применение» — 10,9%, «понимание» — 10,0%, «воспроизведение» — лишь 1,8%.

Распределение также зависело от стиля взаимодействия. Например:

• При создании контента (создание конспектов, написание эссе) чаще задействовались функции «создание»;
• При решении задач (объяснение программирования, решение уравнений) преобладал «анализ».

Тот факт, что ИИ выполняет сложные умственные операции, не означает, что студенты сами не вовлечены в эти процессы. Они могут участвовать в со-творчестве проекта или применять код ИИ в новых контекстах. Однако это также поднимает тревожный вопрос: не начнут ли студенты полагаться на ИИ в ущерб собственному развитию? Ведь перевёрнутая пирамида, как известно, неустойчива.

Ограничения исследования

Наше исследование основано на реальных данных, что придаёт выводам практическую значимость. Однако такой подход сопряжён с рядом ограничений, которые могут повлиять на обобщаемость результатов:

• Мы, вероятно, зафиксировали поведение ранних пользователей, а не всей студенческой аудитории в целом;
• Claude — не единственный ИИ, используемый студентами, поэтому представленная картина охватывает лишь часть взаимодействий с ИИ в образовательной среде;
• Возможны ложные срабатывания при классификации бесед. Некоторые из них могли быть инициированы преподавателями или сотрудниками, несмотря на фильтрацию по академическим email-адресам. Также часть реальных студенческих разговоров могла остаться вне выборки из-за использования личной почты;
• Из-за политики конфиденциальности мы анализировали данные только за 18-дневный период, который не отражает колебания в учебной активности на протяжении года;
• Мы изучали лишь то, какие задачи студенты поручают ИИ, но не как они потом используют полученные результаты и насколько эффективно это способствует обучению;
• Классификация разговоров по дисциплинам могла не отразить междисциплинарные случаи, где стиль использования ИИ отличается;
• Применение таксономии Блума к ИИ, а не к студентам, не идеально. Например, «запоминание» трудно измерить в контексте работы ИИ.

Кроме того, на выявленные нами паттерны может влиять разнообразие университетских политик в отношении использования ИИ — а это мы не можем оценить в рамках данного набора данных.​

Заключение и взгляд в будущее

Наш анализ предоставляет панорамный обзор того, где и как студенты на самом деле используют ИИ в учебном процессе. Мы понимаем, что это лишь начало в осмыслении влияния ИИ на образование.

В разговорах со студентами и преподавателями мы наблюдали, как ИИ может кардинально усиливать обучение. Например, с его помощью один студент разработал проект ядерного реактора, а в других случаях ИИ улучшал коммуникацию между преподавателями и учениками в классе.

Но вместе с тем мы ясно осознаём: наши выводы — это только часть большой картины. ИИ усложняет жизнь педагогов самым разным образом, и наше исследование не охватывает всего масштаба этих изменений. По мере того как студенты начинают делегировать ИИ задачи высшего уровня мышления, возникают фундаментальные вопросы:

• Как убедиться, что у студентов всё ещё формируются базовые когнитивные и метапознавательные навыки?
• Как стоит пересматривать оценочные форматы и политику академической честности в условиях повсеместного использования ИИ?
• Что значит «осмысленное обучение», если ИИ способен за секунды написать грамотное эссе или решить сложную задачу, требующую от человека часов размышлений?
• И, в конце концов, как изменятся сами принципы домашнего задания и экзамена, если ИИ станет неотъемлемой частью учебного процесса?

Наши результаты — это вклад в продолжающуюся дискуссию среди преподавателей, администраторов и политиков о том, как сделать так, чтобы ИИ стал катализатором, а не препятствием для глубокого и настоящего обучения. Впереди — дополнительные исследования, которые помогут нам лучше понять, как и зачем студенты и преподаватели обращаются к ИИ, как это влияет на образовательные результаты и что это значит для будущего образования.

Подход Anthropic к образованию

Помимо этого отчёта, Anthropic сотрудничает с университетами, чтобы глубже понять роль ИИ в учебном процессе. Один из первых шагов — эксперименты с "Режимом обучения", который акцентирует внимание на сократовском методе и глубоком понимании, а не на простых ответах.

Мы планируем расширять партнёрства с университетами, проводить дальнейшие исследования и изучать, как ИИ действительно влияет на обучение.