50% против 67%. Anthropic показала, как ИИ-помощник просаживает обучение новичков

Anthropic проверила сценарий, который рынку ИИ-сервисов вряд ли нравится: ИИ-помощник может снять часть рутины с новичка, но вместе с этим притормозить обучение. В эксперименте с начинающими разработчиками участники с ИИ почти не выиграли во времени, зато хуже поняли код и заметно слабее прошли проверку знаний. Для индустрии это не мелочь, потому что генеративные инструменты уже стали почти стандартом и в учёбе, и в работе программистов.

В рандомизированном контролируемом исследовании участвовали 52 разработчика, в основном начинающие. Половина работала с ИИ-помощником, вторая половина писала код без него. Всем дали незнакомую библиотеку Trio для Python, а потом сразу проверили, насколько они вообще разобрались в концепциях.

Итог вышел не в пользу автоматизации. Группа с ИИ набрала в среднем 50% правильных ответов, у участников без помощника было 67%. Авторы отдельно указывают, что разница статистически значима: p=0,01. Со временем тоже без прорыва: пользователи с ИИ закрыли задания примерно на две минуты быстрее, но этого явно мало, чтобы говорить о надёжном преимуществе.

Исследователи называют этот эффект never-skilling. Смысл простой: новичок не успевает набрать собственный навык, если постоянно отдаёт системе ключевые куски работы. Особенно хорошо это видно на отладке. Участники без ИИ чаще натыкались на ошибки и сами разбирались, откуда они взялись, а пользователи помощника нередко просто принимали готовое исправление. Код в итоге работал, но учились они хуже.

И вот тут любопытно посмотреть на то, как рынок продавал ИИ для программистов последние годы. GitHub в ранних тестах Copilot говорил, что разработчики с помощником решают некоторые задачи заметно быстрее — местами до 55%. Но ускорение и обучение — разные вещи. Инструмент может помочь закрыть тикет. Это ещё не значит, что человек лучше понимает архитектуру, библиотеки или собственные ошибки.

ИИ-помощники в медицине

Anthropic тут не одна. Похожую проблему описал обзор в Nature Medicine, который подготовили исследователи Duke-NUS, Гарварда, Университетского колледжа Лондона и Королевского колледжа Лондона. Там речь шла уже не о коде, а о медицинском образовании.

Логика та же: если начинающий врач слишком рано перекладывает анализ на систему, у него может не развиться клиническое мышление. Авторы отдельно выделяют и соседний риск — mis-skilling. Это когда человек принимает ошибочный ответ модели за верный и закрепляет неправильное знание. Для медицины звучит особенно жёстко, хотя сам обзор честно оговаривает: прямых экспериментальных доказательств именно в обучении врачей пока мало.

Если смотреть на обе работы вместе, картина довольно приземлённая: дело не в том, использовать ИИ или нет. Важен режим работы. В исследовании Anthropic лучше выглядели участники, которые просили объяснить принцип работы кода и задавали вопросы по логике решения. Хуже — те, кто отдавал задачу целиком или использовал помощника как автоматическую заплатку для ошибок.

И это уже не теория, а вполне прикладная история. По данным опроса Stack Overflow за 2024 год, 76% разработчиков уже используют ИИ-инструменты или собираются это делать. То есть речь давно не о привычке энтузиастов. Если эффект never-skilling подтвердится в более крупных исследованиях, учебным курсам, буткемпам и компаниям придётся заново решать, когда ассистента подключать, а когда лучше оставить его в стороне.

Сами авторы признают ограничения работы: выборка небольшая, знания проверяли сразу после задания, а участники пользовались обычным чат-помощником, не более автономными агентами. Но есть в этом и неприятная деталь. Если даже такой формат уже ухудшает усвоение материала, то у более мощных систем эффект вполне может оказаться сильнее. Скорее всего, следующая волна исследований будет смотреть не только на скорость написания кода, но и на то, что у человека остаётся в голове через неделю или месяц.