Доктор технических наук и профессор Университета ИТМО Анатолий Шалыто решил проверить, как популярные языковые модели отвечают на вопрос, где ошибку видно почти сразу: кто был его оппонентами по докторской диссертации. Картина вышла показательной — и для российских нейросетей, мягко говоря, не самой удачной. Вместо точных ссылок модели выдали несколько вариантов, а дальше всё пришлось сверять вручную.
По словам Шалыто, бесплатная версия Perplexity назвала двух учёных, которые на самом деле были оппонентами его аспиранта, а не его самого. «Алиса» от «Яндекса» тоже промахнулась: сперва привела чужие фамилии, потом исправилась лишь наполовину и угадала только один правильный ответ из двух. Модель «Сбера» повторила выдуманных оппонентов и вдобавок перепутала год защиты и ведущую организацию.
История получилась не только личной, но и вполне прикладной. Российский рынок генеративного ИИ сейчас держится на нескольких заметных игроках — «Яндексе», «Сбере» и сервисах с доступом к зарубежным моделям. И вот тут слабое место видно особенно хорошо: по редким или архивным темам даже крупные системы часто спотыкаются. Ошибка сразу бросается в глаза, потому что правильный ответ легко проверить по документам.
Шалыто отдельно отметил, что платный ChatGPT на тот же вопрос не ошибся: он верно указал дату и место защиты и сослался на страницу автореферата, где перечислены оппоненты. Для разработчиков это ещё одно напоминание о старой проблеме LLM: модель отвечает уверенно, и так же уверенно придумывает детали, если точного ответа у неё нет. Так что даже в простом на вид запросе без проверки по первоисточникам лучше не обходиться.