GPT-4 прошел тест Тьюринга

В статье, опубликованной на Live Science, журналист Дрю Терни сообщает о новом исследовании, согласно которому модель GPT-4 прошла тест Тьюринга.

Что такое тест Тьюринга?

Тест Тьюринга, впервые предложенный компьютерным ученым Аланом Тьюрингом в 1950 году как «игра в имитацию», оценивает, может ли машина демонстрировать интеллект, неотличимый от человеческого. Для того чтобы машина прошла этот тест, она должна уметь вести беседу таким образом, чтобы собеседник поверил, что разговаривает с человеком.

Проведение исследования

Для проведения теста исследователи попросили 500 человек пообщаться с четырьмя респондентами: человеком, программой ELIZA из 1960-х годов, а также с моделями ИИ GPT-3.5 и GPT-4, которые лежат в основе ChatGPT. Каждое общение длилось пять минут, после чего участникам нужно было определить, разговаривали они с человеком или ИИ.

Результаты исследования

Согласно исследованию, опубликованному 9 мая на сервере предварительных научных публикаций arXiv, участники признали GPT-4 человеком в 54% случаев. Программа ELIZA, которая использует заранее запрограммированные ответы и не имеет большой языковой модели или архитектуры нейронных сетей, была признана человеком лишь в 22% случаев. Модель GPT-3.5 получила оценку 50%, тогда как реальный человек — 67%.

Влияние результатов на восприятие ИИ

«Машины могут придумывать правдоподобные оправдания для своих действий, как это делают люди,» — пояснила Нелл Уотсон, исследователь ИИ в Институте инженеров электротехники и электроники (IEEE), в интервью Live Science. «Они могут быть подвержены когнитивным искажениям, сбитым с толку и манипулируемым, и становятся все более обманчивыми. Все эти элементы означают, что человеческие слабости и причуды начинают проявляться в системах ИИ, что делает их более похожими на людей по сравнению с предыдущими подходами, которые имели не более чем список готовых ответов.»

Заключение

Исследование демонстрирует, что современные языковые модели, такие как GPT-4, достигли уровня, на котором их поведение может быть принято за человеческое. Это важный шаг в развитии ИИ и вызывает множество вопросов о будущем взаимодействия между людьми и машинами.