GPT-4 прошел тест Тьюринга
В статье, опубликованной на Live Science, журналист Дрю Терни сообщает о новом исследовании, согласно которому модель GPT-4 прошла тест Тьюринга.
Что такое тест Тьюринга?
Тест Тьюринга, впервые предложенный компьютерным ученым Аланом Тьюрингом в 1950 году как «игра в имитацию», оценивает, может ли машина демонстрировать интеллект, неотличимый от человеческого. Для того чтобы машина прошла этот тест, она должна уметь вести беседу таким образом, чтобы собеседник поверил, что разговаривает с человеком.
Проведение исследования
Для проведения теста исследователи попросили 500 человек пообщаться с четырьмя респондентами: человеком, программой ELIZA из 1960-х годов, а также с моделями ИИ GPT-3.5 и GPT-4, которые лежат в основе ChatGPT. Каждое общение длилось пять минут, после чего участникам нужно было определить, разговаривали они с человеком или ИИ.
Результаты исследования
Согласно исследованию, опубликованному 9 мая на сервере предварительных научных публикаций arXiv, участники признали GPT-4 человеком в 54% случаев. Программа ELIZA, которая использует заранее запрограммированные ответы и не имеет большой языковой модели или архитектуры нейронных сетей, была признана человеком лишь в 22% случаев. Модель GPT-3.5 получила оценку 50%, тогда как реальный человек — 67%.
Влияние результатов на восприятие ИИ
«Машины могут придумывать правдоподобные оправдания для своих действий, как это делают люди,» — пояснила Нелл Уотсон, исследователь ИИ в Институте инженеров электротехники и электроники (IEEE), в интервью Live Science. «Они могут быть подвержены когнитивным искажениям, сбитым с толку и манипулируемым, и становятся все более обманчивыми. Все эти элементы означают, что человеческие слабости и причуды начинают проявляться в системах ИИ, что делает их более похожими на людей по сравнению с предыдущими подходами, которые имели не более чем список готовых ответов.»
Заключение
Исследование демонстрирует, что современные языковые модели, такие как GPT-4, достигли уровня, на котором их поведение может быть принято за человеческое. Это важный шаг в развитии ИИ и вызывает множество вопросов о будущем взаимодействия между людьми и машинами.
