Эксперименты с ChatGPT: обход защитных систем и этичность использования ИИ.

ChatGPT, популярный чат-бот компании OpenAI, может отвечать на множество вопросов, но есть определённые границы, которые он не пересекает. Например, когда пользователи пытаются узнать, как взломать замок, ChatGPT предупреждает о возможных незаконных целях и отказывается делиться такой информацией. Тем не менее некоторые пользователи создают сложные запросы, чтобы обойти эти ограничения. Данные «джейлбрейки» позволяют пользователям обходить запреты, установленные создателями ИИ.

Один студент создал сайт, на котором публикует собственные и найденные на других ресурсах способы обмана чат-ботов. Также есть специальная рассылка, The Prompt Report, которая сообщает о новостях в этой области и имеет тысячи подписчиков. Эти эксперименты позволяют выявить границы применения ИИ и слабые места в его защитных системах, что позволяет получать закрытую информацию.

Однако, подобные методы могут не работать на других системах, так как системы безопасности постоянно улучшаются, а пользователи создают всё более изощрённые приёмы. Некоторые эксперты сравнивают эту деятельность с видеоигрой, где каждое преодоление ограничения напоминает переход на новый уровень.

Кроме того, эксперименты напоминают о том, что ИИ может использоваться не только для тех целей, которые ожидаются, и «этичное поведение» подобных сервисов становится все более важным вопросом. ChatGPT уже привлёк миллионы пользователей за несколько месяцев и используется для широкого спектра задач, в том числе для написания вредоносного кода. В будущем сфера применения ИИ будет ещё шире, и некоторые компании уже рассматривают внедрение программ для «белых» хакеров, которые будут искать слабые места в системе и получать за это вознаграждение.