Пока еще никто не придумал, как осуществлять масштабную модерацию вредоносного контента. OpenAI заявляет о своей собственной технологии, но есть одна загвоздка.
Компания OpenAI убеждена, что ее технология может помочь решить одну из самых сложных проблем в технологиях — масштабную модерацию контента. По мнению OpenAI, GPT-4 может заменить десятки тысяч модераторов-людей и при этом быть почти столь же точной и более последовательной. Если это действительно так, то наиболее токсичные и психологически тяжелые задачи в технологиях могут быть переданы на аутсорсинг машинам.
В своем блоге OpenAI утверждает, что уже использует GPT-4 для разработки и уточнения собственных контентных политик, маркировки контента и принятия решений. «Я хочу, чтобы все больше людей управляли своим доверием, безопасностью и модерацией [таким образом]», — сказала Semafor руководитель отдела систем безопасности OpenAI Лилиан Венг. «Это действительно хороший шаг вперед в том, как мы используем ИИ для решения проблем реального мира таким образом, чтобы это было полезно для общества».
OpenAI видит три основных преимущества по сравнению с традиционными подходами к модерации контента. Во-первых, по его мнению, люди по-разному интерпретируют правила, в то время как машины последовательны в своих суждениях. Эти правила могут быть длинными, как книга, и постоянно меняться. В то время как человеку требуется много тренировок для обучения и адаптации, OpenAI утверждает, что большие языковые модели могут мгновенно внедрять новые правила.
Во-вторых, GPT-4 якобы может помочь разработать новую политику в течение нескольких часов. Процесс составления, маркировки, сбора отзывов и доработки обычно занимает недели или несколько месяцев. В-третьих, OpenAI упоминает о благополучии работников, которые постоянно подвергаются воздействию вредного контента, например, видеороликов с издевательствами над детьми или пытками.
После почти двух десятилетий существования современных социальных сетей и еще большего количества лет существования онлайн-сообществ модерация контента по-прежнему остается одной из самых сложных задач для онлайн-платформ. Meta*, Google и TikTok полагаются на армии модераторов, которым приходится просматривать ужасный и зачастую травмирующий контент. Большинство из них проживают в развивающихся странах с более низкой заработной платой, работают на аутсорсинговые компании и испытывают проблемы с психическим здоровьем, поскольку получают лишь минимальную психиатрическую помощь.
Однако и сама компания OpenAI в значительной степени полагается на клик-работников и человеческий труд. Тысячи людей, многие из которых живут в африканских странах, таких как Кения, занимаются аннотированием и маркировкой контента. Тексты могут быть тревожными, работа — стрессовой, а оплата — низкой.
Хотя OpenAI называет свой подход новым и революционным, ИИ уже давно используется для модерации контента. Идея Марка Цукерберга о создании идеальной автоматизированной системы пока не воплотилась в жизнь, но в Meta* с помощью алгоритмов модерируется подавляющее большинство вредного и нелегального контента. Такие платформы, как YouTube и TikTok, полагаются на аналогичные системы, поэтому технология OpenAI может заинтересовать небольшие компании, у которых нет ресурсов для разработки собственной технологии.
Все платформы открыто признают, что идеальная модерация контента в масштабах компании невозможна. Ошибки допускают и люди, и машины, и хотя процент ошибок может быть невелик, все равно миллионы вредных сообщений проскальзывают и столько же безобидного контента скрывается или удаляется.
В частности, большую сложность для автоматизированных систем представляет «серая зона», включающая вводящие в заблуждение, ошибочные и агрессивные материалы, которые не обязательно являются противозаконными. Даже человеческие эксперты с трудом могут определить такие сообщения, а машины часто ошибаются. То же самое относится к сатире, изображениям и видео, документирующим преступления или полицейский произвол.
В итоге OpenAI может помочь решить проблему, которую усугубила его собственная технология. Генеративный ИИ, такой как ChatGPT или создатель изображений DALL-E, значительно облегчает создание дезинформации в масштабах компании и ее распространение в социальных сетях. Хотя OpenAI обещал сделать ChatGPT более правдивым, GPT-4 по-прежнему охотно выдает ложь и дезинформацию, связанную с новостями.
* Принадлежит компании Meta, она признана экстремистской организацией в РФ и её деятельность запрещена.
