Discord забанил 8 000 человек из-за шахматных досок и инвентаря Minecraft
Автор: 8 000 пользователей Discord получили блокировки из-за картинок, в которых автоматическая модерация увидела запрещённый контент. По данным The Verge, в списке «подозрительных» оказались обычные изображения с сетками: шахматные доски, скриншоты инвентаря в Minecraft и похожие вещи. В компании уже признали сбой и вернули доступ к аккаунтам.
История тянулась как минимум с мая, но громко выстрелила после одного особенно неудачного уикенда: примерно 200 человек подряд получили блокировки. Один из пользователей рассказал, что сервис определил его пост как материал с сексуализированным насилием над детьми и выдал перманентный бан. На деле это был обычный скриншот из Minecraft.
Discord объяснил, что система сначала ищет совпадения с уже известными вредоносными материалами, а потом такие срабатывания должна вручную проверять команда Trust and Safety. Но в этот раз что-то сломалось, и часть случаев просто не дошла до нормальной проверки. В итоге пользователи застряли в статусе нарушителей. Сооснователь и технический директор Discord Станислав Вишневский подтвердил, что ложноположительных срабатываний было не меньше 8 000, и все они касались «безобидных изображений».
Ложные блокировки в Discord
Тут есть ещё один любопытный момент: Discord очень осторожно избегает слова «ИИ». Пользователи именно так и называли систему, а компания говорила о сопоставлении контента, машинном обучении и внутренних механизмах детекта. Формально разница есть. Для человека с заблокированным аккаунтом это не особенно важно.
И это не какой-то уникальный случай для Discord. У Meta* в 2024 году пользователи Instagram* и Facebook* массово жаловались на странные блокировки и удаления, которые связывали с автоматической модерацией. До этого YouTube во время пандемии признавал, что из-за сокращения ручных проверок стало больше ошибочных удалений роликов и страйков. Чем сильнее платформы опираются на автоматику, тем чаще расплачиваться приходится обычным людям.
Для Discord это особенно чувствительно из-за размера сервиса. В 2024 году компания говорила о более чем 200 млн активных пользователей в месяц, так что даже небольшой процент сбоев быстро превращается в тысячи спорных решений. А модерация вокруг CSAM для крупных платформ почти не оставляет права на аккуратность: сначала режут с запасом, потом разбираются с апелляциями.
Есть и регуляторный фон. В Евросоюзе крупные платформы по DSA обязаны объяснять решения по модерации и давать понятный путь обжалования, а в США техкомпании всё чаще публично отчитываются о работе систем Trust and Safety. На этом фоне баг, который отправляет в вечный бан любителей Minecraft, выглядит уже не как курьёз, а как проверка всей цепочки проверки — от автоматики до ручного разбора.
Discord уже разблокировал затронутые аккаунты, но осадок останется надолго. Когда сервис ошибочно привязывает человека к самой тяжёлой категории нарушений, одного возврата доступа мало. Платформе ещё нужно показать, что апелляция вообще работает быстрее, чем автоматический банхаммер.
* Принадлежит компании Meta, она признана экстремистской организацией в РФ и её деятельность запрещена.
