Институт Фраунгофера IOSB в Германии представил систему RealorRender для поиска дипфейков, которая проверяет изображение необычным способом: сначала пытается воссоздать его с помощью ИИ, а затем сравнивает результат с исходником. Разработчики утверждают, что такой подход помогает находить изображения, созданные генеративными моделями, с точностью до 91%.
Система совмещает два метода анализа. Один опирается на глубокое обучение и классификацию изображения, второй оценивает ошибку реконструкции, то есть различия между оригиналом и версией, которую сгенерировала нейросеть. На основе этих данных RealorRender рассчитывает вероятность того, что перед ней дипфейк.
По словам разработчиков, базовая точность системы начинается примерно с 85%, а в отдельных случаях превышает 91%. RealorRender также использует инструменты объяснимого ИИ: она показывает, какие фрагменты кадра повлияли на решение.
Система выделяет подозрительные области тепловыми картами и сегментами изображения, чтобы показать текстуры, артефакты и другие признаки, характерные для генеративных изображений. Она показывает, почему конкретный кадр попал в категорию подделок.
В основе этого механизма лежит XAI, или explainable AI. Пользователь получает итоговую оценку и визуальную подсказку о том, какие участки изображения система посчитала сомнительными.
По данным британского правительства, расследование 2023 года обнаружило 276 149 откровенных дипфейков на одном из изученных специализированных сайтов, а 96% изображений были посвящены женщинам. Отдельно власти Великобритании сообщили, что в сентябре 2023 года сайты с сервисами «раздевания» людей с помощью ИИ собрали 24 млн посещений.
Авторы RealorRender говорят, что система рассчитана на поиск дипфейков, которые используют для мошенничества, шантажа, сексуальной эксплуатации и других преступлений.
Источник: ixbt.com