WhatsApp начал тестировать Scam Alert, новую опциональную функцию, которая предупреждает о возможных мошеннических сообщениях прямо в чате. Система работает на устройстве и не отправляет содержимое сообщений в WhatsApp, Meta* или кому-либо ещё для классификации.
Как сообщает Meta* Engineering, функция опирается на локальную модель машинного обучения. Она анализирует входящие сообщения от контактов, которых нет в адресной книге, и ищет признаки, характерные для мошеннических схем.
Если сообщение выглядит подозрительным, пользователь увидит предупреждение, а собеседник его не увидит. Дальше можно заблокировать номер, пожаловаться на чат или пометить его как доверенный. В последнем случае предупреждение исчезает, а Scam Alert больше не будет отмечать этот диалог как подозрительный. Ранее WhatsApp начала бета-запуск Scam Alert.
Meta* говорит, что обработка идёт только на устройстве. Модель скачивается отдельно и запускается локально, а сервис отключён по умолчанию — включать его нужно вручную.
Для обучения системы использовались шаблоны из мошеннических переписок, которые пользователи уже отправляли в жалобах. В компании пишут, что модель смотрит на структуру диалога и лингвистические сигналы, а не на серверную аналитику.
Если предупреждение сработало ошибочно, чат можно отметить как доверенный. После этого пользователь может ещё и добровольно отправить последние пять сообщений в WhatsApp, чтобы помочь улучшить точность функции.
Сейчас Scam Alert выкатывают в ограниченной бете. В Meta* говорят, что перед более широким запуском продолжат проверять систему вместе с исследователями безопасности и участниками Bug Bounty.
* Принадлежит компании Meta, она признана экстремистской организацией в РФ и её деятельность запрещена.