Яндекс обновил Поиск по картинкам: алгоритмы теперь разбирают изображение и текст страницы одновременно и точнее понимают, что именно ищет человек. Сервис лучше определяет, какая модель телефона, дивана или автомобиля попала в кадр. После запуска технологии доля релевантных снимков в верхней части выдачи заметно выросла.
Раньше алгоритмы оценивали изображение и текст страницы порознь. Каждый сигнал жил своей жизнью, и подпись под фотографией могла перевесить сам кадр. Теперь система смотрит на оба сигнала вместе.
Отсюда и главный эффект. Поиск лучше справляется с ситуациями, когда описание на странице неточное или прямо противоречит изображению. Выигрыш заметнее всего на запросах о конкретных вещах: о модели дивана, телефона или автомобиля. В описаниях такие модели часто путают, а внешне они почти неотличимы.
Обновление Поиска по картинкам сильнее всего проявляется при поиске товаров, автомобилей, техники, одежды и мебели. Сюда же попадают любые другие объекты, похожие друг на друга внешне. Чем ближе вещи по виду, тем выше цена ошибки в описании.
Пример простой. На странице опубликовано фото одной модели телефона, а в тексте упомянута другая. Теперь поиск с большей вероятностью распознает, какая модель изображена на самом деле. Количество релевантных изображений в верхней части выдачи после внедрения технологии заметно выросло. Значит, пользователи чаще находят нужное изображение без дополнительных запросов.
В основе обновления лежит новая мультимодальная технология. Совместный анализ изображения и текста требует ресурсов, а замедлять выдачу никто не хотел. Поэтому инженеры Яндекса пошли обходным путём. Сначала они обучили большую модель. Затем на её основе собрали несколько компактных моделей для разных этапов обработки.
Самые ресурсоёмкие вычисления система выполняет заранее. Поэтому технология работает в реальном времени, а время ответа Поиска не выросло.