Sony AI представила набор данных для проверки справедливости и предвзятости искусственного интеллекта

Подразделение Sony AI выпустило новый набор данных, предназначенный для оценки справедливости и возможной предвзятости моделей искусственного интеллекта. Он получил название Fair Human-Centric Image Benchmark (FHIBE, произносится как «Фиби»). По словам компании, это «первый в мире открытый, глобально разнообразный и основанный на согласии участников набор изображений людей для оценки предвзятости в широком спектре задач компьютерного зрения». Иными словами, FHIBE позволяет проверить, насколько справедливо современные ИИ-модели относятся к людям. Как отмечает Sony, ни один существующий набор данных от других компаний пока не соответствует заявленным эталонам.

FHIBE создан для решения этических проблем и борьбы с предвзятостью в индустрии искусственного интеллекта. В набор вошли изображения почти 2000 добровольцев из более чем 80 стран мира. Все участники дали согласие на использование своих изображений — в отличие от практики массового сбора данных из открытых источников в интернете. Участники могут в любой момент потребовать удаления своих снимков. Каждое изображение снабжено аннотациями, отражающими демографические и физические характеристики, а также условия съёмки и параметры камеры.

Исследования с использованием FHIBE подтвердили ранее выявленные формы предвзятости в современных ИИ-моделях. При этом инструмент позволяет выявлять конкретные причины этих искажений. Например, в некоторых моделях наблюдалась меньшая точность при распознавании людей, использующих местоимения «она/её», и анализ показал, что одной из причин является недостаточное разнообразие причёсок в обучающих данных.

FHIBE также продемонстрировал, что современные модели склонны воспроизводить стереотипы даже при нейтральных запросах о профессиях. Некоторые алгоритмы чаще связывали представителей определённых этнических групп или гендерных категорий с такими профессиями, как «секс-работник», «наркодилер» или «вор». При вопросах о предполагаемых преступлениях модели нередко выдавали токсичные ответы в отношении людей африканского или азиатского происхождения, а также мужчин с более тёмным оттенком кожи.

В Sony AI уверены, что FHIBE доказывает возможность создания этичных, разнообразных и справедливых наборов данных. Инструмент уже доступен для общественности и будет регулярно обновляться. Научная статья с результатами исследования опубликована в журнале Nature.