Нейросеть научилась воссоздавать изображения, увиденные человеком

Открытие сделали исследователи из России. Их нейросеть умеет воссоздавать изображения, которые видит человек, по электрической активности мозга. В будущем, это поможет создавать устройства, которыми можно будет управлять при помощи сигналов мозга.

Учёные создали нейроинтерфейс («мозг — компьютер»). Он снимает электроэнцефалограмму (ЭЭГ) и передаёт её на устройства. С помощью нейросетей устройство восстанавливает кадры из видео, которое смотрит человек. Происходит это быстро и в режиме реального времени.

Для демонстрации работы нейросети учёные провели эксперимент и записали его на камеру. Сначала исследователи выбрали пять случайный категорий роликов с YouTube: «абстракции», «водопады», «лица людей», «скорость» и «движущиеся механизмы». Эти видео показывали испытуемым, записывая при этом ЭЭГ. Нейросеть смогла воссоздать кадры, по которым в 90% случаев можно было определить категорию видео.