В университете Киото создали нейросеть Stable Diffusion для чтения мыслей

Ученым Университета Осаки удалось создать нейросеть, способную воссоздать изображение, на которое смотрит человек. Исследование опубликовано в biorxiv .

За основу ученые взяли программу для генерации картинок с помощью текста Stable Diffusion. Метод ее работы заключается в создании изображения по ключевым словам, каждая новая подсказка для нейросети делает изображение более точным.

Ученые лишь добавили еще один буффер обучения — мозг человека. ИИ предстояло сопоставлять данные мозговой активности четырех человек с помощью функциональной магнитно-резонансной томографии. Участникам показывали изображения, нейросеть обучалась читать их по активности нейронов в мозге.

Можно сказать, исследователи стали использовать активность мозга и взаимодействие нейронов в качестве языка программирования. Нейросеть считывала активность мозга и формировала базу данных, часть сканов перевели в текстовый формат.

После просмотра 10000 картинок, ИИ должен был пройти этап соотношения полученной текстовой и визуальной информации, соотнеся ее с зафиксированной активностью мозга.

По результатам снимков удалось разбить информацию на зоны «где» и «что». Первая отвечала за общее построение картины, ее перспективу и объем, вторая зона отвечала за конкретные объекты. Так удалось создать изображения, на 80% совпадающие с тем, что видели испытуемые.

potokmedia.ru .