Редактирование фото по сигналам мозга: удобно или опасно

Китайские учёные представили необычную разработку — систему LoongX, которая позволяет редактировать изображения с помощью мыслей. Об этом сообщает arXiv. Чтобы изменить фон на фотографии или добавить новый объект, теперь достаточно просто подумать об этом — и картинка изменится. Это особенно важно для людей с нарушениями движений и речи.

Система работает как связка мозга и компьютера. Носимая гарнитура улавливает сразу несколько видов сигналов: активность мозга (ЭЭГ), движение крови в голове (fNIRS), частоту пульса (PPG) и направление взгляда. Все эти данные помогают понять, что именно хочет пользователь. Например, человек смотрит на картинку и думает: "хочу небо заменить закатом" — и интерфейс начинает действовать.

Чтобы добиться такой точности, разработчики использовали большой набор данных L-Mind — в нём собраны тысячи случаев, когда люди мысленно хотели изменить изображение. Также в системе работают модули, которые фильтруют сигналы (CS3 и DGF), и модуль DiT, который в итоге "рисует" картинку.

Пока технология работает не идеально. Слишком сложные образы, вроде "летающего дракона", система распознаёт плохо. Также она может ошибаться, если пользователь даёт слишком абстрактную команду — например, "замени что-то". Панорамные фото тоже пока сложны для обработки.

Но при этом LoongX уже даёт впечатляющие результаты. Если к мыслям добавить голосовую команду, точность повышается. Тесты на 12 участниках показали, что система работает не хуже, чем обычный текстовый редактор. Учёные уверены — это только начало новой эры, где технологии делают творчество доступным всем.