Управлять телефоном можно с помощью взгляда: что будет, если камера всегда будет следить за вами

Исследователи из Университета Карнеги — Меллона работают над технологией, которая позволит управлять смартфоном с помощью взгляда. Об этом сообщает Techxplore со ссылкой на научную публикацию в сборнике Международной конференции по мультимодальному взаимодействию.

Разработка под названием EyeMU сочетает в себе управление глазами и жестами одной рукой. Программа использует фронтальную камеру смартфона для отслеживания движения взгляда и построения карт движений глаз. Затем алгоритмы на основе искусственного интеллекта прогнозируют действия пользователя.

По словам Криса Харрисона, одного из авторов проекта, у глаз есть особенность — они быстро перемещаются по экрану, поэтому нужно избегать случайных срабатываний. Инженеры добавили в систему жесты: чтобы открыть приложение, нужно несколько секунд смотреть на уведомление, чтобы закрыть — качнуть смартфон влево, вправо — для ответа. Поднять телефон вверх можно, чтобы увеличить изображение, а опустить вниз — чтобы отключить режим управления взглядом.

Главный автор исследования Энди Конг отметил, что такие технологии делают работу со смартфоном более удобной и могут быть полезны для пользователей с ограниченной подвижностью. Разработчики оптимизировали алгоритмы, чтобы EyeMU быстро работал даже на мобильных устройствах, несмотря на высокую скорость движения глаз.

Проект демонстрирует, как технологии анализа взгляда и искусственный интеллект могут изменить привычные способы взаимодействия с телефонами и сделать управление более гибким.