Роботы и человеческие просьбы: как новый датасет изменит взаимодействие с ИИ

Исследователи из Института искусственного интеллекта AIRI совместно с МФТИ и при поддержке Центра робототехники «Сбера» разработали самый масштабный в мире открытый датасет.

Он нужен для оценки того, насколько точно и гибко робототехнические системы способны понимать человеческие просьбы, особенно если они сформулированы неясно или двусмысленно. Об этом сообщили в пресс-службе AIRI.

Созданный тест охватывает две тысячи задач, моделирующих бытовые ситуации на кухне. Все они сопровождаются разметкой по типам неоднозначности и включают описание условий, предполагаемые действия и возможные уточняющие вопросы от робота. Особое внимание уделяется типичным неясностям: например, когда пользователь говорит «принеси что-нибудь попить», не уточняя, что именно имеется в виду.

Сценарии были классифицированы по трём типам неопределённости: предпочтения человека, здравый смысл и вопросы безопасности. По словам руководителя группы «Воплощённые агенты» лаборатории «Когнитивные системы ИИ» Алексея Ковалева, такое деление позволяет не только оценить способность систем к точному пониманию инструкций, но и помогает разработчикам выявлять слабые места в логике работы ИИ.