Создали словарь эмоций — машины учатся чувствовать: что скрывает искусственный интеллект

В Санкт-Петербургской лаборатории языковой конвергенции придумали "словарь нового типа". Он не для того, чтобы объяснять детям слова, а чтобы нейросети научились различать эмоции. Коллекция состоит из 909 видеороликов общей продолжительностью почти три часа. Каждый ролик оценен по шести эмоциям и представлен в четырех форматах: полноценное видео, звуковая дорожка, текст и видеоряд без звука.

Голос важнее лица

Результаты оказались неожиданными: выразительность лица почти не влияет на точность распознавания, а вот интонация и текст — ключевые маркеры. Радость и удивление машины "ловят" через голос, злость — через слова, а страх распознается лишь при сочетании текста и звука. Получается, что для искусственного интеллекта эмоции — это скорее разговор, чем взгляд.

Применение уже начинается

Словарь уже используют в музейных проектах и при создании чат-ботов с "эмпатией". Он также помогает оценивать существующие системы: текстовые модели показывают точность 50-58 %, звуковые — около 40 %, а анализ мимики едва достигает четверти успеха. Разработчики отмечают, что ресурс будет расширяться и вскоре станет ещё мощнее для обучения ИИ.