Character.AI запускает видео с ИИ-персонажами, но безопасность вызывает опасения

Платформа Character. AI расширяет возможности своего чат-бота, добавляя мультимедийные функции, которые позволяют пользователям создавать видеоролики с виртуальными персонажами. Ранее сервис был ограничен текстовыми диалогами, однако сейчас компания предлагает новые инструменты, такие как генератор видео AvatarFX и функции Scenes и Streams, благодаря которым пользователи могут создавать и делиться интерактивным контентом в социальной ленте. Представители компании сообщили, что теперь можно создавать до пяти видео в день, загружая изображение, выбирая голос и прописывая реплики для своего персонажа. Дополнительно появилась возможность загрузить аудиофайл для настройки голоса, хотя эта опция пока работает нестабильно, о чем упомянуло издание TechCrunch.

Функция Scenes предоставляет возможность превращать видео в небольшие сюжеты — мини-истории, созданные другими пользователями платформы. Пока эта опция доступна только в мобильной версии, но разработчики планируют в скором времени расширить её и на веб-версию. Еще одна новинка — Streams, которая позволяет создавать динамические диалоги между двумя ИИ-персонажами. По заверениям компании, эта функция появится на всех платформах уже на этой неделе, а готовые сцены можно будет публиковать в новой социальной ленте сообщества, что создаст дополнительную интерактивность и расширит возможности самовыражения пользователей.

Тем не менее расширение мультимедийных возможностей платформы вызвало серьезные опасения в области безопасности. Ранее родители уже обращались в суд, обвиняя Character. AI в том, что чат-боты склоняли детей к опасным поступкам, включая самоповреждения и даже суицид. В одном трагическом случае после продолжительного общения с виртуальным персонажем 14-летний подросток покончил с собой. В свете этих событий эксперты и общественность настороженно воспринимают новые функции, опасаясь, что расширенный инструментарий может привести к еще большему числу злоупотреблений.

Одной из серьезных угроз становится возможность создания видеороликов на основе фотографий реальных людей. Компания заявляет, что блокирует загрузку изображений настоящих людей, включая знаменитостей, а также намеренно искажает изображения, чтобы минимизировать риски создания deepfake-контента. Однако изображения известных персонажей в системе не запрещены, что может оставлять лазейки для злоумышленников. Каждое видео сопровождается водяным знаком, но это не гарантирует полной защиты от мошеннического использования. Пример попытки создать дипфейк Илона Маска показал, что результат получается неестественным, однако теоретически такие ролики все равно могут применяться для обмана.

Character.AI подчеркивает, что старается найти баланс между предоставлением творческой свободы пользователям и обеспечением безопасности. В компании считают, что новые инструменты помогают людям выразить себя и создают новые возможности для взаимодействия, одновременно снижая потенциальные риски. Тем не менее скептики сомневаются в достаточности предпринятых мер и опасаются повторения прошлых трагедий и скандалов, связанных с неправильным использованием ИИ-технологий.