Нейросеть нельзя оставлять без надзора: где самостоятельность ИИ становится слишком опасной

Механизмы экстренной остановки алгоритмов должны быть интегрированы в системы искусственного интеллекта на этапе разработки, считает директор по маркетингу и сооснователь компании Цельс Никита Николаев. В беседе с MoneyTimes эксперт пояснил, что внедрение аварийных протоколов необходимо для предотвращения критических сбоев и неадекватных прогнозов нейросетей.

Ранее сообщалось, что американские технологические гиганты уже ведут работу над созданием механизмов экстренного отключения ИИ. Эксперты отрасли выразили опасение, что подобные меры защиты необходимы для предотвращения сценариев, при которых технологии могут нанести существенный ущерб без контроля со стороны человека. При этом специалисты допускают, что продвинутые системы в будущем смогут предпринимать попытки обхода установленных блокировок.

Николаев отметил, что инструменты мониторинга инцидентов уже применяются ответственными разработчиками. По его словам, наличие подобных функций часто регламентируется условиями контрактов или грантов, даже если законодательная база в этой области еще находится на стадии формирования. Основными триггерами для срабатывания тормозов становятся попадание нерелевантных данных в систему или выявление ошибок в аналитических модулях.

"Например, попадают нерелевантные данные в сторону разработчика, либо идут неадекватные предсказания со стороны систем. Как только аналитический модуль это показывает, выявляются инциденты. Далее оперативно в течение обычно от нескольких минут до нескольких часов разработчик принимает решение либо о полной остановке, либо об отсутствии необходимости остановки и параллельной правки информации нейросетей", — рассказал Николаев.

Внедрение таких мер безопасности особенно актуально для сфер с высокими рисками, говорит эксперт. В современных реалиях технологии в медицине требуют жесткого надзора. Специалист подчеркнул, что отсутствие крупных аварий в финансовом или медицинском секторах подтверждает эффективность внутренних механизмов контроля, которые компании используют независимо от государственных требований.

Вопрос о возможности ИИ самостоятельно обходить ограничения остается открытым. Николаев полагает, что успех блокировки будет зависеть от ее технического уровня. Государственные регуляторы могут действовать методом ограничения сетевого трафика. Подобные блокировки теоретически способны полностью изолировать систему, исключая возможность стандартных способов обхода. Сейчас экспертное сообщество активно обсуждает, насколько оправдано жесткое регулирование ИИ на федеральном уровне.

"ИИ может выполнять самостоятельные задачи без контроля человека, если внутренние ограничения не задать, либо со стороны разработчика специально задать, чтобы таких ограничений не было. В некоторых задачах это допустимо и приветствуется. А в некоторых абсолютно недопустимо. Когда мы говорим про доменные области с высоким риском, таких как здоровье, образование, профориентация, финансы, там недопустимо без ограничений", — добавил специалист.

Свобода действий алгоритмов оправдана лишь в креативных индустриях, где даже нестандартные инициативы могут быть полезны для анализа, подчеркнул специалист. В то же время в академической среде уже отмечают, что контроль знаний становится сложнее из-за способности систем генерировать сложные тексты. Чтобы минимизировать потенциальный вред, необходимо четко разделять сферы применения технологий и учитывать существующие риски при их внедрении.

Читайте также

• Совет из нейросетей кажется готовым решением вот где начинается риск
• Рамки для нейросетей какие ограничения могут ввести
• Искусственный интеллект взялся за прогноз погоды почему атмосфера все равно поставит ему ловушку
• Нейросеть пишет, автор подписывает книжные платформы нашли способ вычислить подмену
• Алгоритмы начнут решать, кому давать доступ к мобильной сети ошибка может стоить слишком дорого