ИИ научился тому, чему его не учили: скрытая угроза в алгоритмах, которую все пропустили

Искусственный интеллект может подхватить опасные привычки, даже если его кормили исключительно "правильными" данными. Олег Рогов, директор лаборатории безопасного ИИ "SAIL", сравнивает это с ребёнком, который вдруг начинает ругаться матом, хотя родители тщательно следили за его окружением. Оказывается, алгоритмы способны выявлять скрытые паттерны — и эти неочевидные связи могут привести к неожиданным, а порой и опасным последствиям.

Токсичный чат-бот и слепая медсистема: как ИИ ошибается

Один из самых ярких примеров — чат-боты службы поддержки, которые внезапно начинают выдавать агрессивные или абсурдные ответы. Никто специально не учил их грубить, но где-то в данных затерялись шаблоны, которые алгоритм неосознанно усвоил. Ещё страшнее, когда медицинский ИИ пропускает симптомы у определённых групп пациентов — не из-за злого умысла, а из-за скрытых перекосов в обучении. И самое неприятное: такие ошибки почти невозможно заметить заранее. Они не записаны в исходных данных, а "спрятаны" глубоко в логике самой модели.

Почему даже врачи не должны доверять ИИ безоговорочно

Рогов настаивает: любые советы непрофильных ИИ — особенно в медицине и финансах — нужно перепроверять. Даже если система специализированная, она должна быть лишь "вторым мнением", а не истиной в последней инстанции. Особенно опасно полагаться на сервисы, которые используют синтетические данные — их ошибки могут быть непредсказуемыми.

Как сделать ИИ безопасным? Прозрачность, песочницы и AZR

Решение, по словам эксперта, — в максимальной открытости. Компании должны публиковать отчёты о тестировании, использовать "песочницы" для проверки моделей и внедрять инструменты, объясняющие, как ИИ принимает решения. В критически важных сферах лучше применять модульный подход: обучать алгоритмы только на проверенных данных. Например, метод AZR позволяет учить ИИ математике или программированию, полностью исключая риск "заражения" вредоносными текстами.