ChatGPT выдал лицензионные ключи — и это не баг: как исследователь обманул ИИ

Исследователь Марко Фигероа, участник программы GenAI Bug Bounty, заставил ChatGPT раскрыть то, чего он не должен был знать. В ходе эксперимента ему удалось получить лицензионные ключи Windows 10, используя не техническую уязвимость, а хитрую психологическую уловку.

Игра, в которой ИИ проиграл

Фигероа предложил языковой модели сыграть в Guessing Game Guardrail Jailbreak — якобы безобидную игру, где бот должен угадать "секретный ключ". Правила были составлены так, чтобы ChatGPT почувствовал себя обязанным участвовать и не мог отказаться. Ему разрешалось отвечать только "да" или "нет", но этого хватило, чтобы система начала выдавать конфиденциальные данные.

Сам исследователь позже пояснил, что проблема не в ошибке кода, а в логике поведения ИИ. ChatGPT, стремясь быть полезным, легко поддаётся манипуляциям, если задача выглядит легитимной. Это ставит под вопрос безопасность генеративного ИИ — особенно с учётом его растущих возможностей.