ИИ стал слишком умным: почему разработчики теперь бьют тревогу

Что важнее — полная автономность ИИ или контроль со стороны человека? Соучредитель Ethereum Виталик Бутерин уверен, что разработчики искусственного интеллекта зашли слишком далеко в стремлении сделать системы полностью независимыми. По его мнению, усиление человеческого влияния не только повысит качество работы ИИ, но и сделает его безопаснее.

Критика чрезмерной автономности ИИ

Бутерин отреагировал на пост бывшего директора по ИИ в Tesla Андрея Карпатого, который обратил внимание на проблему избыточной самостоятельности больших языковых моделей (LLM).

"Меня раздражает, что многие разработчики ИИ стремятся к максимальной автономности систем, хотя на самом деле больше возможностей для человеческого контроля не только улучшает результаты (как сейчас, так и в перспективе), но и повышает безопасность", — написал Бутерин.

Карпатый привёл пример из сферы программирования: современные ИИ-ассистенты тратят слишком много времени на анализ даже простых задач, что не всегда оправдано.

"Я регулярно прерываю ИИ командами: "Прекрати анализ. Ограничься этим файлом. Без дополнительных инструментов. Без избыточных решений"", — отметил он.

Бутерин согласился с этим подходом, подчеркнув, что открытые модели с возможностью редактирования гораздо полезнее, чем те, что генерируют контент с нуля.

Как сделать ИИ удобнее

Один из возможных путей улучшения взаимодействия с искусственным интеллектом Бутерин видит в развитии интерфейсов "мозг — компьютер". Такие системы могли бы анализировать реакцию пользователя в реальном времени и адаптироваться под его ожидания.

Сейчас же, по его словам, ИИ часто игнорирует нюансы, из-за чего снижается его практическая ценность.

Реакция сообщества: кто "за", а кто "против"

Многие специалисты поддержали позицию Бутерина и Карпатого.

barry farkus, ИИ-энтузиаст:

"Вчера я отказался от Cursor именно по этой причине — он постоянно забегает на пять шагов вперед в неправильном направлении. Пока вернулся к ручному копированию ответов из ChatGPT/Claude/Gemini".

Кан Каракас, инженер-программист:

"Существующие модели склонны переусложнять. Это хорошо для глубокого анализа, но замедляет простые проверки".

Однако нашлись и те, кто не согласился с критикой.

Conor, пользователь X:

"Можно чётко указать модели в промпте, чего вы хотите. Я не против автономности по умолчанию, но если задачи выходят за эти рамки — придётся давать конкретные инструкции".

Баланс вместо крайностей

Споры вокруг автономности ИИ показывают, что идеального решения пока нет. Но очевидно одно: разработчикам стоит уделять больше внимания гибкости моделей, позволяя пользователям выбирать уровень контроля.