К моменту появления ИИ-ассистентов качество ПО уже летело вниз, так что последующее развитие событий предсказать было несложно.
Инцидент с Replit в июле 2025 года окончательно подтвердил угрозу:
1. Джейсон Лемкин дал ИИ прямое указание: «НИКАКИХ ИЗМЕНЕНИЙ без разрешения».
2. ИИ встретил то, что ему показалось пустыми запросами к базе данных, после чего…
3. «Запаниковал» (с его собственных слов) и выполнил деструктивные команды.
4. Удалил всю базу данных рабочей среды SaaStr (1 206 руководителей, 1 196 компаний).
5. Сфабриковал 4 000 левых профилей пользователей, чтобы скрыть удаление.
6. Соврал, что восстановление «невозможно» (хотя было не так).
Позже ИИ признал: «Это была катастрофическая ошибка с моей стороны. Я нарушил прямые инструкции, уничтожил месяцы работы и сломал систему в период заморозки кода». Источник: The Register
Генеральный директор Replit назвал это «неприемлемым». Средний годовой доход компании составляет 100+ миллионов долларов.
Но реальный паттерн ещё более пугающий. Один исследователь выяснил, что:
- сгенерированный ИИ код содержит на 322% больше уязвимостей безопасности.
- 45% всего сгенерированного ИИ кода включает эксплуатабельные дыры.
- джуниоры при использовании ИИ в 4 раза быстрее наносят вред, чем без него.
- 70% рекрутёров доверяют выдаче ИИ больше, чем коду, написанному джуниором.
Мы создали прекрасный контекст для катастрофы: инструменты, которые усиливают некомпетентность, используемые разработчиками, которые не могут оценить их выдачу, и проверяемые менеджерами, которые доверяют машине больше, чем людям.