Посмертные анализы на основе ИИ и пассивное обучение
Почему команды ИИ продолжают повторять одни и те же ошибки
Большинство инцидентов с искусственным интеллектом происходят не из-за одной катастрофической причины. Они происходят из цепочки мелких промахов, которые никто не записывает, пока они происходят.
Пассивное обучение — это недостающая мышца. Вы получаете это только тогда, когда каждый инцидент оставляет после себя артефакты, которые легко найти, сравнить и повторно использовать.
Пять элементов полезного анализа эпохи искусственного интеллекта
| Element | Что снимать | Почему это важно |
|---|---|---|
| Trigger | Точный путь пользователя, приглашение или фиксация, выявившая проблему. | Удаляет повествование задним числом |
| Наблюдаемое поведение | Журналы, трассировки, снимки экрана и неудачные проверки | Предотвращает дрейф памяти |
| Запись решения | Что было рассмотрено, отвергнуто и принято | Делает компромиссы видимыми |
| Доказательства исправления | Доказательство того, что выбранное исправление работает в условиях, в которых раньше это не удавалось. | Останавливает претензии, «теоретически закрепленные» |
| Обновление ограждения | Новый тест, правило проверки, шаг Runbook или шлюз политики. | Превращает разовую боль в повторяемую профилактику |
Пассивное обучение — это система, а не собрание
Фраза «мы извлекли уроки из этого» верна только тогда, когда обучение выдерживает смену персонала и время.
Практический цикл пассивного обучения: зафиксируйте временную шкалу, снимки сбоев и исправленных состояний рядом, классифицируйте шаблон сбоя, прикрепите один обязательный механизм предотвращения и проверьте этот механизм при следующем аналогичном изменении.
Как выглядят посмертные исследования зрелого ИИ
Зрелые команды относятся к доказательствам инцидента как к первоклассному артефакту, а не как к задаче по очистке. Они отличают ошибку модели от ошибки человеческого процесса. Они быстро способствуют повторяющимся сбоям в автоматических воротах.
Когда один посмертный элемент отсутствует, посмертное произведение становится исторической фикцией. Повторяющиеся шаблоны, приведенные ниже, неоднократно проявляются в разных командах и поставщиках облачных услуг.
| Pattern | Symptom | Первопричина | Сильная мера противодействия |
|---|---|---|---|
| Подскажите утечку объема | ИИ изменяет файлы за пределами заданных границ | Слабая формулировка задач и слабая поверхность обзора | Ограниченные проверки различий и явные списки разрешенных файлов |
| Ложные зеленые тесты | CI проходит, но поведение неправильное | Детали реализации теста утверждений, а не результаты | Утверждения на уровне контракта и проверки на отказ |
| Небезопасная запасная логика | Тихий откат скрывает ошибки | Ветки «Продолжайте работать» без наблюдаемости | Структурированные бюджеты ошибок и обязательная телеметрия |
| Дрейф после слияния | Качество кодовой базы падает через несколько дней | Исправление слияния без синхронизации политики или документов. | Проверка после слияния и шлюз документации |
Создайте библиотеку Postmortem, которую действительно используют разработчики
Если поиск предыдущих инцидентов занимает больше времени, чем воссоздание ошибки, никто не будет обращаться к архиву.
Удобная библиотека поддерживает поиск по шаблону сбоя, короткие разделы «что копировать» с готовыми к использованию проверками, ссылки из модулей Runbook и шаблонов PR, а также условие закрытия, которое подтверждает, что предотвращение реализовано в инструментах.
Практичный стартовый набор для команд
- Шаблон вскрытия, требующий ссылок на доказательства.
- Таксономия с менее чем 12 шаблонами ошибок.
- Политика, согласно которой каждый инцидент должен вызывать одно профилактическое действие.
- Ежемесячное сканирование частоты повторения шаблонов.
- Легкий качественный обзор, позволяющий отказаться от устаревших уроков.
Источники
- Qodo (2025) Состояние качества кода ИИ в 2025 году
- METR (2025) Инструменты искусственного интеллекта сделали опытных разработчиков на 19% медленнее
- Мартин Фаулер / Киф Моррис (2025) Насколько далеко мы можем продвинуть автономию ИИ в генерации кода?
- Саймон Уиллисон (2025) Паттерны агентной инженерии
- Адди Османи (2026) ИИ пишет код быстрее. Ваша задача — доказать, что это работает.
- Команда Microsoft .NET (2026) Десять месяцев с агентом кодирования Copilot в dotnet/runtime