Autopsje zorientowane na AI i uczenie się pasywne
Dlaczego zespoły AI wciąż powtarzają te same błędy
Większość incydentów związanych ze sztuczną inteligencją nie wynika z jednego, katastrofalnego zdarzenia. Pochodzą z łańcucha drobnych pomyłek, których nikt nie zapisuje w trakcie ich wystąpienia.
Uczenie się pasywne to brakujący mięsień. Otrzymujesz je tylko wtedy, gdy każde zdarzenie pozostawia po sobie artefakty, które można łatwo znaleźć, porównać i ponownie wykorzystać.
Pięć elementów przydatnej sekcji zwłok w epoce sztucznej inteligencji
| Element | Co uchwycić | Dlaczego to ma znaczenie |
|---|---|---|
| Trigger | Dokładna ścieżka użytkownika, monit lub zatwierdzenie, które ujawniło problem | Usuwa opowiadanie historii z perspektywy czasu |
| Zaobserwowane zachowanie | Dzienniki, ślady, zrzuty ekranu i niepowodzenia kontroli | Zapobiega dryfowi pamięci |
| Zapis decyzji | Co zostało rozważone, odrzucone i zaakceptowane | Sprawia, że kompromisy są widoczne |
| Dowody naprawcze | Dowód, że wybrana poprawka działa w warunkach, które wcześniej zawiodły | Zatrzymuje roszczenia „naprawione w teorii”. |
| Aktualizacja poręczy | Nowy test, reguła lint, krok elementu Runbook lub brama zasad | Zamienia jednorazowy ból w powtarzalną profilaktykę |
Uczenie się pasywne to system, a nie spotkanie
Stwierdzenie „wyciągnęliśmy z tego wnioski” jest prawdziwe tylko wtedy, gdy nauka przetrwa zmiany personalne i czas.
Praktyczna pętla pasywnego uczenia się: przechwytuj oś czasu, migawkowe stany awarii i skorygowanych obok siebie, klasyfikuj wzorzec awarii, dołącz jeden obowiązkowy mechanizm zapobiegania i weryfikuj ten mechanizm przy następnej podobnej zmianie.
Jak wyglądają sekcje zwłok dojrzałej sztucznej inteligencji
Dojrzałe zespoły traktują dowody incydentów jako artefakt najwyższej klasy, a nie zadanie porządkowe. Odróżniają błąd modelu od błędu procesu ludzkiego. Szybko promują powtarzające się awarie w zautomatyzowanych bramach.
Kiedy brakuje jednego elementu pośmiertnego, sekcja zwłok staje się fikcją historyczną. Poniższe powtarzające się wzorce pojawiają się wielokrotnie w zespołach i dostawcach usług w chmurze.
| Pattern | Symptom | Pierwotna przyczyna | Silny środek zaradczy |
|---|---|---|---|
| Natychmiastowy wyciek lunety | AI zmienia pliki poza zamierzonymi granicami | Luźne ramy zadań i słaba powierzchnia do przeglądu | Kontrole różnic o określonym zakresie i jawne listy dozwolonych plików |
| Fałszywe zielone testy | CI przechodzi, ale zachowanie jest nieprawidłowe | Asercje testują szczegóły implementacji, a nie wyniki | Twierdzenia na poziomie kontraktu i kontrole typu „fail-first”. |
| Niebezpieczna logika rezerwowa | Cichy powrót ukrywa błędy | Gałęzie „Kontynuuj działanie” bez możliwości obserwowania | Ustrukturyzowane budżety błędów i obowiązkowa telemetria |
| Dryf po połączeniu | Jakość kodu ulega pogorszeniu kilka dni później | Napraw połączenie bez synchronizacji zasad i dokumentów | Weryfikacja po połączeniu i bramka dokumentów |
Zbuduj bibliotekę pośmiertną, z której faktycznie korzystają programiści
Jeśli znalezienie wcześniejszych incydentów zajmie więcej czasu niż odtworzenie błędu, nikt nie będzie zaglądał do archiwum.
Użyteczna biblioteka obsługuje wyszukiwanie według wzorca awarii, krótkie sekcje „co skopiować” z gotowymi do użycia kontrolami, łączami z elementów Runbook i szablonami PR oraz warunek zamknięcia, który potwierdza, że zapobieganie wylądowało w narzędziach.
Praktyczny zestaw startowy dla zespołów
- Szablon sekcji zwłok, który wymaga linków do dowodów.
- Taksonomia zawierająca mniej niż 12 wzorców awarii.
- Polityka mówiąca, że każdy incydent musi skutkować jednym działaniem zapobiegawczym.
- Comiesięczne skanowanie pod kątem częstotliwości powtarzających się wzorców.
- Lekka recenzja jakości, która pozwala wycofać nieaktualne lekcje.
Zrodla
- Qodo (2025) Stan Jakości Kodu AI w 2025 roku
- METR (2025) Narzędzia AI spowalniają doświadczonych programistów o 19%.
- Martina Fowlera/Kiefa Morrisa (2025) Jak daleko możemy posunąć się w zakresie autonomii sztucznej inteligencji w generowaniu kodu?
- Simona Willisona (2025) Agentyczne wzorce inżynieryjne
- Addy Osmani (2026) AI pisze kod szybciej. Twoim zadaniem jest nadal udowodnienie, że to działa.
- Zespół Microsoft .NET (2026) Dziesięć miesięcy z agentem kodującym Copilot w środowisku dotnet/runtime