AI-First Postmortems en passief leren
Waarom AI-teams dezelfde fouten blijven herhalen
De meeste AI-incidenten komen niet voort uit één catastrofale aanleiding. Ze komen voort uit een reeks kleine missers die niemand opschrijft terwijl ze plaatsvinden.
Passief leren is de ontbrekende spier. Je krijgt het alleen als elk incident artefacten achterlaat die gemakkelijk te vinden, te vergelijken en opnieuw te gebruiken zijn.
Vijf elementen van een nuttig postmortaal AI-tijdperk
| Element | Wat te vangen | Waarom het ertoe doet |
|---|---|---|
| Trigger | Het exacte gebruikerspad, de prompt of de commit waardoor het probleem aan het licht is gekomen | Verwijdert verhalen achteraf |
| Waargenomen gedrag | Logboeken, sporen, screenshots en mislukte controles | Voorkomt geheugendrift |
| Beslissingsverslag | Wat werd overwogen, afgewezen en geaccepteerd | Maakt afwegingen zichtbaar |
| Bewijs van sanering | Bewijs dat de geselecteerde oplossing werkt onder omstandigheden die eerder mislukten | Stopt claims die 'in theorie vaststaan' |
| Vangrail-update | Nieuwe test, lintregel, runbookstap of beleidspoort | Zet eenmalige pijn om in herhaalbare preventie |
Passief leren is een systeem, geen bijeenkomst
De uitdrukking 'we hebben hiervan geleerd' is alleen waar als het leerproces de personeelswisselingen en de tijd overleeft.
Een praktische passief-leerlus: leg een tijdlijn vast, maak een momentopname van falende en gecorrigeerde toestanden naast elkaar, classificeer het faalpatroon, voeg één verplicht preventiemechanisme toe en verifieer dat mechanisme bij de volgende soortgelijke verandering.
Hoe volwassen AI-postmortems eruit zien
Volwassen teams behandelen bewijsmateriaal van incidenten als een eersteklas artefact en niet als een opruimtaak. Ze onderscheiden modelfouten van menselijke procesfouten. Ze bevorderen snel terugkerende storingen in geautomatiseerde poorten.
Wanneer één postmortem-element ontbreekt, wordt de postmortem historische fictie. Terugkerende patronen hieronder komen herhaaldelijk voor bij teams en cloudproviders.
| Pattern | Symptom | Oorzaak | Sterke tegenmaatregel |
|---|---|---|---|
| Snel scooplek | AI verandert bestanden buiten de beoogde grenzen | Losse taakkaders en zwak beoordelingsoppervlak | Scoped diff-controles en expliciete toelatingslijsten voor bestanden |
| Valse groene tests | CI slaagt, maar gedrag is verkeerd | Beweringen testen de details van de implementatie, niet de resultaten | Beweringen op contractniveau en fail-first-controles |
| Onveilige fallback-logica | Stille terugval verbergt fouten | 'Blijven draaien' takken zonder waarneembaarheid | Gestructureerde foutbudgetten en verplichte telemetrie |
| Drift na samenvoeging | De kwaliteit van de codebase gaat dagen later achteruit | Oplossing voor samengevoegd zonder synchronisatie van beleid of documenten | Verificatie na samenvoeging plus documentatiepoort |
Bouw een postmortale bibliotheek die ontwikkelaars daadwerkelijk gebruiken
Als het vinden van eerdere incidenten langer duurt dan het opnieuw creëren van de bug, zal niemand het archief raadplegen.
Een bruikbare bibliotheek ondersteunt zoeken op foutpatroon, korte 'wat te kopiëren'-secties met kant-en-klare controles, koppelingen van runbooks en PR-sjablonen, en een sluitingsvoorwaarde die bevestigt dat preventie in tooling terecht is gekomen.
Een praktisch startpakket voor teams
- Een postmortem-sjabloon waarvoor bewijskoppelingen vereist zijn.
- Een taxonomie met minder dan twaalf faalpatronen.
- Een beleid dat elk incident één preventieactie moet opleveren.
- Een maandelijkse scan voor herhaalde patroonfrequentie.
- Een lichtgewicht kwaliteitsbeoordeling om verouderde lessen met pensioen te laten gaan.
Bronnen
- Qodo (2025) Staat van de AI-codekwaliteit in 2025
- METR (2025) AI-tools hebben ervaren ontwikkelaars 19% langzamer gemaakt
- Martin Fowler / Kief Morris (2025) Hoe ver kunnen we AI-autonomie pushen bij het genereren van code?
- Simon Willison (2025) Agentische technische patronen
- Addy Osmani (2026) AI schrijft code sneller. Het is nog steeds jouw taak om te bewijzen dat het werkt.
- Microsoft .NET-team (2026) Tien maanden met Copilot Coding Agent in dotnet/runtime