KI-First Postmortems und passives Lernen
Warum KI-Teams dieselben Fehler immer wieder machen
Die meisten KI-Vorfälle sind nicht auf eine einzige Katastrophe zurückzuführen. Sie entstehen aus einer Kette kleiner Fehler, die niemand aufschreibt, während sie passieren.
Passives Lernen ist der fehlende Muskel. Sie erhalten es nur, wenn jeder Vorfall Artefakte hinterlässt, die leicht zu finden, zu vergleichen und wiederzuverwenden sind.
Fünf Elemente einer nützlichen Postmortem-Analyse der KI-Ära
| Element | Was zu erfassen ist | Warum es wichtig ist |
|---|---|---|
| Trigger | Der genaue Benutzerpfad, die Eingabeaufforderung oder das Commit, die das Problem aufgedeckt haben | Entfernt das Geschichtenerzählen im Nachhinein |
| Beobachtetes Verhalten | Protokolle, Spuren, Screenshots und fehlgeschlagene Prüfungen | Verhindert Speicherdrift |
| Entscheidungsprotokoll | Was berücksichtigt, abgelehnt und akzeptiert wurde | Macht Kompromisse sichtbar |
| Sanierungsnachweise | Beweis, dass der ausgewählte Fix unter Bedingungen funktioniert, die zuvor fehlgeschlagen sind | Stoppt „in der Theorie festgelegte“ Behauptungen |
| Aktualisierung der Leitplanke | Neuer Test, Lint-Regel, Runbook-Schritt oder Richtlinien-Gate | Wandelt einmaligen Schmerz in wiederholbare Prävention um |
Passives Lernen ist ein System, kein Meeting
Der Satz „Wir haben daraus gelernt“ ist nur dann wahr, wenn das Lernen personelle Veränderungen und die Zeit überdauert.
Eine praktische passive Lernschleife: Erfassen Sie eine Zeitleiste, machen Sie einen Snapshot von fehlgeschlagenen und korrigierten Zuständen nebeneinander, klassifizieren Sie das Fehlermuster, fügen Sie einen obligatorischen Präventionsmechanismus hinzu und überprüfen Sie diesen Mechanismus bei der nächsten ähnlichen Änderung.
Wie ausgereifte KI-Postmortems aussehen
Erfahrene Teams behandeln Vorfallbeweise als erstklassiges Artefakt und nicht als Aufräumaufgabe. Sie unterscheiden Modellfehler von menschlichen Prozessfehlern. Sie begünstigen schnell wiederkehrende Ausfälle automatisierter Tore.
Wenn ein Postmortem-Element fehlt, wird das Postmortem zur historischen Fiktion. Die unten aufgeführten wiederkehrenden Muster treten wiederholt bei Teams und Cloud-Anbietern auf.
| Pattern | Symptom | Grundursache | Starke Gegenmaßnahme |
|---|---|---|---|
| Sofortiges Zielfernrohrleck | KI ändert Dateien außerhalb der vorgesehenen Grenzen | Lockerer Aufgabenrahmen und schwache Überprüfungsoberfläche | Umfangreiche Diff-Prüfungen und explizite Datei-Zulassungslisten |
| Falsche grüne Tests | CI besteht, aber das Verhalten ist falsch | Assertions testen Implementierungsdetails, nicht Ergebnisse | Behauptungen und Fail-First-Prüfungen auf Vertragsebene |
| Unsichere Fallback-Logik | Silent Fallback verbirgt Fehler | Zweige ohne Beobachtbarkeit „weiterführen“. | Strukturierte Fehlerbudgets und obligatorische Telemetrie |
| Drift nach der Zusammenführung | Die Qualität der Codebasis lässt Tage später nach | Fix ohne Richtlinien- oder Dokumentensynchronisierung zusammengeführt | Post-Merge-Verifizierung plus Docs Gate |
Erstellen Sie eine Postmortem-Bibliothek, die Entwickler tatsächlich nutzen
Wenn das Auffinden früherer Vorfälle länger dauert als das Wiederherstellen des Fehlers, wird niemand das Archiv konsultieren.
Eine nutzbare Bibliothek unterstützt die Suche nach Fehlermustern, kurze „Was soll kopiert werden“-Abschnitte mit gebrauchsfertigen Prüfungen, Links von Runbooks und PR-Vorlagen sowie eine Abschlussbedingung, die bestätigt, dass die Prävention in den Tools erfolgt ist.
Ein praktisches Startpaket für Teams
- Eine Post-Mortem-Vorlage, die Beweislinks erfordert.
- Eine Taxonomie mit weniger als 12 Fehlermustern.
- Eine Richtlinie, nach der jeder Vorfall eine Präventionsmaßnahme nach sich ziehen muss.
- Ein monatlicher Scan auf die Häufigkeit wiederholter Muster.
- Eine leichtgewichtige Qualitätsbewertung, um abgestandene Lektionen in den Ruhestand zu schicken.
Quellen
- Qodo (2025) Stand der KI-Codequalität im Jahr 2025
- METR (2025) KI-Tools machten erfahrene Entwickler um 19 % langsamer
- Martin Fowler / Kief Morris (2025) Wie weit können wir die KI-Autonomie bei der Codegenerierung vorantreiben?
- Simon Willison (2025) Agenten-Engineering-Muster
- Addy Osmani (2026) KI schreibt Code schneller. Ihre Aufgabe besteht immer noch darin, zu beweisen, dass es funktioniert.
- Microsoft .NET-Team (2026) Zehn Monate mit Copilot Coding Agent in Dotnet/Runtime