Pósmortem orientado a IA y aprendizaje pasivo
Por qué los equipos de IA sigue cometiendo los mismos errores
La mayoría de los incidentes de IA no surgen de un aviso catastrófico. Provienen de una cadena de pequeños fallos que nadie anota mientras suceden.
El aprendizaje pasivo es el músculo que falta. Solo lo obtienes cuando cada incidente deja artefactos que son fáciles de encontrar, comparar y reutilizar.
Cinco elementos de una autopsia útil en la era de la IA
| Element | Qué capturar | Por qué es importante |
|---|---|---|
| Trigger | La ruta de usuario exacta, el mensaje o la confirmación que expuso el problema | Elimina la narración en retrospectiva |
| Comportamiento observado | Registros, seguimientos, capturas de pantalla y comprobaciones fallidas | Previene la deriva de la memoria |
| Registro de decisiones | Lo que se consideró, rechazó y aceptó | Hace visibles las compensaciones |
| Evidencia de remediación | Prueba de que la solución seleccionada funciona en condiciones que fallaron antes | Detiene las afirmaciones "fijas en teoría" |
| Actualización de barandilla | Nueva prueba, regla de pelusa, paso de runbook o puerta de política | Convierte un dolor único en prevención repetible |
El aprendizaje pasivo es un sistema, no una reunión
La frase "aprendimos de esto" sólo es cierta cuando el aprendizaje sobrevive al cambio de personal y al tiempo.
Un bucle práctico de aprendizaje pasivo: capture una línea de tiempo, capture instantáneas de los estados fallidos y corregidos uno al lado del otro, clasifique el patrón de falla, adjunte un mecanismo de prevención obligatorio y verifique ese mecanismo en el siguiente cambio similar.
Cómo se ven las autopsias de IA maduras
Los equipos maduros tratan la evidencia del incidente como un artefacto de primera clase, no como una tarea de limpieza. Distinguen el error del modelo del error del proceso humano. Promueven rápidamente fallos recurrentes en las puertas automatizadas.
Cuando falta un elemento postmortem, la autopsia se convierte en ficción histórica. Los patrones recurrentes a continuación aparecen repetidamente en todos los equipos y proveedores de la nube.
| Pattern | Symptom | Causa principal | Fuerte contramedida |
|---|---|---|---|
| Fuga de alcance inmediata | La IA cambia archivos fuera de los límites previstos | Encuadre de tareas flojo y superficie de revisión débil | Comprobaciones de diferencias con alcance y listas de archivos permitidos explícitas |
| Falsas pruebas verdes | CI pasa pero el comportamiento es incorrecto | Las afirmaciones prueban los detalles de implementación, no los resultados | Afirmaciones a nivel de contrato y verificaciones de falla primero |
| Lógica alternativa insegura | El respaldo silencioso oculta errores | Ramas 'seguir funcionando' sin observabilidad | Presupuestos de errores estructurados y telemetría obligatoria |
| Deriva después de fusionarse | La calidad del código base retrocede días después | Corrección fusionada sin sincronización de políticas o documentos | Verificación posterior a la fusión más puerta de documentos |
Cree una biblioteca post mortem que los desarrolladores realmente utilicen
Si encontrar incidentes anteriores lleva más tiempo que recrear el error, nadie consultará el archivo.
Una biblioteca utilizable admite búsqueda por patrón de falla, secciones breves sobre "qué copiar" con comprobaciones listas para usar, enlaces de runbooks y plantillas de relaciones públicas, y una condición de cierre que confirma que la prevención llegó a las herramientas.
Un práctico kit inicial para equipos
- Una plantilla post mortem que requiere enlaces de evidencia.
- Una taxonomía con menos de 12 patrones de falla.
- Una política según la cual cada incidente debe producir una acción de prevención.
- Un escaneo mensual para detectar la frecuencia de patrones repetidos.
- Una revisión de calidad ligera para retirar lecciones obsoletas.
Referencias
- Qodo (2025) Estado de la calidad del código de IA en 2025
- METR (2025) Las herramientas de inteligencia artificial hicieron que los desarrolladores experimentados fueran un 19% más lentos
- Martin Fowler/Kief Morris (2025) ¿Hasta dónde podemos impulsar la autonomía de la IA en la generación de código?
- Simón Willison (2025) Patrones de ingeniería agentes
- Addy Osmani (2026) La IA escribe código más rápido. Su trabajo aún es demostrar que funciona.
- Equipo Microsoft.NET (2026) Diez meses con Copilot Coding Agent en dotnet/runtime