Medir ingeniería sin arruinar lo que medís
Toda métrica de productividad que se usa para evaluar personas se rompe: la gente optimiza el número y el número deja de significar algo. Hay formas de medir que sí sirven, y todas tienen en común que miran al sistema y no a las personas.
Pedir «métricas de productividad del equipo» suena razonable y termina, con una regularidad aburrida, en líneas de código, cantidad de commits o puntos de historia por sprint. Las tres son fáciles de conseguir, las tres se pueden inflar sin esfuerzo y las tres empeoran el trabajo apenas alguien sabe que se están mirando.
El problema no es medir. Es medir el esfuerzo en vez del resultado, y usar el número para evaluar personas en lugar de para entender un sistema.
Por qué se rompen
La formulación de Goodhart es corta: cuando una medida se convierte en objetivo, deja de ser una buena medida. No es un problema de mala fe: es que toda métrica es un proxy incompleto, y en cuanto hay consecuencias atadas, la gente optimiza el proxy y no la cosa.
| Métrica | Qué cree medir | Cómo se infla sin darse cuenta |
|---|---|---|
| Líneas de código | Trabajo producido | Escribiendo más código del necesario y evitando borrar |
| Commits por día | Actividad | Partiendo cambios al azar |
| Puntos de historia | Capacidad de entrega | Estimando más alto cada sprint, sin que cambie nada real |
| Cobertura de tests | Calidad | Con tests que ejecutan código sin verificar nada |
| Tickets cerrados | Resolución de problemas | Eligiendo los fáciles y partiendo los grandes |
Las cuatro que sí resisten
Las métricas de entrega conocidas como DORA —popularizadas por la investigación publicada en Accelerate— resisten mucho mejor, por dos razones: miden el sistema de entrega y no a las personas, y están en tensión entre sí, así que optimizar una a costa de todo se nota en las otras.
| Métrica | Qué mide | Por qué es difícil de falsear |
|---|---|---|
| Frecuencia de despliegue | Cada cuánto llega valor a producción | Desplegar más seguido sin calidad empeora las otras dos |
| Tiempo de entrega | Cuánto tarda un cambio desde que se escribe hasta que corre | Apurar sin automatizar rompe la tasa de fallas |
| Tasa de fallas de cambios | Qué proporción de despliegues causa un problema | Bajarla frenando los despliegues empeora las dos primeras |
| Tiempo de recuperación | Cuánto tardás en volver a estar bien después de una falla | Requiere capacidad real de revertir y observar |
Antes de seguir, predecí
Lo que ninguna métrica va a capturar
Las cuatro anteriores miden el sistema de entrega, que es una parte del trabajo. Quedan afuera cosas grandes, y conviene decirlo antes de que alguien las pida en un tablero:
- Si lo que se entregó sirvió. Un equipo puede desplegar diez veces por día cosas que nadie usa. Eso se mide del lado del producto, no del de ingeniería.
- La calidad de las decisiones. Una decisión de arquitectura que evita un problema no deja rastro en ninguna métrica: lo que no pasó no se puede contar.
- El trabajo que sostiene a los demás. Revisar código, acompañar a alguien, escribir el documento que evitó tres discusiones. Es invisible en todas las mediciones automáticas y es buena parte de lo que hace funcionar a un equipo.
Más a fondo · nivel seniorQué llevar cuando te piden «métricas del equipo»
El pedido suele venir de arriba y con buena intención: alguien necesita saber si la inversión en ingeniería rinde. Contestar «eso no se puede medir» es perder la conversación y la oportunidad. Lo que funciona es ofrecer otra cosa, concreta:
Las cuatro de entrega con su tendencia, no su valor absoluto —el número aislado no dice nada, la dirección sí—. Dos o tres resultados del período contados en términos del negocio: qué se puede hacer ahora que antes no. Y el costo de lo que sigue pendiente, en la misma unidad. Encima de eso, una advertencia explícita: que estas métricas describen al equipo como sistema y no sirven para comparar personas ni para comparar equipos con contextos distintos.
Esa última frase conviene decirla antes de entregar el primer informe, no después de que alguien arme un ranking.
Qué pasa cuando la medida se vuelve objetivo
Cuatro métricas que un equipo venía mirando para entenderse a sí mismo. Los números de referencia.
Lo que preguntan sobre esto
Cierre
Autoevaluación
¿Lo entendiste?
Práctica