Métricas DORA: lo que miden realmente y lo que no te dicen
Una Engineering Manager responsable de cinco equipos de producto recibe un encargo de dirección: adoptar las métricas DORA y llevar a la próxima revisión trimestral un objetivo por equipo. El encargo tiene una forma concreta. Dirección quiere un número por equipo que pueda subir o bajar, comparable entre trimestres y defendible ante el comité.
Ella tiene acceso al pipeline de CI/CD y al sistema de incidentes, así que calcular las cuatro métricas es cuestión de días. Son la frecuencia de despliegue, el lead time de cambios, la tasa de fallo de cambios y el tiempo de restauración del servicio. La decisión que tiene delante es otra: qué hacer con esos números una vez calculados. Puede convertirlos en objetivos por equipo o usarlos como instrumento de diagnóstico sin metas asociadas. Los equipos ya vivieron una métrica de velocidad que terminó usándose para comparar personas, y miran el anuncio con desconfianza.
Dos lecturas defendibles del mismo dashboard
La primera opción es fijar objetivos, y tiene argumentos serios. Una métrica sin meta se convierte en decoración, porque nadie reorganiza su trabajo para mover un número que a nadie le importa. La investigación detrás de DORA ofrece además bandas de referencia (élite, alto, medio, bajo), de modo que la manager no tendría que inventar los umbrales. Andrew Grove sostenía en High Output Management que un indicador solo sirve si está enfocado en un objetivo operativo específico. Desde esta lectura, medir sin perseguir nada equivale a mirar un tablero por curiosidad.
La segunda opción es diagnosticar sin metas, y también se sostiene. En cuanto un número se convierte en objetivo, las personas que lo producen aprenden a producir el número. Los equipos que ya pasaron por eso lo saben, y su desconfianza contiene información sobre lo que va a ocurrir. Desde esta lectura, publicar las métricas como espejo permite que cada equipo vea su propio sistema sin el incentivo de maquillarlo.
Las dos opciones fallan en algún escenario. Si la manager elige la primera, puede obtener cuatro curvas que mejoran mientras el sistema empeora. Si elige la segunda, puede obtener un dashboard que nadie abre y una dirección convencida de que ingeniería se resiste a rendir cuentas. Para decidir con algo más que intuición, hay que preguntarse primero qué saben realmente estas métricas.
Qué descubrió Accelerate y qué no podía descubrir
La primera pregunta parece académica: ¿qué tipo de conocimiento produjo la investigación que dio origen a DORA?
Nicole Forsgren, Jez Humble y Gene Kim reconstruyen en Accelerate varios años de encuestas a miles de profesionales de tecnología. Encontraron que estas cuatro medidas se agrupan de forma consistente y que las organizaciones con mejores valores en ellas tendían a reportar mejores resultados de negocio. El hallazgo es sólido. Su forma también importa: proviene de encuestas que observan muchas organizaciones en un momento dado y detectan qué variables se mueven juntas. Esas encuestas no son experimentos donde alguien interviene sobre un sistema y observa qué cambia.
Los propios autores lo advierten en el libro: todas las medidas son sustitutos. Representan una idea, en este caso el rendimiento de la entrega de software, que no se puede observar directamente. El tiempo de respuesta sustituye al rendimiento de un servidor de la misma manera que la frecuencia de despliegue sustituye a la capacidad de un equipo para llevar cambios a producción con poco riesgo.
Fíjate en lo que esto implica para la manager. La correlación se observó entre poblaciones de organizaciones que llegaron a esos valores por sus propios caminos: arquitectura desacoplada, tests automatizados, equipos con autonomía para desplegar. Nadie observó qué ocurre cuando una organización persigue esos valores directamente. Esa situación es la que ella está a punto de crear, y la investigación no contiene datos sobre ella.
Cuando el termómetro se convierte en objetivo
La segunda pregunta se apoya en la primera. Si la manager fija una meta de frecuencia de despliegue, ¿qué cambia primero, el sistema o la métrica?
Piensa en el camino más barato hacia cada número. La frecuencia de despliegue sube si los equipos parten un cambio en cinco pull requests sin que el cambio sea más pequeño en riesgo. La tasa de fallo baja si un incidente se reclasifica como "degradación menor" en lugar de "fallo de cambio". El tiempo de restauración cae si los incidentes se cierran cuando la alerta se apaga, aunque la causa siga ahí. Ninguna de estas conductas requiere mala fe. Basta con que alguien, bajo presión de fin de trimestre, elija la interpretación más favorable de una regla ambigua.
Donella Meadows describe esta trampa en Thinking in Systems: un sistema produce con exactitud aquello que su objetivo declarado mide, y si la medida diverge del propósito real, el sistema persigue la medida con toda su energía. La manager piensa que está dando una dirección al sistema, y lo que hace en realidad es reemplazar su propósito por un sustituto.
Hay un efecto más lento y más difícil de ver. John Ousterhout explica en A Philosophy of Software Design que la complejidad de un sistema rara vez llega en una decisión grande. Se acumula en cientos de cambios tácticos, cada uno razonable por separado, que priorizan terminar rápido sobre dejar un diseño más simple. Una meta de lead time recompensa exactamente esa programación táctica. Durante uno o dos trimestres, las cuatro métricas mejoran. La complejidad añadida aparece después, cuando cada cambio empieza a tocar más módulos de los esperados y el lead time sube sin que nadie sepa explicar por qué.
Las cuatro métricas no tienen ningún indicador para esa deuda hasta que ya es tarde.
Lo que las cuatro curvas no pueden ver
Esto lleva a la tercera pregunta: si las métricas pueden mejorar mientras el sistema empeora, ¿qué queda fuera de su campo de visión?
Queda fuera la cola de la distribución. La tasa de fallo y el tiempo de restauración describen bien los incidentes frecuentes y mal los raros. Un equipo puede pasar varios trimestres con valores de banda élite y luego sufrir el incidente que deja un servicio caído durante días, porque el modo de fallo que lo produjo nunca había ocurrido antes. Nassim Taleb dedica The Black Swan a este error: inferir la seguridad de un sistema a partir de la ausencia de eventos extremos en la muestra observada. Un promedio de tiempo de restauración no contiene información sobre el evento que todavía no ocurrió.
Queda fuera también lo que nunca llegó a producción. El trabajo de un ingeniero que detecta en revisión un cambio peligroso y lo detiene no aparece en ninguna de las cuatro curvas, salvo como un despliegue menos. Desde la métrica, el trabajo que evita fallos se parece al trabajo lento.
Y queda fuera el valor. Desplegar veinte veces al día una funcionalidad que nadie usa produce una frecuencia excelente.
Quién sabe por qué se movió el número
La cuarta pregunta es la que resuelve el caso. Supón que el lead time de un equipo empeora durante un mes. ¿Quién sabe por qué?
La manager no lo sabe. Ve la curva, pero la causa puede ser un servicio compartido que se volvió lento de testear, una persona del equipo de baja, una migración de base de datos que bloqueó despliegues o una decisión deliberada de agrupar cambios antes de un lanzamiento. Ese conocimiento está repartido entre las personas que trabajan en el sistema todos los días. Y cada una tiene una pieza distinta.
Eric Ries observa en The Lean Startup, a propósito de las métricas de producto, que cuando un número sube cada grupo atribuye la mejora a lo que estaba haciendo en ese momento. Averiguar la causa real cuesta, y los managers acaban decidiendo por intuición. Una meta sobre DORA cierra justamente esa conversación: si el número sube, se celebra; si baja, se presiona. En ningún caso alguien pregunta qué cambió en el sistema.
Ya tienes lo que hace falta para ver la salida. Las métricas son valiosas como señal que dispara una pregunta dirigida a quien conoce la respuesta. Grove señalaba que comparar una tendencia con un estándar obliga a pensar por qué los resultados fueron los que fueron. El valor está en ese "por qué". Si a la curva le cuelgas una meta, el "por qué" desaparece de la conversación.
Lo que la manager lleva al comité
Con la cadena completa, la decisión deja de ser una elección entre metas o ausencia de metas. La manager puede responder a dirección con algo más preciso que cualquiera de las dos opciones iniciales.
Las cuatro métricas se publican como tendencias por equipo, sin objetivo numérico, y cada equipo las revisa en su propia cadencia. Cuando una curva se mueve, el equipo formula una hipótesis sobre la restricción que lo explica. Puede ser el tiempo de ejecución de la suite de tests, el acoplamiento con otro servicio o un proceso de aprobación manual. Lo que el equipo se compromete a mejorar es esa restricción concreta, elegida por quien la conoce. Las métricas DORA sirven después para confirmar o refutar si la intervención funcionó, y la hipótesis se revisa si no funcionó.
Dirección recibe lo que pedía en el fondo: compromisos verificables y una forma de ver progreso. Lo que pierde es la ilusión de que un número trimestral puede sustituir al conocimiento del equipo. Para el cálculo inicial, la calculadora de métricas DORA de la membresía permite obtener las cuatro tendencias a partir de datos de pipeline e incidentes sin construir un dashboard desde cero. La decisión sobre qué hacer con ellas sigue siendo del equipo.
Correlaciones que pierden información al acercarse
La lección generaliza a cualquier medida que se validó observando muchas organizaciones. Una correlación entre poblaciones sirve para comparar y para hacer preguntas sobre dónde estás. Pierde información a medida que la usas para dirigir un sistema concreto, porque las causas que producían el número en la población no son necesariamente las tuyas, y porque el acto de perseguir el número introduce caminos hacia él que la población nunca tomó. Cuanto más cerca de un sistema específico está la decisión, menos te dice el estudio y más depende de lo que saben las personas que operan ese sistema.
Un ejercicio para esta semana. Toma cada una de las cuatro métricas y escribe con tu equipo cómo podríais mejorarla sin mejorar nada real. Esa lista enumera los riesgos de fijar metas, y también indica qué otras señales tendrías que mirar junto a cada curva para saber si te está diciendo la verdad.
Cada semana analizo un problema real de liderazgo técnico. Con el mismo nivel de profundidad.