¿Cómo saber cuáles son las métricas que sí funcionan?

“Confiamos en Dios; todos los demás deben traer datos”.

Esa famosa frase del estadístico William Edwards Deming se ha convertido en un mantra para las compañías impulsadas por los datos porque apunta a la promesa de encontrar respuestas objetivas. Pero en la práctica, interpretar datos es una cuestión embrollada y subjetiva. Haga la misma pregunta a dos científicos de datos y estará sujeto a recibir dos respuestas completamente diferentes, incluso si ambos trabajan con el mismo conjunto de información.

Hasta ahí la objetividad.

¿Pero qué pasaría si el análisis de datos fuera de fuente abierta, con múltiples analistas trabajando en el mismo problema y con los mismos datos? El resultado podría ser una gama de respuestas, en lugar de solo una. Pero también significaría más confianza en que los resultados no están siendo influenciados por los sesgos de un solo analista.

Un documento de investigación dado a conocer a principios de este año indica cómo podría funcionar. Los investigadores hicieron una pregunta de futbol a 61 analistas. Los analistas se dividieron en 29 equipos y se les dio un conjunto de datos que incluyó numerosas variables sobre jugadores y árbitros.

Eventualmente, todos los análisis fueron compartidos con el grupo. De 29 equipos salieron 21 conjuntos de variables diferentes. Distintos equipos también usaron distintos modelos estadísticos. De manera nada sorprendente, llegaron a conclusiones distintas.

De haber sido un solo equipo usando un solo método, hubiera parado en su resultado, declarado una conclusión y cerrado el caso. Pero con 29 resultados ligeramente diferentes, el grupo pudo ver claramente que sus análisis pendían de decisiones de cierta forma subjetivas sobre el mejor modelo a usar y variables a incluir. Los autores sugieren que tomar el resultado medio del rango podría aportar una respuesta menos sesgada.

El mismo enfoque para el análisis podría utilizarse en equipos más chicos. En lugar de trabajar conjuntamente en un proyecto, dos analistas podrían proponer cada uno un método o múltiples métodos, y después comparar notas. Posteriormente, cada uno podría hacer su propio análisis, y comparar resultados. Esto podría llevar a la decisión de confiar en un método sobre otro, por ejemplo, o de promediar los resultados.

“Lo que esto podría ayudar (a hacer) es a identificar puntos ciegos de la gerencia”, dice Raphael Silberzahnm, de la Escuela de Negocios IESE, uno de los iniciadores de la investigación. “Al incluir participación abierta dentro de la compañía, podríamos equilibrar la influencia de distintos grupos”, afirma. Puede estar seguro que los resultados serán interesantes y, gracias a la gente, que tendrán más probabilidad de ser acertados.

  -   Walter Frick es editor asociado en Harvard Business Review.

*bb