Al realizar comparaciones del desempeño mediante análisis de comparación, al equipo de comparación le interesa obtener una medida de la eficiencia relativa de la empresa. Esta información puede ser utilizada para desarrollar los factores X en las regulaciones por precios máximos a efectos de recompensar (o castigar) a las empresas. O bien en aquellos casos en los que el propio regulador es el equipo de comparación, es posible que éste desee publicar las clasificaciones o puntuaciones por eficiencia de modo tal de brindarle información al público y así presionar a los directivos de las empresas de servicios con malos niveles de desempeño a efectos de que mejoren dichos niveles. En ambos casos, la precisión y solidez de los cálculos de ineficiencia resultan de gran importancia dado que pueden generar impactos financieros o sociales significativos. Especialmente, cuando los puntajes o la clasificación estimada por ineficiencia son sensibles al método de comparación, es necesario llevar adelante un análisis detallado para justificar el modelo adoptado. Las pruebas de consistencia mutua se tornan cada vez más comunes.

A pesar de ello, en la mayor parte de los casos no existe un modelo “ideal” entre el conjunto de modelos posibles. Entre los problemas encontramos la especificación del modelo (costos o producción y forma funcional), especificación alternativa de insumos o productos (por ejemplo, largo de la red o activos fijos como insumos), supuestos sobre el términos de error y metodologías alternativas (por ejemplo, DEA o SFA). En función de trabajos de otros, recomendamos tres niveles de pruebas de sensibilidad.

Para verificar la solidez de las clasificaciones por desempeño, los investigadores han comenzado a comparar los resultados obtenidos a partir de diferentes metodologías: se utilizan matrices de correlación o se verifica si los distintos modelos han identificado como más eficiente y menos eficiente al mismo conjunto de empresas de servicios. Claramente, para que los puntajes por eficiencia revistan algún tipo de utilidad como incentivos para los directivos o como elementos de los mecanismos de regulación, es necesario que los interesados confíen en que los puntajes reflejan la realidad y que no se trata meramente de resultados fabricados por la especificación del modelo, elección de la muestra, el tratamiento de valores atípicos u otros pasos del proceso analítico. Por ello, los equipos de comparación realizan pruebas de sensibilidad.

• Nivel 1: Pruebas de sensibilidad de los puntajes por eficiencia. Puede emplearse la matriz de correlación de Pearson para verificar la correlación de los puntajes por eficiencia entre pares de técnicas. Por otra parte, puede utilizarse la prueba no paramétrica de Kruskal-Wallis para probar la hipótesis nula de que diferentes técnicas llevan a la misma distribución de los puntajes por eficiencia.

• Nivel 2: Pruebas de sensibilidad de la clasificación por eficiencia: Aunque los puntajes por eficiencia no sean consistentes entre los distintos métodos, aún es posible que esos enfoques generen clasificaciones similares de las empresas en función de sus puntajes por eficiencia. Una clasificación clara puede ayudar al equipo de comparaciones a determinar el factor X utilizado en la definición de precios para las empresas del sector. En consecuencia, puede utilizarse la matriz no paramétrica de correlación de clasificación de Spearman para verificar la correlación de las clasificaciones entre pares de técnicas.

• Nivel 3: Pruebas de sensibilidad de la clasificación por eficiencia: Cuando no se obtuvo consistencia en el nivel y las clasificaciones por eficiencia, de todos modos es posible que estos criterios permitan identificar a las empresas con mejor y peor desempeño, lo cual puede resultar particularmente útil para recompensar a las de mejor desempeño y castigar a las de peor nivel. El equipo de comparaciones puede comparar las clasificaciones obtenidas mediante las distintas técnicas y resumir la tasa coincidente de la identificación de las empresas con mejor y peor desempeño.

Una vez realizados los tres niveles de pruebas, el equipo de comparaciones debería contar con una idea bastante clara de la coherencia de los distintos métodos. Si los resultados se aproximan, podemos calcular la media geométrica de los puntajes por eficiencia correspondientes a cada empresa, de modo tal de obtener una medida “integral” de la eficiencia. Si existen variaciones sustanciales en los tres niveles de pruebas, se considerará que las conclusiones no son determinantes y será necesario llevar adelante un análisis más detallado a efectos de explorar los problemas que presentan los modelos adoptados.

Si los resultados pasan las pruebas de sensibilidad, el equipo de comparaciones puede comenzar a analizar los puntajes y las clasificaciones y explorar los posibles factores determinantes de ineficiencias entre las empresas y a lo largo del tiempo. Las empresas de servicios pueden dividirse en distintos grupos en función de diversos factores tales como regiones, densidad de la población, entorno regulatorio, estructura de propiedad y antigüedad, de modo tal de comparar los puntajes por eficiencia. También pueden aplicarse las regresiones de segunda etapa (OLS o Tobit) en las que se utiliza el puntaje por eficiencia como variable dependiente para probar los efectos parciales de estos factores sobre la eficiencia de la empresa. Las empresas no deberían ser clasificadas como empresas con mal desempeño en aquellos casos en que operan en condiciones distintas de las correspondientes a las demás empresas. Como se señaló anteriormente, la densidad, topología geográfica, distancia a las fuentes de agua cruda y restricciones políticas sobre los precios (que afectan la sustentabilidad financiera de las operaciones) afectan el desempeño relativo.