Quand l’équipe de benchmarking entreprend des comparaisons de performance au moyen des analyses de benchmarking, elle cherche à obtenir une mesure de l’efficience relative des compagnies. Cette information peut être utilisée pour développer des facteurs X dans le cadre de la réglementation fondée sur le plafonnement des prix, pour récompenser (ou sanctionner) les compagnies. Ou bien, lorsque l’équipe benchmarking est l’autorité de régulation, celle-ci peut vouloir publier les classements ou notes d’efficience afin de diffuser l’information auprès du public, exerçant ainsi une pression sur les managers des compagnies qui ont de faibles performances pour qu’ils améliorent celles-ci. Dans les deux cas, la précision et la robustesse des estimations d’inefficience sont très importantes, car elles peuvent avoir un impact significatif sur le plan social ou financier. En particulier, si les notes ou classements d’inefficience estimés sont sensibles à la méthode de benchmarking choisie, une analyse plus détaillée sera nécessaire afin de justifier le modèle adopté. De plus en plus, la norme est d’effectuer des tests de cohérence mutuelle.
Néanmoins, dans la plupart des cas, il n’existe pas de modèle « idéal » parmi l’ensemble des modèles potentiels. Les problématiques concernent la spécification du modèle (coût ou bien production et forme fonctionnelle), spécification alternative d’intrants ou de résultat (par exemple, utilisation comme intrant de la longueur du réseau de distribution d’eau ou bien des actifs immobilisés), adoption d’hypothèses sur les termes d’erreurs et les méthodologies alternatives (par exemple, AED – Analyse d’Enveloppement de Données – ou AFS – Analyse de Frontière Stochastique). Reprenant en cela le résultat de travaux effectués par d’autres, nous suggérons trois tests de sensibilité.
Afin de vérifier la robustesse des classements de performance, les chercheurs ont commencé à comparer les résultats des différentes méthodologies : en utilisant des matrices de corrélation ou en vérifiant si différents modèles identifiaient les mêmes ensembles de compagnies comme étant les plus efficaces et les moins efficaces. Évidemment, pour que les notes d’efficience aient la moindre utilité dans l’incitation des managers ou en tant qu’éléments de mécanismes réglementaires, les parties prenantes doivent avoir confiance dans le fait que les notes reflètent la réalité et qu’elles ne sont pas de simples artifices de spécification de modèle, de sélection de l’échantillon, du traitement des valeurs aberrantes ou d’autres étapes du processus d’analyse. C’est pourquoi les équipes de benchmarking effectuent des tests de sensibilité.
Trois niveaux de tests de sensibilité :
- Niveau 1: tests de sensibilité des notes d’efficience: la matrice de corrélations de Pearson peut être utilisée afin de vérifier la corrélation des notes d’efficience entre des paires de techniques. De plus, le test non-paramétrique de Kruskal-Wallis peut être utilisé pour tester l’hypothèse nulle selon laquelle des techniques différentes génèrent la même distribution de notes d’efficience.
- Niveau 2: tests de sensibilité des classements d’efficience: si les notes d’efficience ne sont pas cohérentes entre méthodes différentes, il est néanmoins possible que ces approches entraînent des classements similaires de compagnies par notes d’efficience. Un classement clair peut aider l’équipe de benchmarking à déterminer le facteur X à utiliser pour l’établissement des prix des compagnies du secteur. Par conséquence, la matrice non-paramétrique Spearman de corrélation des classements peut être utilisée pour vérifier la corrélation des classements entre des paires de techniques.
- Niveau 3: tests de sensibilité des classements d’efficience: si la cohérence du niveau d’efficience et des classements n’est pas réalisée, il est toujours possible que ces approches puissent permettre d’identifier les compagnies les plus et les moins performantes, ce qui peut être particulièrement utile pour récompenser les compagnies les plus performantes et punir les moins performantes. L’équipe de benchmarking peut comparer les classements obtenus selon les différentes techniques et synthétiser le taux de chevauchement d’identification des compagnies les plus et les moins performantes.
Après avoir effectué les trois niveaux de tests, l’équipe de benchmarking devrait avoir une bonne maîtrise de la cohérence entre les différentes méthodes. Si les résultats sont proches, on peut calculer la moyenne géométrique des notes d’efficience pour chaque société afin d’obtenir une mesure « complète » de l’efficience. S’il existe une variance substantielle à chacun des trois niveaux de tests, les résultats seront considérés comme peu concluants ; dans ce cas une analyse plus détaillée sera nécessaire afin d’examiner les problèmes qui se posent avec les modèles adoptés.
Si les résultats satisfont les tests de sensibilité, l’équipe de benchmarking peut commencer à analyser les notes et classements et examiner les déterminants potentiels des inefficiences entre compagnies et au fil du temps. Les compagnies peuvent être réparties en différents groupes, selon divers facteurs tels que la région, la densité de population, le contexte réglementaire, la structure de l’actionnariat et l’année, afin de comparer les notes d’efficience. Les régressions de deuxième étape (MCO ou Tobit), avec la note d’efficience comme variable dépendante, peuvent aussi être utilisées pour tester les effets partiels de ces facteurs externes sur l’efficience de la compagnie. Il ne faut pas classer des compagnies comme faiblement performantes si elles opèrent dans des conditions différentes de celles des autres compagnies. Comme indiqué précédemment, la densité, la topologie géographique, l’éloignement des sources d’eau brutes et les contraintes politiques sur les prix (qui affectent la viabilité financière des opérations) ont un effet sur la performance relative.
