Soumis par reza le Oct 30

3.2.3.1. Évaluation préalable de la qualité finale du rapport d’évaluation

L’évaluation systématique de la qualité finale du rapport d’évaluation est une activité obligatoire, préalable à l’approbation finale dudit rapport.

L’évaluation de la qualité finale du rapport d’évaluation est une obligation technique de la structure chargée des évaluations au sein de la Commission, à travers le Comité de Pilotage de l’Évaluation (COPILE). Cette disposition est valable tant pour les évaluations externes que pour les évaluations internes indépendantes et les évaluations décentralisées.

Au sein de la Commission, l’appréciation de la qualité globale du rapport final de l’évaluation est faite par le COPILE, sur la base d’une grille indicative de référence axée sur les six (6) principaux critères suivants inspirés de Sow (2019*) :

  • Adéquation globale du rapport avec les Termes de Référence ;
  • Adéquation de la méthodologie et des approches de l’évaluation ;
  • Qualité globale du contenu du rapport d’évaluation (fiabilité des données, solidité de l’analyse, cohérence interne du rapport, etc.) ;
  • Crédibilité des résultats et constatations de l’évaluation ;
  • Qualité globale des conclusions de l’évaluation ;
  • Qualité globale des recommandations de l’évaluation.

La qualité finale du rapport d’évaluation est évaluée sur la base du score moyen pondéré de l’ensemble des critères de qualité. Il s’agit de la somme des moyennes pondérées de chacun des critères de qualité, établies à travers les notes attribuées à leurs poids respectifs, conformément au tableau de synthèse dont le format est le suivant :

Tableau 6 : Grille indicative de synthèse pour l’évaluation de la qualité finale du rapport d’évaluation

Critères de qualité du rapport d’évaluation

Note globale du critère (A)

Note globale attribuée pour le critère (B)

Poids moyen du critère (%) (C)=(B/A)*100

Poids relatif du critère (%) (D)

Score pondéré 
du critère 
(E) = (C)*(D)
Adéquation globale du rapport avec les Termes de Référence (y compris respect canevas indicatif de référence) 10     10%  
Adéquation de la méthodologie et des approches de l’évaluation 30     30%  
Qualité globale du contenu du rapport d’évaluation (cohérence interne et qualité de l’analyse) 15     15%  
Crédibilité des résultats et conclusions de l’évaluation  20     20%  
Qualité globale des conclusions de l’évaluation 10     10%  
Qualité globale des recommandations de l’évaluation 15     15%  
Total 100     100%  

L’approbation du rapport final de l’évaluation est faite par le Commanditaire ou Maître d’Ouvrage (Président, Commissaire ou PTF) ou par leurs délégataires respectifs (Directeur de Cabinet du PCOM ou Directeur de Cabinet du Commissaire), sur la base :

  • des résultats de la validation technique du rapport final de l’évaluation faite par le COPILE (Cf. Canevas en annexe 19) ;
  • de la Note d’approbation du rapport d’évaluation (Cf. Canevas annexe 20). 

Le canevas indicatif de la fiche de validation technique du rapport final de l’évaluation par le COPILE (Cf. annexe 19) est structuré en deux sessions : synthèse de l’évaluation technique du rapport final de l’évaluation (Cf. annexe 19a) et la grille indicative annexe de référence pour l’évaluation multicritère de la qualité globale du rapport d’évaluation (Cf. annexe 19b).

  • Les barèmes de notation des indicateurs ou sous-critères et les modalités pour leur notation devront être préalablement adaptés et finalisés par les évaluateurs (Consultants ou expertises internes) et validées par le COPILE au cours de la phase de démarrage de l’évaluation. 
  • L’appréciation de la qualité globale du rapport d’évaluation est faite à travers le Score Moyen de Qualité (SMQ) pour l’ensemble des six (6) critères et sur la base d’une échelle à quatre gradients ou niveaux, conformément à la grille suivante :
Échelle d’appréciation 
de la qualité globale 
du rapport d’évaluation		 Appréciation 
de la qualité globale du rapport		 Perspective pour le rapport
SMQ ≤ 50% Faible À rejeter
50% < SMQ ≤ 70% Moyenne À améliorer avant dépôt et solde
70% < SMQ ≤ 80% Bonne À déposer pour solde. Recommandable aux tiers
80% < SMQ ≤ 100% Très bonne À déposer pour solde des horaires et frais de mission d’évaluation pour évaluations externes
À citer en exemple et capitaliser

SOW, Moctar (2019), Séminaire de formation régionale de praticiens en évaluation de politiques publiques, Module Évaluation de la qualité globale du rapport d’évaluation, BCEAO et IFE Consult, Bamako, du 25 au 29 novembre. Dans cette communication, le Cabinet IFE Consult présente neuf (9) critères clés : (i) satisfaction des demandes, (ii) pertinence du contenu, (iii) adéquation de la méthode, (iv) fiabilité des données, (v) solidité de l’analyse, (vi) crédibilité des résultats, (vii) valeur des conclusions, (viii) utilité des recommandations et (ix) clarté du rapport.