Quelle évaluation pour la Francophonie ? Une première critique de Francométrie

DOI : 10.35562/rif.806

Résumés

L’évaluation des politiques publiques est souvent pensée comme le moyen de renforcer le contrôle du Politique sur des opérateurs mandatés pour assurer des services d’intérêt public. Quoique dominante, l’évaluation mandataire n’est pas adaptée à la Francophonie. Tel n’est pas le cas de l’évaluation communautaire. Cet article en explicite d’abord les fondements théoriques. Il propose ensuite une première critique de Francométrie, un outil d’évaluation communautaire à destination des membres de l’Organisation Internationale de la Francophonie (OIF), prototypé début 2018 par l’Institut International pour la Francophonie (2IF).

The public policies assessment is conceived as a type of operation control evaluating if the agents implement the plan designed by the governments. This principal-agent assessment is not relevant to evaluate Francophonie, which is a value-based international entity; the communitarian assessment is more suitable. This paper illustrates this type of assessment by analyzing a communitarian evaluation tool, called Francometrie, prototyped in 2018 by the ‘Institut International pour la Francophonie’.

Index

Mots-clés

Évaluation, Évaluation des Politiques Publiques, Francophonie, Francométrie, Nouveau Management Public, Performance.

Keywords

Assessment, Francophonie, Francometrie, New Public Management, Performance, Public Policies Assessment.

Plan

Texte

L’auteur remercie chaleureusement Olivier Garro et toute l’équipe en charge du développement de Francométrie pour les données transmises dès juillet 2018, ainsi que les deux évaluateurs de l’article pour la pertinence et le caractère constructif de leurs critiques.

Au cours des années 1980, désirant accroître l’efficience des services publics, les promoteurs du nouveau management public (NMP) mirent en exergue l’évaluation des politiques publiques (EPP) (Perret, 2001 ; Bezes, 2005 ; Gori et Del Volgo, 2009 ; Bezes et al., 2016). L’opération rencontra un réel succès, l’EPP étant désormais le « thème obligé de tout discours réformateur » (Perret, 2008). Le NMP s’appuie sur une EPP spécifique, qualifiée dans cet article de mandataire. Pour les promoteurs de l’EPP mandataire (EPPM), ce contrat qu’est le mandat est au fondement de toute démocratie moderne. Un premier mandat, électif, lie les électeurs au pouvoir politique choisi pour mettre en œuvre le programme détaillé, chiffré, promis. Un second mandat, opérationnel ou d’exécution, lui succède. Ce contrat est passé entre le Politique mandant (mandant, principal en anglais) et des opérateurs mandataires (agents), publics ou privés, lucratifs ou non, soumis à une stricte obligation de « reddition des comptes » (Joannidès et Jaumier, 2013) ou « redevabilité » (Bezes, 2005 ; Bezes et al., 2016). L’EPPM se focalise sur ce dernier mandat.

Malgré sa cohérence conceptuelle, l’EPPM a fait l’objet de nombreuses critiques (Deleau et al., 1986 ; Perret, 2008 ; Gori et Del Volgo, 2009 ; Bezes et al., 2016). À notre connaissance, toutes concernent sa mise en œuvre au niveau national (CAE, 2013). Mentionner l’EPPM dans le cas d’institutions internationales suscitera bien des doutes. Leur existence ne repose pas sur des mandats électifs ou d’exécution, mais sur la volonté d’états de coopérer. Vouloir intégrer l’EPP dans une « communauté organique » (Senghor, 1993, 133-144) comme la Francophonie fera même dresser bien des oreilles. Ses principes, tels qu’affirmés par Léopold Sedar Senghor (1906-2001) et repris par la Charte de la Francophonie (OIF, 2005), ne sont-ils caractérisés par des catégories complètement étrangères à l’évaluation (Garro, 2018) ? Comment un spécialiste de l’EPPM pourrait-il prendre en considération ces idées clefs de la Francophonie que sont la contingence historique (la place du français dans le monde due à l’histoire coloniale de la France), les valeurs culturelles humanistes ou encore le dialogue ?

Si les termes de la Francophonie n’ont rien à voir avec l’EPPM, faut-il pour autant bouter l’évaluation hors de cette institution ? La réponse dépend de notre conceptualisation de l’évaluation. On peut admettre que la « démarche évaluative » (Deleau et al., 1986) prend des formes variées, l’EPPM n’étant qu’une variante parmi d’autres. De la sorte, une EPP adaptée au contexte francophone peut être pensée et pratiquée. Fort de ce postulat, nous ébaucherons dans cet article un cadre conceptuel utile à cet effet. Ce référentiel précisera ce qu’est l’évaluation communautaire, une variante de l’EPP susceptible d’intéresser les acteurs de la Francophonie. Pour illustrer ce cadre, nous nous appuierons sur l’exemple d’un outil d’évaluation communautaire, « Francométrie » (Garro, 2018), prototypé au premier semestre 2018 par l’Institut International pour la Francophonie (2IF). Francométrie regroupe différents indicateurs de l’engagement francophone des membres de l’Organisation Internationale de la Francophonie (OIF).

Cet article sera structuré comme suit. La première section proposera une brève histoire de l’évaluation des performances ; elle montrera que ces termes n’ont pas attendu le NMP et l’EPPM pour être utilisés ou définis. Sera ensuite présentée cette forme d’évaluation servant aujourd’hui de référence à toute EPP. L’EPPM ayant des limites, la troisième section esquissera un cadre conceptuel de l’EPP se voulant le plus large possible. Ce référentiel permettra d’appréhender la fonction de l’évaluation, son contexte et sa procédure typiques. L’ensemble sera décliné dans deux cas différents, à savoir celui de l’EPPM et celui de l’évaluation communautaire. Une fois le cadre conceptuel posé, la quatrième section présentera Francométrie en suivant les pas de ses concepteurs, avant de critiquer cet outil avec les éléments apportés en troisième section.

I. Une brève histoire de l’évaluation

Selon une croyance bien établie, l’évaluation viendrait de l’univers de l’entreprise et serait récente en matière publique ou politique. Rien n’est plus faux. Dans leur volonté rationaliste systématique, les ingénieurs économistes français du dix-neuvième siècle avaient déjà conceptualisé et mis en œuvre une EPP fondée sur une estimation des coûts et des bénéfices de décisions étatiques prises en matière d’infrastructures (Perret, 2001 ; Erkel-Rousse, 2014 ; Wasmer, 2014 ; Bezes et al., 2016).

L’évaluation de performance associe deux termes d’un usage antérieur à l’avènement du NMP et de l’EPPM. Le premier, déjà présent la littérature française du dix-neuvième siècle, renvoie à l’appréciation (Gori et Del Volgo, 2009), au jugement d’une qualité, d’une quantité, d’une valeur, etc., d’une personne ou d’une chose. Le second mot vient de to perform, un verbe anglais aux acceptions multiples signifiant : faire, réaliser, montrer, réussir, surmonter une épreuve, etc. (Jacot, 1990). Malgré l’ancienneté de ces deux mots, notre façon de penser l’évaluation de performance s’appuie, il est vrai, sur deux concepts physiques et mathématiques assez récents. Le premier, qui date des années 1920-1930, est celui d’information. Le second, celui de contrôle, a été élaboré dans les années 1940 par Norbert Wiener (1894-1964), le père de la « cybernétique » (Wiener, 1948).

Dans les années 1950, des théoriciens du management procédèrent à un transfert conceptuel majeur ; ils reprirent les catégories d’information et de contrôle pour expliquer et rationaliser la prise de décision dans les grandes entreprises (Drucker, 1954). En leur sein, il conviendrait de mettre en œuvre un « contrôle d’organisation » (Bouquin et Kuszla, 2014) dit hiérarchique. Dans ce schéma de contrôle, que les ingénieurs utilisèrent par ailleurs pour architecturer des objets techniques complexes en cours de développement au cours de la décennie 1950 (automates, équipements électroniques, etc.), un niveau de décision donné envoie une consigne au niveau subordonné, qui rend compte plus tard des résultats obtenus. Comme il est suivi d’effets, ce retour d’information permet une boucle de rétroaction (Wiener, 1948) entre le niveau contrôleur et le niveau contrôlé.

Les théoriciens du contrôle d’organisation ajoutèrent un point intéressant, relatif au contenu des informations circulant entre les niveaux de décision. Ils réutilisèrent les qualificatifs caractérisant la ligne de commandement militaire et affirmèrent que dans toute organisation, il y a trois niveaux de décision : stratégique (définition des objectifs), tactique (conception et dimensionnement des moyens) et opérationnel (engagement des moyens) (Bouquin et Kuszla, 2014). La formulation stratégique précède et contraint la tactique, qui procède de même à l’égard du niveau opérationnel. Tout schéma de contrôle hiérarchique suppose donc le respect de cet ordre logique et chronologique. Un autre domaine, plus étonnant de prime abord, reprit ce schéma : il s’agit des sciences de l’éducation (Wanlin, 2009).

Des pédagogues comme Ralph Tyler (1902-1994) (Scriven, 1967) décrivirent et prescrivirent l’organisation du travail de l’enseignant à l’aide d’un « modèle curriculaire » (Wanlin, 2009) dans lequel celui-ci (1) définit les objectifs pédagogiques, (2) choisit les activités éducatives les plus cohérentes avec ces objectifs, (3) supervise le déroulement de ces activités et (4) mesure les résultats éducatifs obtenus (Scriven, 1967 ; Wanlin, 2009). À l’issue de la quatrième étape, l’enseignant procède à un test. Ce test permet d’initier une boucle de rétroaction, à savoir, selon les cas : une redéfinition de la tactique pédagogique (bouclage vers les étapes 2 et 3), voire de la stratégie (bouclage vers la première étape) (Jacot, 1990). Il apparaît clairement que la première étape de cette séquence a un contenu stratégique ; la deuxième : tactique, et la troisième : opérationnel. Il est tout aussi clair que la forme d’évaluation pédagogique sous-jacente aux travaux de Tyler est l’évaluation formative. Il ne s’agit pas de sélectionner, de trier, d’exclure l’élève, le collégien ou le lycéen aux résultats insuffisants (étape 4, qui correspond à une évaluation sommative), mais de guider son apprentissage suite à leur mesure.

L’EPPM décline à sa façon le schéma de contrôle hiérarchique logique. À deux différences près par rapport à ce qui a été exposé ci-dessus. La transaction étudiée n’est pas l’ordre liant le hiérarchique à son subordonné ou l’interaction didactique entre l’enseignant et l’apprenant, mais le mandat (Bureau et Mougeot, 2007). Pour être plus précis, l’EPPM se focalise sur le mandat opérationnel (ou d’exécution) passé entre le politique (mandant) et l’opérateur mandataire en charge de réaliser les actions, les projets, les services, les infrastructures, etc., concrétisant ce programme. Secondement, l’EPPM ne couvre pas toute la séquence de Tyler. Le mandant se focalise sur la première étape (évaluation ex ante), la quatrième étape et le test aval (évaluation ex post). Le mandataire se préoccupe des étapes intermédiaires, d’ordre tactique et opérationnelle (Jacot, 2007). Malgré ces restrictions, l’EPPM repose sur un cadre bien pensé, qui en fait désormais une référence en matière d’évaluation. À ce titre, il convient de le détailler avant de proposer toute alternative.

II. L’EPPM, une référence obligée

II.1. Une évaluation au service de l’État néolibéral

L’EPPM n’est pas un atome errant dans le vide, c’est une composante d’une doctrine politique souvent qualifiée de néolibérale par les auteurs critiques (Gori et Del Volgo, 2009). Selon nous, ce remontant aux années trente (Audier, 2012) mérite attention. Le préfixe "néo" n’est pas synonyme de « rétro » ; il peut dénoter le fait que les contours de l’État minimal préconisé par les pères du libéralisme économique change au gré des circonstances historiques. À l’époque qui est la nôtre, l’avatar de cet État n’assure plus de lui-même les seules fonctions jugées régaliennes par nature (défense, justice), il peut intervenir dans bien d’autres domaines, économiques, sociaux, éducatifs, culturels, sanitaires, etc. Toutefois, il ne peut le faire qu’à une condition : en se comportant non en opérateur, mais en stratège et en acheteur avisé.

Ce qui rend légitime l’État néolibéral, ce ne sont plus des valeurs transcendantes ou un projet de transformation sociale, mais la capacité de cette organisation banalisée à employer les deniers publics au mieux et de façon transparente (Sauvé, 2018). Cet avatar étatique doit copier les pratiques d’entreprises qui jadis intégrées se recentrent sur leur cœur de métier, sur les décisions stratégiques, et externalisent toute fonction opérationnelle jugée non-critique. Comme toute entreprise, il joue à l’interface entre deux marchés.

L’État néolibéral est à l’interface de deux marchés. En amont, on trouve le marché électoral contraignant les choix des politiques. En aval, il y a le marché des prestataires sur lequel l’État agit comme un acheteur parmi d’autres. Il lui incombe de choisir l’opérateur le plus performant. Tout opérateur sélectionné se voit allouer des moyens fléchés sur une période donnée. En contrepartie, ce mandataire est soumis à une stricte redevabilité vis-à-vis du mandant (Bezes, 2005 ; Bezes et al., 2016). Différentes obligations en dérivent. L’une d’elles consiste, pour le mandataire, à mettre en œuvre un « système de mesure de la performance » (SMP) (Nudurupati et al., 2011) comprenant les indicateurs de performance à la fois cohérents avec les clauses contractuelles et utiles à la reddition des comptes. De plus, idéalement pour le mandant, la période de redevabilité est la plus courte possible. L’élévation de la fréquence des redditions de compte est supposée prévenir tout risque d’opportunisme de la part du mandataire. Les dérives de performance sont détectées au plus tôt, si bien que le mandant peut sanctionner l’opérateur avant que les choses empirent.

Un troisième acteur intervient dans le schéma de contrôle à la base de l’EPPM, à savoir l’évaluateur indépendant. On se trouve alors dans un contexte évaluatif reposant sur une tripartition des rôles, avec le mandant, l’opérateur mandataire et l’évaluateur indépendant (Deleau et al., 1986). Qu’il soit conseil, haut conseil, comité, office, juridiction comptable, corps d’inspection, « auditeur » (Malsch et Morin, 2017), consultant, institut, laboratoire de recherche, etc. (Perret, 2001 ; CAE, 2013), celui-ci apprécie la performance effective de l’opérateur. Pour réaliser cette évaluation ex post, l’évaluateur indépendant recourt à plusieurs outils (Deleau et al., 1986 ; Perret, 2001 ; Bezes, 2005 ; Perret, 2008 ; CAE, 2013 ; Erkel-Rousse, 2014 ; Wasmer, 2014 ; Bezes et al., 2016). Il audite les pratiques des opérateurs (Perret, 2008), les compare avec celles d’un parangon (Bezes et al., 2016) ; il mesure et balance les coûts et les bénéfices de leurs actions (Erkel-Rousse, 2014) ; il compare leurs effets sur des échantillons d’usagers distincts, à la manière dont procèdent les essais cliniques (CAE, 2013 ; Wasmer, 2014), etc.

II.2. Performances attendues du mandataire

Au-delà de la redevabilité, quelle est la performance attendue du mandataire ? Selon nous, celle-ci se décompose en au moins huit concepts de performance, ou « évaluants » (Micaëlli, Fougères, 2007), formant les sommets d’un « octogone magique » (Figure 1). Ces évaluants sont les suivants : (1) la redevabilité (le mandataire sait rendre des comptes au mandant), (2) la conformité (le mandataire agit en respectant les règles préétablies, notamment en matière de procédures) (Perret, 2008), (3) l’efficacité (il satisfait aux exigences contractualisées) (Erkel-Rousse, 2014), (4) l’efficience (il utilise au mieux les moyens alloués) (Jacot, 1990 ; CAE, 2013), (5) la capacité (d’un point de vue qualitatif et quantitatif, l’opérateur dispose des moyens requis), (6) la qualité (l’usager est satisfait des prestations assurées par le mandataire), (7) le prix (le prix de la prestation est acceptable pour les parties) et (8) la variabilité des coûts (les coûts fixes sont réduits). La variabilité du coût permet au mandant d’être agile ; il peut ajuster les moyens alloués au cours du temps ou arrêter facilement la prestation si celle-ci n’est plus jugée pertinente. L’État néolibéral se comporte, là encore, comme une entreprise pratiquant l’externalisation systémique.

Les évaluants listés au paragraphe précédent relèvent de plusieurs « perspectives » (Kaplan et Norton, 1991) ou « dimensions » (Jacot, Micaëlli, 1996a) performantielles. Les trois premiers évaluants appartiennent à la dimension déontique : ils concernent les obligations afférentes au mandat d’exécution. La capacité et l’efficience renvoient à la « dimension productive » de l’activité de l’opérateur (Jacot, Micaëlli, 1996a) ; ce sont les évaluants les plus utilisés en matière de performance industrielle (Jacot, 1990 ; Jacot, Micaëlli, 1996a). Les trois derniers évaluants renvoient à la « dimension marchande » de la performance (Jacot, 1990 ; Jacot, Micaëlli, 1996a). Ou quasi-marchande, puisque le plus souvent l’usager ne paie pas le service public rendu à son coût de production.

Les évaluants de « l’octogone magique » sont interdépendants. D’où les liens affichés en figure 1. Ainsi, il faut être capable pour être efficace. Ou ce qui revient au même : la capacité contribue à l’efficacité. Les liens entre évaluants sont aussi contradictoires : on peut être conforme ou offrir un service de qualité sans être efficient. De la sorte, toute évaluation d’une performance globale se fonde nécessairement sur un équilibre non-trivial entre des évaluants renvoyant à des dimensions performantielles différentes (Micaëlli, Fougères, 2007).

Figure 1. « Octogone magique » de la performance de l’opérateur mandataire

Figure 1. « Octogone magique » de la performance de l’opérateur mandataire

L’EPPM repose sur un cadre conceptuel parcimonieux. Celui-ci est composé d’une seule transaction : le mandat, de trois acteurs (le politique mandant, l’opérateur mandataire, l’évaluateur indépendant) et de huit évaluants couvrant différentes dimensions performantielles (déontique, productive, marchande). Le NMP et l’EPPM se diffusant à l’échelle mondiale, le Politique désirant les mettre en œuvre peut en outre s’appuyer sur des compétences, des outils, des méthodes, etc., standardisés (Perret, 2008 ; CAE, 2013 ; Bezes et al., 2016).

Toutefois, malgré ses réelles qualités analytiques, l’EPPM a fait l’objet de nombreuses critiques, surtout pour ce qui concerne sa mise en œuvre au niveau national. Sans prétendre à l’exhaustivité, au moins deux types de critiques de l’EPPM retiendront notre attention.

II.3. Critiques politiques et comportementales

Pour les critiques politiques, l’EPPM n’apporte rien de neuf dans la nature, dans l’essence du pouvoir politique. Ces critiques se subdivisent en au moins deux classes. Pour les critiques foucaldiennes, l’EPPM est une « idéologie » (Gori, Del Volgo, 2009 ; Vidaillet, 2013) récente, servant de « paravent » (Zarka, 2009) à la coercition, voire au harcèlement (De Gaujelac, 2005), qu’exerce le pouvoir sur un évalué sommé d’intérioriser une norme de performance externe maximaliste et anxiogène (produire de plus en plus avec de moins en moins) (Gori et Del Volgo, 2009). Avec l’EPPM, le pouvoir politique s’exerce non de façon ouverte ou immédiate, mais en se cachant derrière des indicateurs dont le caractère supposé objectif empêche l’évalué de procéder à toute remise en cause des buts sous-jacents (De Gaujelac, 2005 ; Gori, Del Volgo, 2009). Pour oser un mauvais jeu de mots, avec l’EPPM, les faits comptables se substituent aux faits du Prince.

Pour d’autres critiques politiques, l’EPPM aura toujours un caractère marginal ou anecdotique (Perret, 2008). Pourquoi ? Parce que le Politique n’est pas un manager, et les citoyens ne sont les membres sourcilleux d’un conseil d’administration d’un groupe côté en bourse. Par essence, le Politique repose sur la volonté ; il fuit l’entrave. De la sorte, c’est lui seul, souverainement, qui décide quelles seront les politiques soumises à évaluation (de minimis curat evaluator). Ce trait de caractère est renforcé dans les régimes où l’exécutif domine l’ensemble des institutions. En conséquence, vouloir transformer la démocratie moderne en « agora numérique » (Rose, 1991) par le recours généralisé à l’EPPM restera vain.

Pour les critiques comportementales, ce n’est pas l’EPPM en soi qui pose problème, mais ses effets sur les comportements des acteurs. Les critiques comportementales partent du consensus suivant : toute évaluation est performative et modifie les façons d’agir de l’évalué (Deleau et al., 1986 ; Gori, Del Volgo, 2009 ; Lorino, 1995 ; Bacache-Beauvallet, 2010). Le problème est qu’un tel conditionnement peut être dommageable. Légitimant ses actes à l’aune des seuls résultats qu’il est capable d’exhiber auprès du mandant (Helbrunn, 2004), le mandataire peut privilégier la production inconditionnelle du résultat attendu (démonstration de son efficacité) sans apprécier les conséquences globales de ses actions. Surtout s’il sait celles-ci manifestement absurdes ou néfastes (dissimulation de l’absence de pertinence de ses résultats) (Bacache-Beauvallet, 2010). Plus grave, l’évalué peut tricher de façon systématique (Bacache-Beauvallet, 2010), comme le montrent les cas avérés de fraude scientifique de laboratoires publics se livrant à la « mal-science » (Chevassus-au-Louis, 2016). Pire, comme l’illustre la crise des subprimes1, du fait d’une irréductible asymétrie d’information, il peut manipuler un mandant et un évaluateur indépendant sans capacité d’enquête crédible (Michel-Clupot, Rouot, 2016).

Les critiques politiques et comportementales servent de garde-fous à toute « démarche évaluative » (Deleau et al., 1986). Elles obligent l’évaluateur ou le théoricien de l’évaluation à se poser les deux questions suivantes : la forme d’évaluation envisagée est-elle pertinente avec le contexte ? Quels sont les biais, mésusages, travers, etc., suscités par le fait même d’évaluer ? Nous n’apporterons pas d’éléments de réponse à cette dernière question, qui est aussi délicate que complexe à traiter. Par contre, pour ce qui concerne la première question, nous pouvons y répondre en élargissant notre façon de penser l’évaluation. Ainsi, même si l’EPPM est dominante, des EPP alternatives moins biaisées peuvent être envisagées. Pour ce faire, un cadre de référence de l’évaluation élargi doit être imaginé.

III. Pour un cadre de l’évaluation élargi

Sauf à admettre que l’évaluation est une aberration, l’existence de cette pratique, de cette « démarche » (Deleau et al., 1986), de cette « activité » (Micaëlli et Fougères, 2007) peut se justifier par le besoin auquel elle répond, le service qu’elle apporte, la fonction qu’elle assure. Plusieurs définitions fonctionnelles de l’évaluation peuvent être imaginées. Pour Micaëlli et Fougères (2007), celle-ci vise à améliorer les transactions réalisées par le destinataire du service évaluatif sur l'entité évaluée. Se voulant une activité de service, seule, l’évaluation n’a donc aucun sens ; il convient de la rapporter aux activités vis-à-vis desquelles elle est prestataire. De plus, l’évaluation peut intervenir dans des contextes transactionnels variés. Elle peut aider au contrôle de transactions aussi différentes qu’un ordre, qu’une interaction pédagogique, qu’une exigence contractualisée, comme nous l’avons montré au point 2.1, qu’un don conditionnel, qu’une inhibition, qu’une sanction, qu’un jugement esthétique ou académique, qu’une pénalité, qu’un encouragement, qu’une négociation entre pairs, qu’une incitation à s’améliorer en continu (Lorino, 1995 ; Micaëlli, Fougères, 2007 ; Guerra-López, 2017), à « évaluer pour évoluer », comme l’énonce l’Organisation Non Gouvernementale (ONG) bruxelloise ITECO, etc. Enfin, pour satisfaire sa fonction, l’évaluation n’est pas qu’affaire de données (Guerra-López, 2017), de mesures quantitatives (Nudurupati et al., 2011) ; elle requiert des connaissances non triviales.

II.1. Nature des connaissances évaluatives

Évaluer suppose a minima de définir, de comprendre, d’expliquer certains aspects comportementaux de l’entité évaluée : ses buts, ses directions, ses objectifs, etc., mais aussi ses résultats : ses productions, externalités, impacts, effets immédiats ou différés, provisoires ou pérennes, etc. Le cœur des connaissances évaluatives est donc comportemental.

L’évaluation étant fonctionnelle, l’évaluateur se doit aussi de recenser et de catégoriser les entités du contexte évaluatif. En plus d’être comportementales, les connaissances évaluatives doivent donc être cartographiques.

L’évaluation repose aussi sur des connaissances processuelles. Évaluer requiert une procédure, une méthode, une démarche, comme le montre l’exemple de la séquence de Tyler donné en première section. Les connaissances évaluatives sont processuelles dans un deuxième sens. Elles ne sont pas innées, infuses ou éternelles ; elles changent, se modèlent et se transforment sur la durée. De ce fait, dans une sorte de perpetuum mobile, l’évaluation induit et entretient un apprentissage aidant l’évalué et l’évaluateur à développer de nouvelles connaissances en vue de rationaliser leurs pratiques respectives (Lorino, 1995 ; Jacot, Micaëlli, 1996a).

Enfin, les connaissances évaluatives peuvent être « réflexives » (Jacot, Micaëlli, 1996a). L’évaluateur peut prendre comme entité à évaluer sa propre pratique et procéder ainsi à une « méta-évaluation » (Jacot, Micaëlli, 1996a) : ma pratique est-elle pertinente ? Efficace ? Efficience ? Etc.

Les connaissances évaluatives sont variées. Toutes les baliser n’est guère aisé. Nous proposons donc de nous focaliser sur deux de leurs aspects, cartographique et procédural.

III.2. Modélisation du contexte évaluatif

Pour modéliser l’environnement de l’évaluation, nous suggérons d’utiliser un outil d’ingénieur, à savoir le « diagramme de contexte » proposé par SysML (Systems Modeling Language, OMG 2, 2015). Le concepteur industriel se sert de ce langage pour modéliser sous formes de diagrammes l’environnement externe, les exigences, l’architecture, le comportement d’un objet technique. Le diagramme de contexte décrit uniquement les entités externes avec lesquelles celui-ci interagira : l’utilisateur, l’environnement physique, le réseau d’objets techniques aidant le produit à fonctionner, etc.

Le diagramme de contexte de l’ingénieur ne peut être utilisé en l’état par l’évaluateur ; il convient de l’aménager. La figure 2 représente ainsi un stéréotype du contexte de l’évaluation. Cette figure a vocation à initier la description de tout type d’évaluation. Elle comprend trois acteurs aux rôles différents (le destinataire du service évaluatif, l’évalué, l’évaluateur), pour reprendre la tripartition de l’EMPP présentée en 2.1. S’ajoute une entité évaluée sur laquelle le destinataire entend améliorer au moins une transaction la visant. Au centre de la figure se trouve le rapport d’évaluation. Les acteurs interagissent avec lui pour le produire (rôle de l’évaluateur) ou pour le lire (rôles de l’évalué et du destinataire du service évaluatif). À droite du schéma, on a un « magasin » (OMG, 2011). Cette entité volontairement fourre-tout réunit les outils nécessaires à l’évaluation : méthodes d’évaluation, code déontologique de l’évaluateur, données, SMP, modèles comportementaux, formalismes, formules logiques, arithmétiques, statistiques, etc., « métriques » (OMG, 2015) quantifiant les évaluants, dictionnaires ou lexiques les définissant, règles encadrant leur bon usage, techniques rédactionnelles utiles à la production des rapports d’évaluation, etc.

Figure 2. Stéréotype du contexte de l’évaluation

Figure 2. Stéréotype du contexte de l’évaluation

Le stéréotype représenté figure 2 admet plusieurs variations. Une première déclinaison peut concerner l’EPPM (figure 3). Dans ce cas spécifique, l’évaluation a pour fonction de renforcer le contrôle d’exécution exercé par le politique mandant sur l’opérateur mandataire. L’entité évaluée est l’ensemble des résultats attendus (évaluation ex ante) et effectifs (évaluation ex post) de l’opérateur. Le demandeur et destinataire du service évaluatif est le Politique mandant. S’ajoute l’évaluateur indépendant, producteur du rapport. Un acteur intéressé par ce document est le mandataire. La transaction ciblée par l’EPPM est le mandat d’exécution. Le rapport produit par l’évaluateur indépendant quantifie les évaluants de « l’octogone magique » (figure 1), précise les sources des données et émet un jugement synthétique global sur la performance constatée. Les outils facilitant l’EPPM sont ceux du NMP, de l’EPP, les statistiques nationales, les techniques rédactionnelles des rapports officiels, etc.

Figure 3. Contexte de l’évaluation mandataire

Figure 3. Contexte de l’évaluation mandataire

Il est possible de décliner le stéréotype de la figure 2 dans un autre cas, qui concerne cette fois-ci l’évaluation communautaire (figure 4). Celle-ci est menée par et pour une communauté, par exemple une profession médicale, juridique, académique, etc. Cette forme d’évaluation aide à définir ce que doivent faire les membres de la communauté, donc les critères d’admission de tiers souhaitant en faire partie ou d’exclusion des pairs agissant de façon non-conforme. L’évaluation communautaire est déontique et collective : elle porte sur des devoirs de chaque membre de la communauté (aspect déontique), mais en les rapportant toujours au « nous » formé par ladite communauté (aspect collectif). La transaction visée par cette forme d’évaluation est ce que nous appellerons l’obligation commune.

L’évaluation communautaire facilite non le contrôle hétéronome, comme le fait l’EPPM, mais le contrôle autonome. Il se concrétise par les engagements mutuels, la surveillance par les pairs, la délibération avant toute prise de décision, la recherche du consensus, etc. L’évaluation communautaire suppose une capacité réflexive de la part de la collectivité concernée. Cette forme d’évaluation repose sur la capacité productive de ladite communauté, à savoir celle de forger ses propres outils évaluatifs. Enfin, le rapport d’évaluation consiste en un ajout d’un type de document que nous qualifierons de charte. Une charte regroupe tout ce qui définit formellement la communauté concernée : principes, cas délibérés (casuistique), données, critères d’adhésion, code, procédures internes, etc.

Figure 4. Contexte de l’évaluation communautaire

Figure 4. Contexte de l’évaluation communautaire

Il est facile de repérer les ressemblances et les dissemblances entre la figure 3 (évaluation mandataire) et la figure 4 (évaluation communautaire). C’est bien le même stéréotype qui est décliné dans les deux cas, mais les différences n’en demeurent pas moins substantielles.

Représenter le contexte de l’évaluation ne suffit pas pour modéliser les connaissances évaluatives. En plus d’être cartographiques, celles-ci sont procédurales.

III.3. Définition de la procédure d’évaluation type

Pour définir la procédure d’évaluation type, il est judicieux de revenir à la séquence de Tyler ébauchée en deuxième section. En effet, celle-ci a un grand mérite : elle montre que l’évaluation va bien au-delà de la mesure ponctuelle de résultats (Jacot, 1990). Avant de réaliser cette étape particulière, on définit en amont des objectifs auxquels associer les indicateurs de résultat, ainsi d’ailleurs que des indicateurs d’avancement (synomyne : de processus, de supervision, intermédiaires, etc.). En aval, on passe des indicateurs aux critères de jugement aidant à l’enclenchement de la boucle de rétroaction. Pour le dire autrement, la mesure de résultats à l’aide d’indicateurs quantitatifs n’est qu’un moment de l’évaluation, non toute la procédure sous-jacente.

Malgré sa richesse intrinsèque, il est possible de compléter la séquence de Tyler. Pour gagner en lisibilité, on peut d’abord regrouper ses étapes en trois « blocs » (OMG, 2011) distinctifs appelés évaluation ex ante, in process et ex post. Chaque bloc porte sur une occurrence de l’évaluant. Si on reprend le schéma de contrôle hiérarchique, tout évaluant est d’abord un objectif, à partir duquel dérive un indicateur, qui sert à son tour de critère de jugement (OMG, 2010). Par exemple, la qualité de service peut être un objectif, une cible contractualisée dans un mandat ou une exigence du cahier des charges. Elle devient ensuite un indicateur mesurant la progression dans la réalisation de ses pratiques. Elle est mesurée ex post et sert de critère utile à la définition de la version suivante du mandat ou du cahier des charges.

De plus, l’évaluateur peut, chaque fois qu’il produit un évaluant ou l’une de ses occurrences, prendre sa pratique courante comme entité évaluée. Il s’agit pour l’évaluateur de dérouler son activité de façon réflexive. Enfin, et même si cela paraît contre-intuitif, il est possible de chaîner les tâches de la séquence de Tyler sans suivre le schéma du contrôle hiérarchique. L’évaluation ne se fait plus de façon linéaire. Le tableau 1 n’est plus construit de haut en bas. Sa construction devient itérative et opportuniste ; elle repose sur de constants allers-retours entre les lignes du tableau. Et ce, jusqu’au moment où une structure d’ensemble satisfaisante est créée.

Étape d’évaluation

Occurrence de l’évaluant

Évaluation courante

Évaluation réflexive

Aspects de l’entité évaluée

Tâche

Évaluation
ex ante

Principe, vision, but, objectif, exigence, contrainte

Directions

Expliciter les objectifs

Sont-ils pertinents ? Bien définis ? Bien agencés ? Quelles sont les contradictions ? Les arbitrages à réaliser ? Etc.

Évaluation
in process

Indicateur de processus, de suivi, d’engagement, de supervision

Processus et ressources

Définir les indicateurs de processus

Sont-ils cohérents avec les objectifs ? Bien définis ? Mesurables de façon dynamique ? Précis ? Intégrables dans un tableau de bord ? Etc.

Évaluation
ex post

Indicateur de résultat

Résultats

Définir les indicateurs de résultats

Sont-ils cohérents avec les objectifs ? Bien définis ? Mesurables de façon statique ? Précis ? Intégrables dans un tableau de bord ? Etc.

Critère

Utiliser les critères

Sont-ils cohérents avec les objectifs et les indicateurs ? Correctement agrégés ? Seuillés ? Comment bien critériser ? Etc.

Tableau 1. Cycle de vie de l’évaluation

Un cadre de référence de l’évaluation élargi ayant été proposé dans cette troisième section, il est maintenant possible d’aller à des choses concrètes et de présenter un outil d’évaluation communautaire, à savoir « Francométrie » (Garro, 2018).

IV. Francométrie, prototype et critique

Francométrie n’a pas vocation à analyser quantitativement la place de la francophonie dans le monde (Figure 5, évaluation de périmètre 4), comme le fait déjà l’OIF (2014a). Francométrie ne se veut pas un tableau de bord facilitant le suivi opérationnel des projets engagés par tel ou tel opérateur de la Francophonie (Figure 5, évaluation de périmètre 1). Il n’est pas un instrument permettant de juger du point de vue la pertinence et la cohérence de l’action de la Francophonie, par exemple pour juger de la pertinence politique des directions de l’OIF ou de comparer cette institution à d’autres organisations visant la coopération internationale (Figure 5, périmètre 3). La fonction de Francométrie est plus modeste ; il s’agit d’apprécier l’engagement francophone des membres de l’OIF (Figure 5, périmètre 2).

Figure 5. Quatre périmètres de l’évaluation francophone

Figure 5. Quatre périmètres de l’évaluation francophone

IV.1. Sur les pas des concepteurs de Francométrie

Développé au premier semestre 2018 par une petite équipe réunissant Olivier Garro, titulaire de la Chaire Senghor de la Francophonie de Lyon (France), Elvis Lekouede, Volontaire International de la Francophonie (VIF) et Geoffroy Aliha, postdoctorant au sein du 2IF, Francométrie permet de disposer d’une connaissance synthétique quant à « l’implication » (Garro, 2018) des membres de l’OIF.

Les membres actuels de l’OIF peuvent recourir à Francométrie pour au moins sept usages : (1) profiler et apprécier globalement l’engagement de chacun d’eux, (2) définir les valeurs caractéristiques, le standard de l’ensemble de la communauté, (3) comparer les membres, (4) comparer les résultats obtenus avec Francométrie à d’autres indicateurs internationaux synthétiques, par exemple l’Indice de Développement Humain (IDH), (5) se classer en fonction de leur engagement, (6) identifier au sein de la communauté des groupes ayant un profil similaire ou (7) établir des corrélations à partir desquelles abstraire des relations causales expliquant le comportement de tel ou tel membre ou groupe (Garro, 2018). Idéalement, les candidats à l’OIF pourraient employer Francométrie comme grille leur permettant de juger ex ante de la pertinence de leur souhait d’intégration.

Les concepteurs de Francométrie ont explicité comment ils ont architecturé cet outil. Tout d’abord, les indicateurs proposés sont cohérents avec les quatre missions du Cadre Stratégique de la Francophonie 2015-2022 (OIF, 2014b), qui dérivent des principes de la Charte de la Francophonie (OIF, 2005). Francométrie s’inscrit donc dans le cadre d’une hiérarchie évaluative, avec les valeurs de la Francophonie, puis les missions de l’OIF, puis des indicateurs de résultat, eux-mêmes décomposés en strates, comme nous le verrons ci-dessous. Les missions de l’OIF concernent différentes politiques, linguistiques, culturelles, sociales, éducatives, économiques, environnementales, etc. Dès lors, l’ensemble des indicateurs associés à « l’engagement en francophonie d’un Pays ou Région membre de la Francophonie » (indicateur principal, IP) est multidimensionnel, puisque qu’il renvoie à des politiques ayant des cibles et des modalités différentes (Garro, 2018).

Les indicateurs de Francométrie ne sont pas jetés en vrac. Une première strate comprend l’IP. On trouve immédiatement en dessous l’association de quatre modules correspondant aux politiques des membres de l’OIF telles que définies dans le Cadre Stratégique de la Francophonie 2015-2022 (OIF, 2014b). Les concepteurs de Francométrie désignent les dimensions performantielles à l’aide d’un vocabulaire que n’aurait sans doute pas renié Senghor. Il s’agit (1) de la « Francoglossie », pour ce qui concerne la dimension linguistique de l’engagement des membres de l’OIF ; (2) de la « Francodémie », pour ce qui est de leur implication en matière de démocratie et des droits de l’Homme ; (3) de la « Francopédie », pour ce qui relève de l’intensité de leur action pour ce qui concerne l’enseignement et la recherche et (4) de la « Trophosophie », pour ce qui se rapporte à leurs actions en matière de croissance économique durable (Garro, 2018). Chacune de ces dimensions performantielles regroupe quatre à six indicateurs de base (IB), c’est-à-dire non-composites. La version de Francométrie publiée en Juin 2018 comprend ainsi au total dix-sept IB.

Les IB sont informés à partir de données présentant des qualités bien particulières. Ces données sont à la fois publiques (consultables sur Internet par tout un chacun), internationales, stables et normées, de sorte à permettre la comparabilité entre aires géographiques et périodes (Garro, 2018). Les indicateurs ont vocation à être actualisés annuellement.

Enfin, comme la structure de Francométrie est hiérarchique, les concepteurs de l’outil synthétisent l’information provenant des IB en optant pour une notation agrégée. Ce qui est classique en matière d’usage d’indicateurs de performances (Berrah, 2002). Chaque IB est pondéré ; une première agrégation combine les IB de chaque dimension, puis une seconde sommation concerne toutes les dimensions performantielles, de sorte à donner une valeur à l’IP.

La figure 6 représente la structure de Francométrie en date de juin 2018. Les rectangles en vert correspondent à l’IP et aux dimensions performantielles (Francoglossie, Francodémie, Francopédie, Trophosophie). Les autres rectangles représentent les IB ; les rectangles en rose correspondent aux engagements francophones mutuels. Les pastilles « x2 » indiquent que l’IB concerné pèse deux fois plus que les autres.

Figure 6. Structure de Francométrie

Figure 6. Structure de Francométrie

Source : Garro, 2018.

À ce jour, Francométrie n’a fait l’objet d’aucun développement logiciel particulier. L’outil a été développé à partir d’un tableur standard. Les résultats obtenus sont affichés sous forme de supports de communication habituels dès qu’il s’agit de présenter des données statistiques tirées d’un tableur (tableaux, histogrammes, profils, etc.).

Les concepteurs de Francométrie énoncent certaines limites de leur prototype (Garro, 2018). Sa structure hiérarchique prête le flanc à des objections habituelles. Le contenu des dimensions performantielles et des IB dépendent des orientations politiques retenues à un moment donné par les membres de l’OIF. Qu’elles changent et ces items sont à modifier. Ce qui rend difficile les comparaisons inter-temporelles. De plus, les mesures agrégées sont compensatoires et font perdre l’information multidimensionnelle et causale. Ainsi, classer les pays selon leur IP est possible, mais non suffisant en soi. Une note agrégée ne révèle jamais la dimension performantielle et l’IB contribuant le plus au score obtenu. De plus, les valeurs des coefficients de pondération peuvent faire l’objet de débats sans fin. Enfin, force est de constater que les politiques des membres de l’OIF ont une influence plus ou moins forte sur les IB. Si le taux de conventions UNESCO ratifiées est de leur ressort plein et entier, tel n’est pas le cas du ratio PIB per capita. Du fait de la variabilité de « l’effectivité » des politiques (Jacot, 1990), Francométrie ne peut être considéré à l’instar du tableau de bord utilisé par des managers des entreprises (Kaplan et Norton, 1992 ; Lorino, 1995).

Même s’il concerne des acteurs publics, il est évident que Francométrie ne relève pas de l’EPPM. Francométrie est supposé permettre à la communauté francophone d’évaluer pour évoluer, pour reprendre le pertinent jeu de mots de l’ITECO. Le prototype de Francométrie de juin 2018 a ainsi montré des corrélations contre-intuitives. Celle entre l’IP d’un pays ou d’une région est faible par rapport à sa richesse (PIB per capita), à son IDH ou à sa proportion de locuteurs francophones, voire non-significative avec sa durée d’adhésion à l’OIF (Garro, 2018). Reste à franchir le difficile passage de la corrélation à l’explication causale…

Notre critique de Francométrie ne se focalisera pas sur des points relatifs à la quantification des indicateurs ou aux corrélations, mais à l’architecture d’ensemble de l’outil.

IV.2. Francométrie, un véritable outil d’évaluation communautaire ?

Si nous suivons la démarche proposée en troisième section, alors la première tâche à réaliser pour critiquer un outil d’évaluation est d’en définir la fonction, d’en dresser le diagramme de contexte, puis d’apprécier son périmètre en rapport avec la séquence de Tyler.

Outil de et pour la communauté francophone, Francométrie ne peut toutefois se revendiquer comme outil d’évaluation communautaire. En effet, l’exclusion ou la sanction n’étant pas envisagée au sein de l’OIF, il ne peut être utilisé à ces effets. Néanmoins, à s’en tenir aux propos de ses concepteurs, Francométrie a la plupart des caractéristiques de l’instrument communautaire.

La figure 7 propose un contexte de diagramme adapté au cas de Francométrie. Ce diagramme de contexte est dérivé du schéma de la figure 4, qui concerne l’évaluation communautaire. Du point de vue cartographique, Francométrie est donc bel et bien un outil de même qualité.

Point intéressant : comme Francométrie se veut ouvert, l’évaluateur de l’engagement francophone peut ne pas être membre de l’OIF. Rien n’empêche un tiers de contester les valeurs, les objectifs politiques de la Francophonie, et de proposer d’autres dimensions performantielles, un autre IP, d’autres IB, voire d’autres sources de données. Il peut le faire en respectant les exigences et contraintes fixées par les concepteurs de Francométrie. Par exemple, si on adopte pour idéal de la Francophonie une communauté se renforçant et non s’élargissant, alors d’autres IB mesurant les engagements mutuels doivent être ajoutés et surpondérés. Pour la francoglossie, il pourrait s’agir de l’intensité des emprunts réciproques, des échanges académiques entre universités francophones pour la francopédie, les flux d’échanges et d’investissement croisés pour la trophosophie, etc. Cet exercice de Francométrie alternative relève d’une véritable évaluation pluraliste, qui se veut un idéal revendiqué par les spécialistes de l’EPP (Perret, 2001 ; Wasmer, 2004 ; Jacot, 2007).

Figure 7. Diagramme de contexte de Francométrie

Figure 7. Diagramme de contexte de Francométrie

Les concepteurs de Francométrie ont donné des étiquettes originales aux dimensions performantielles de l’engagement francophone (francoglossie, francodémie, francopédie, trophosophie). On peut lire les IB autrement, en se rapportant à un autre référentiel, à savoir « l’octogone magique » de la figure 1. Le pourcentage de francophones, les facilités d’accès à Internet, les dépenses éducatives concernent une certaine forme de capacité, à savoir la « masse francophone », le « potentiel francophone » disponible. Les IB de francodémie, adhésion à l’Assemblée Parlementaire de la Francophonie (APF) exclue, sont déontiques ; ils relèvent de la conformité, ici aux principes, aux valeurs de la Francophonie (conformité axiologique). En outre, et même si le terme risque de choquer, les taux d’alphabétisation, de chômage, de zones protégées, etc., relèvent des impacts des politiques des membres de l’OIF ; ce sont donc des indicateurs de production. Ils peuvent être mis en relation avec des indicateurs de capacité pour apprécier l’efficience de ces politiques. Pour s’en tenir à la francopédie, on peut ainsi rapporter les taux d’alphabétisation et de publications scientifiques avec les dépenses éducatives. Enfin, point négatif, au contraire du « tableau de bord équilibré » (Kaplan et Norton, 1992), du « graphe d’évaluants » (Micaëlli et Fougères, 2007) ou du « diagramme d’exigences » (OMG, 2015), Francométrie décrit une performance globale et multidimensionnelle sans expliquer comment celle-ci est obtenue. Francométrie est une photo de cet IP qu’est l’engagement francophone, non un modèle explicatif.

Dernière critique : si on reprend le cycle de vie de l’évaluation présenté dans le tableau 1, on constate qu’à ce jour Francométrie n’est pas complétement aligné sur la séquence de Tyler. L’outil tisse un premier faisceau entre deux étapes distantes de la séquence : la prise en compte des missions de la Francophonie (étape 1, évaluation ex ante) et la quatrième étape de mesure de résultats (étape 4, évaluation ex post). À ce jour, Francométrie n’est pas – encore ? – un outil d’aide au choix ; il lui manque une fonction critériologique claire (boucle de retour dans la séquence de Tyler). Francométrie est aussi dépourvu d’indicateurs de suivis à placer entre la définition des orientations des politiques francophones et les IB exposés au bas de la figure 6 (étapes 2 et 3 de la séquence Tyler, qui correspondent au noyau de la figure 4). Francométrie n’est pas – encore ? – un outil de suivi, même macroscopique.

Pour expliciter de façon graphique les points évoqués au paragraphe précédent, nous proposons de représenter le désalignement entre la version actuelle de Francométrie et la séquence de Tyler à l’aide d’un « diagramme d’activité » tiré d’un langage de modélisation de processus appelé Business Process Model and Notation (BPMN, OMG, 2011). Ce langage permet de représenter les processus en utilisant une palette d’entités plus large que celle utilisée d’habitude dans les logigrammes.

La figure 8 comprend des entités variées. On trouve à gauche la séquence de Tyler proprement dite, avec les événements déclencheur et final, les tâches, les blocs (évaluation ex ante, in process, ex post) et les relations permettant d’établir un ordre logique et chronologique (évaluation hiérarchique). Le losange correspond à un test associant les différentes alternatives possibles en matière de rebouclages. Selon les cas, on cherche à mieux suivre les engagements francophones, à définir de nouvelles politiques francophones, etc. On a au milieu de la figure 8 les documents produits à mesure que se déroule le cycle de vie de l’évaluation. Ces documents alimentent l’outil Francométrie dont le périmètre et la structure en date de juin 2018 est décrite à droite de la figure 8. Le schéma proposé met en miroir une procédure, une collection de documents et la structure d’un outil à vocation synthétique. Si Francométrie était aligné, alors il y aurait correspondance entre toutes les étapes de la séquence de Tyler, tous les documents produits et tous les constituants de l’outil.

Image 10000201000002EF0000029AC2599B3C4BD48CF9.png

Liste des documents : 1. Valeurs de la Francophonie, 2. Missions de la Francophonie, 3. Objectifs politiques francophones, 4. Indicateurs de suivi des engagements francophones, 5. IP, 6. IB, 7. Critère d’engagement francophone.

Figure 8. Désalignement de Francométrie

La présentation du désalignement de Francométrie par rapport à la séquence de Tyler clôt notre critique de ce prototype d’outil d’évaluation communautaire.

Conclusion

Cet article traite d’un thème d’actualité, intéressant de plus en plus le Politique, à savoir l’Évaluation des Politiques Publiques (EPP). À ce jour, le modèle de référence en la matière est l’EPP mandataire (EPPM). L’EPPM aide à renforcer le contrôle d’exécution qu’exerce le Politique national (mandant, principal en anglais) sur l’opérateur en charge de la fourniture du service public (mandataire, agent). Ce dernier se trouve soumis à une stricte redevabilité l’astreignant à prouver à des évaluateurs indépendants sa performance. Et ce, d’après des évaluants s’imposant à lui : prix, qualité, efficience, efficacité, conformité, etc. Si elle est cohérente, l’EPPM n’est pas universelle. Elle n’est pas pertinente dans le cas de la Francophonie. Cette institution internationale singulière facilite les échanges entre des états partageant des valeurs communes et un intérêt pour le français. Un autre type d’EPP, dit communautaire, s’avère adaptée à un tel contexte. En pratiquant cette forme d’évaluation, il s’agit, pour les membres de l’Organisation Internationale de la Francophonie (OIF), de forger leurs propres instruments, notamment pour apprécier leur niveau d’engagement en matière francophone. Un prototype d’outil d’évaluation, Francométrie, a été développé à cet effet au premier semestre 2018 par l’Institut International pour la Francophonie (2IF). Doté d’une structure hiérarchique classique en matière d’indicateurs, cet outil a un contenu particulièrement intéressant. Toutefois, sa maturité est insuffisante pour en faire un véritable instrument de suivi des engagements francophones ou d’aide au choix des candidatures. De plus, la mesure des engagements mutuels n’a pas été assez développée. Enfin, dans l’absolu, un outil d’évaluation communautaire sert à sanctionner ou exclure des membres, ce qui n’est pas prévu dans le cadre de la Francophonie. À ce titre, Francométrie ne sera jamais un outil respectant intégralement le canon de l’instrument d’évaluation communautaire.

Quelles sont les perspectives ouvertes par cet article ? Difficile de les entrevoir. Nous ne sommes pas dans la position du critique d’art interprétant une œuvre exposée depuis deux siècles et ayant donné lieu à de nombreuses critiques antérieures. Francométrie est un prototype. Cet article porte sur un moment particulier, et amont, du cycle de vie d’un outil d’évaluation. Or, la littérature en contrôle de gestion montre combien est méandreux le chemin allant du modèle original promu par les concepteurs d’un outil d’évaluation à l’instrument d’EPP banalisé (Dreveton, Rocher, 2010). Il est trop tôt pour se prononcer sur ce que sera le devenir de Francométrie ou pour produire un discours savant sur les critiques que son usage suscite. Nous n’avons pas le recul qu’auraient, espérons-le, les spécialistes d’EPP ou d’outils de gestion qui dans les années à venir relativiseront, étrillerons Francométrie et le cadre conceptuel proposé dans cet article...

1 Crise déclenchée à l’été 2017 aux États-Unis, à la suite d’une augmentation des taux d’intérêt de la Fed fragilisant de très nombreux ménages

2 Object Management Group, consortium d’entreprises états-uniennes proposant certaines normes de génie logiciel, notamment en matière de

Bibliographie

Audier S. (2012), Néo-Libéralisme(s) : une archéologie intellectuelle, Paris, Grasset.

Bacache-Beauvallet, M. (2010), « Concurrence et performance dans la recherche : l'effet des indicateurs », Géoéconomie, vol. 53, n° 2, 2010, p. 45-54.

Berrah L. (2002), L'Indicateur de performance, Toulouse, Cépaduès.

Bezes P. (2005), « Le renouveau du contrôle des bureaucraties. L'impact du New Public Management », Informations sociales, vol. 126, n° 6, p. 26-37.

Bezes P., Chapiello E., Desmarez P. (2016), « Introduction : la tension savoirs-pouvoirs à l’épreuve du gouvernement par les indicateurs de performance », Sociologie du Travail, vol. 58, n°4, p. 347-369.

Bouquin H., Kuszla C. (2014), Le Contrôle de gestion, Paris, Presses Universitaires de France.

Bureau D., Mougeot M. (2007), Performance, incitations et gestion publique. Rapport au Conseil d'Analyse Économique (CAE), Paris, La Documentation française.

Chevassus-au-Louis N. (2016), Malscience : De la fraude dans les labos, Paris, Le seuil.

Conseil d’Analyse Economique (CAE) (2013), « Évaluation des politiques publiques », Notes du Conseil d’Analyse Economique, n° 1, Paris, CAE.

De Gaujelac V. (2005), La Société malade de la gestion. Idéologie gestionnaire, pouvoir managérial et harcèlement social, Paris, Le seuil.

Deleau M., Nioche J-P., Penz P., Poinsard R. (1986), Évaluer les Politiques publiques : Méthodes, Déontologie, organisation, Paris, La Documentation française.

Devreton B., Rocher S. (2010), « “Lost in translation”, étude de la construction d'un outil de gestion dans une région française », Comptabilité - Contrôle - Audit, vol. 16, n° 1, p. 83-100.

Drucker P. (1954), The Practice of Management, New York, Harper & Row.

Erkel-Rousse H. (2014), « Introduction générale », Économie & Prévision, vol. 204-205, n° 1, p. I-XII.

Garro O. (2018), « Francométrie 2018 : le classement de Lyon », L’Année Francophone Internationale, n°27, 2019, p. 194-209.

Gori R., Del Volgo M.-J. (2009), « L'idéologie de l'évaluation : un nouveau dispositif de servitude volontaire », Nouvelle revue de psychosociologie, vol. 2, p. 11-16.

Guerra-López I.-J. (2017), Performance Evaluation: Proven Approaches for Improving Program and Organizational Performance, John Wiley & Sons.

Helbrunn B. (2004), « (Re)-penser la performance », dans Heilbrunn B. (dir.), La Performance, une nouvelle idéologie ?, Paris, La Découverte, p. 5-12.

Jacot J-H. (1990), « À propos de l'évaluation économique des systèmes intégrés de production », dans Cohendet P., Jacot J.-H., Lorino P. (dir.), Gestion Industrielle et mesure économique : approches et applications nouvelles, Paris, Économica, p. 61-70.

Jacot J-H. (2007), « Nouveau management public, nouvelle intervention citoyenne : un double défi pour l’évaluation des actions et politiques publiques », dans Jacot J.-H., Fouquet A. (dir.), Le Citoyen, l'élu et l'expert pour une démarche pluraliste d'évaluation des politiques publiques, Paris, L'Harmattan.

Jacot J-H., Micaëlli J.-P. (1996a), « La question de la performance globale », dans Jacot J.-H., Micaëlli J.-P. (coord.), La Performance économique en entreprise, Paris, Hermès, p. 15-33.

Jacot J.-H., Micaëlli, J.-P. (1996b), « La rationalisation cognitive au cœur des nouvelles formes d'organisation », dans Cohendet P., Jacot J.-H., Lorino P., Cohérence, pertinence et évaluation, Paris, Economica, p. 47-63.

Joannidès V., Jaumier S. (2013), « De la démocratie en Amérique du Nord à l’accountability à la française. Comprendre les origines sociopolitiques de l’accountability », Revue française de Gestion, vol. 39, n° 237, p. 99-116.

Kaplan R.-S., Norton D.-P. (1992), « The Balanced Scorecard: Measures that Drive Performance », Harvard Business Review, vol. 70, n° 1, p. 71-79.

Lorino P. (1995), Comptes et Récits de la performance : essai sur le pilotage de l'entreprise, Paris, Éditions d'Organisation.

Malsch B., Morin D. (2017), « L’audit législatif aux frontières du pouvoir et de la politique », Comptabilité - Contrôle - Audit, vol. 23, n° 1, p. 75-96.

Micaëlli J-P., Fougères A.-J. (2007), L’Évaluation créative, Sévenans, Pôle éditorial de l’UTBM.

Michel-Clupot M., Rouot S. (2016), « Une managéralisation du discours du Politique. L’exemple de travaux parlementaires sur les crises de la finance », Gestion et management public, vol. 4, n° 2, p. 9-32.

Nudurupati S.S, Bitici U.S., Kumar V., Chan F.T.S. (2011), « State of the art literature review on performance measurement », Computers & Industrial Engineering, vol. 60, n° 2, p. 279-290.

Object Management Group (OMG) (2010), BMM, Business Motivation Model, version 1.1, OMG, May.

Object Management Group (OMG) (2011), Business Process Model and Notation (BPMN), version 2.0, OMG, December, first version : 2006.

Object Management Group (OMG) (2015), Systems Modeling Language (OMG SysML), version 1.4, OMG, June, first version : 2006.

Organisation Internationale de la Francophonie (OIF) (2005), Charte de la Francophonie adoptée par la Conférence ministérielle de la Francophonie, Antananarivo, le 23 novembre 2005, Montréal, OIF.

Organisation Internationale de la Francophonie (OIF) (2014a), La Langue française dans le monde, Paris, Nathan.

Organisation Internationale de la Francophonie (OIF) (2014b), Cadre stratégique de la Francophonie 2015-2022, Quinzième Conférence des chefs d’État et de gouvernement des pays ayant le français en partage, 29-30 novembre, Dakar, disponible sur https://www.francophonie.org.

Perret B. (2001), L’Évaluation des politiques publiques, Paris, La Découverte.

Perret B. (2008), « L'évaluation des politiques publiques. Entre culture du résultat et apprentissage collectif », Esprit, n° 12, p. 142-159.

Rose N. (1991), « Governing by numbers », Accounting, Organizations and Society, vol. 16, n° 7, p. 673-692.

Sauvé J.-M. (2018), « Servir l’État aujourd’hui », Revue française d'administration publique, vol. 165, n° 1, p. 135-144.

Scriven M. (1967), « The Methodology of Evaluation », dans Tyler R., Gagné R., Scriven M. (dir.), Perspectives on Curriculum Evaluation, Chicago, Rand McNally, p. 39-83.

Senghor L. S. (1993), Liberté 5 : Le Dialogue des cultures, Paris, Le seuil

Vidaillet B. (2013), Évaluez-moi ! Évaluation au travail : les ressorts d'une fascination, Paris, Le seuil.

Wanlin P. (2009), « La pensée des enseignants lors de la planification de leur enseignement », Revue française de pédagogie, vol.°1, n° 166, p. 89-128.

Wasmer E. (2014), « Évaluation des politiques publiques : faut-il de l’interdisciplinarité ? », Économie & Prévision, vol. 204-205, n° 1, p. 193-209.

Wiener N. (1948), Cybernetics: Or Control and Communication in the Animal and the Machine, Cambridge (MA), MIT Press.

Zarka J-Y. (2009), « Qu'est-ce que tyranniser le savoir ? », Cités, n° 37, p. 3-6.

Annexe

Liste de sigles

  • 2IF : Institut International pour la Francophonie

  • AIMF : Association Internationale des Maires Francophones

  • APF : Assemblée Parlementaire de la Francophonie

  • AUF : Agence Universitaire de la Francophonie

  • BPMN: Business Process Model and Notation

  • EPP : Évaluation des Politiques Publiques

  • EPPM : Évaluation des Politiques Publiques Mandataire

  • IB : Indicateur de Base

  • IDH : Indice de Développement Humain

  • IP : Indicateur Principal

  • NMP : Nouveau Management Public

  • OIF : Organisation Internationale de la Francophonie

  • OMG : Object Management Group

  • ONG : Organisation Non-Gouvernementale

  • PIB : Produit Intérieur Brut

  • SMP : Système de Mesure de la Performance

  • SysML : Systems Modeling Language

  • UNESCO : Organisation des Nations unies pour l'éducation, la science et la culture

  • VIF : Volontaire International de la Francophonie

Notes

1 Crise déclenchée à l’été 2017 aux États-Unis, à la suite d’une augmentation des taux d’intérêt de la Fed fragilisant de très nombreux ménages pauvres ayant souscrit des prêts hypothécaires alors même que les prêteurs connaissaient les risques d’insolvabilité.

2 Object Management Group, consortium d’entreprises états-uniennes proposant certaines normes de génie logiciel, notamment en matière de représentation des connaissances et des données.

Illustrations

Figure 1. « Octogone magique » de la performance de l’opérateur mandataire

Figure 2. Stéréotype du contexte de l’évaluation

Figure 3. Contexte de l’évaluation mandataire

Figure 4. Contexte de l’évaluation communautaire

Figure 5. Quatre périmètres de l’évaluation francophone

Figure 6. Structure de Francométrie

Source : Garro, 2018.

Figure 7. Diagramme de contexte de Francométrie

Citer cet article

Référence électronique

Jean-Pierre Micaëlli, « Quelle évaluation pour la Francophonie ? Une première critique de Francométrie », Revue internationale des francophonies [En ligne], 4 | 2018, mis en ligne le 10 décembre 2018, consulté le 29 mars 2024. URL : https://publications-prairial.fr/rif/index.php?id=806

Auteur

Jean-Pierre Micaëlli

Né en 1965, Jean-Pierre Micaëlli est Maître de conférences en Sciences de Gestion à l'Institut d'Administration des Entreprises (IAE) de Lyon. Il s'intéresse aux questions de conception de systèmes techniques complexes et d'évaluation de leurs performances. Il a publié deux livres, trois articles et six chapitres d'ouvrages sur ce dernier thème.

Autres ressources du même auteur

Articles du même auteur

Droits d'auteur

CC BY