Les 4 sortes d'instruments d'évaluation

Il existe plusieurs méthodes (des enquêtes, des entrevues, des tests, des observations directes) pour vérifier l'atteinte ou non des quatre types d'objectifs (portant sur des résultats, des compétences, des attitudes ou des variables macroscopiques) de manière à pouvoir porter un jugement sur l'efficacité des moyens retenus à l'étape précédente.

en page 3 d’un document intitulé "Une mobilisation qui a porté fruit" (i.e., dans son "Analyse des modifications apportées à la Loi sur l’instruction publique par la loi 124 adoptée en décembre 2002"), la Centrale Syndicale du Québec écrit: 

«Le plan de réussite devra également préciser comment on évaluera la pertinence des moyens mis en œuvre en fonction des orientations et objectifs visés, ce que l’on désigne sous l’appellation "modes d’évaluation"». 

La CSQ et Gauthier s'entendent donc sur l'intention ultime des modes d'évaluation: évaluer la pertinence / qualité / efficacité des moyens retenus à l'étape précédente.

Une telle évaluation sera impossible ...

• ... s'il y a confusion entre le chapitre «objectifs» du projet éducatif et le chapitre «moyens» du plan de réussite (un contre-exemple classique : «diversifier les approches pédagogiques» est souvent cité comme un objectif; au mieux, c'est un moyen, au pire, un moyen plutôt vague). Cette confusion débute dès l'analyse de situation (voir ici pour la distinction cruciale entre les besoins de type Être et Avoir)
• ... si les objectifs ne sont pas formulés de manière à être évalués (voir ici le canevas qui permet de le faire, et les arguments qui justifient une telle formulation.)

Une fois ces deux précautions prises, i.e.,

1. les objectifs sont formulés du point de vue de l'élève
2. et de telle sorte qu'on puisse en évaluer l'atteinte ou non),

on finit par voir émerger quatre grandes catégories d'objectifs, des objectifs reliés:

1. aux compétences transversales
2. aux compétences disciplinaires
3. aux compétences re: métier d'élève (ex: sens de l'effort, motivation, ...)
4. aux enjeux macroscopiques (ex: climat de l'école, taux d'absentéisme, décrochage, retard, ...)

Par ailleurs, en page 28 de son ouvrage, Louise Gaudreau nous apprend qu'il existe plusieurs modes d'évaluation: l'enquête par questionnaire, des tests individuels (de connaissances, d'attitudes ou autres), l'entretien de recherche individuel, l'entretien de recherche en groupe, le focus group, l'observation directe, l'analyse documentaire. 

Le défi est donc de choisir les modes d'évaluation appropriés à chaque catégorie d'objectifs.

Voici une proposition de typologie:

De nombreux objectifs touchent les compétences transversales: la capacité à exploiter l'information, à résoudre des problèmes, à exercer son jugement critique, à mettre en œuvre sa pensée créatrice, à se donner des méthodes de travail efficaces, à exploiter les TICs, à se connaître, à coopérer, à communiquer de façon appropriée. Pour de tels objectifs, le mode d'évaluation le plus judicieux demeure l'observation directe au moyen des échelles de compétences.  Prenons l'exemple de la compétence coopérer. Après avoir constaté, au cours du printemps 2004, que, par exemple, la moitié des élèves sont aux échelons 3 et 4, il s'agit de formuler un objectif du type: d'ici 3 ou 4 ans, nous visons à ce que ce soit non plus la moitié mais bien le trois-quarts de nos élèves qui se situent à ces deux échelons.  Et comment allons-nous procéder pour prendre la photo de départ au printemps 2004? puis vérifier l'atteinte de l'objectif 3 ou 4 ans plus tard? Justement en procédant à des observations de tous les élèves (ou seulement d'un sous-groupe soigneusement sélectionné) au moyen desdites échelles de compétences.

Il y a ensuite les objectifs qui touchent des compétences disciplinaires (l'acquisition d'un vocabulaire riche et diversifié, la maîtrise d'une langue écrite de qualité, de la lecture, des mathématiques, des sciences, de l'histoire, de l'anglais, …etc.).  Là encore, il vaut mieux retenir, comme modes d'évaluation, les échelles de compétences.  Un tel choix est judicieux dans la mesure où il envoie ces deux messages aux enseignants: le plan de réussite ne vient pas s'empiler par-dessus ce qu'ils font déjà (ou comptent amorcer sous peu) pour s'approprier les nouvelles pratiques en matière d'évaluation; le plan n'est pas un brassage de concepts creux; il pénètrera en classe par le biais des «antennes» que les enseignants devront déployer pour vérifier si les voeux énoncés dans le projet éducatif finiront par être exaucés (en l'occurrence: que les élèves sachent mieux travailler en coopération) Autrement dit, si on veut mobiliser les enseignants, si on veut les convaincre que la démarche du nouveau projet éducatif sera moins atmosphérique que les précédentes, qu'on ne vienne pas, une ou deux réunions après leur avoir parlé abondamment du projet éducatif/plan de réussite, leur parler d'échelons et de nouvelles pratiques évaluatives. Autrement, les sentiments d'éparpillement et d'essoufflement auront vite fait de freiner les deux dossiers simultanément.

De nombreux objectifs touchent des dimensions du métier d'élève non explicitement couvertes par le programme de formation (ex: l'élève responsable, l'élève curieux et motivé, le sens de l'effort, ...etc.).  Dans ce cas, on peut s'inspirer d'une méthode utilisée dans le programme d'éducation internationale: l'entretien individuel, par lequel l'élève s'auto-évalue en même temps que l'enseignant collige ses appréciations. À la différence du programme d'éducation internationale (qui a déjà élaboré ses grilles d'observation), il s'agit pour chaque équipe-école d'élaborer une grille d'observation qui servira à diriger l'entretien. Prenons l'exemple du sens de l'effort. Il s'agit tout simplement d'animer une discussion d'au plus une quinzaine de minutes sur le thème: "À quoi reconnaît-on un élève qui manifeste le sens de l'effort?". Après avoir convenu d'un certain nombre de "descripteurs" ou d'attitudes (ou peu importe le terme retenu), il s'agit de construire une grille d'observation. Généralement, ces grilles ne dépassent pas une dizaine d'items. Voici une simulation:

1. de procéder à une entrevue avec chaque élève, par exemple deux fois par année. Au cours de l'entrevue, l'élève s'auto-évalue (pour chacun des items de la grille) en répondant "souvent" ou "parfois". Et l'enseignant en fait de même.
2. Pour les fins de l'évaluation, il s'agit ensuite de s'entendre sur une pondération du "souvent" et du "parfois". Suggestion: "souvent" vaut 2 points tandis que "parfois" vaut 1 point. (Les psychométriciens nous enseignent qu'une échelle paire, à deux ou 4 items, est préférable à une échelle impaire dans la mesure où les répondants ont indûment tendance à choisir la réponse du milieu.)
3. Puis de procéder à une addition des items. (Faut-il additionner seulement les réponses de l'élève? Seulement celles du prof? Une moyenne des deux? La somme des deux? Peu importe: c'est à l'équipe de décider... il importe seulement de ne pas changer de méthodologie d'un groupe à l'autre ou d'une fois à l'autre).

Un tel instrument peut être, dès le départ, ventilé selon les variables (âge, sexe, type de groupe, EHDAA, accueil...etc.) jugées pertinentes.

Au total, un enjeu aussi abstrait et évanescent que la rigueur ou le dépassement peuvent donner lieu à des "baromètres" chiffrés. C'est cette grille, c'est ce "baromètre" qui devient le mode d'évaluation.

L'objectif étant alors d'augmenter, d'une valeur arbitraire, la valeur indiquée par ce baromètre. Mais comme les milieux ne connaissent pas le "point de départ", il vaut mieux ne rien fixer du tout la première année. Il est préférable de simplement annoncer que la première année sera consacrée à construire "le plancher" et que la cible sera annoncée dans la 2e année (détails).

Il y a enfin des objectifs qui touchent des enjeux plus macroscopiques (ex: le climat de sécurité dans l'école ou encore le taux d'absentéisme).

Ici, on a le choix:

• soit des questionnaires homologués par la recherche (comme le QES)
• soit des questionnaires développés localement (ce qui a pour effet d'encourager l'appropriation par l'équipe-école de la démarche d'évaluation)
• ou encore des outils de récoltes de données existants (ex: registre des présences, registres des incidents dans la cour d'école et/ou des visites au service-oasis)

Il existe plusieurs méthodes (des enquêtes, des entrevues, des tests, des observations directes) pour vérifier l'atteinte ou non de divers types d'objectifs (portant sur des résultats, des compétences, des attitudes ou des variables macroscopiques) de manière à pouvoir porter un jugement sur l'efficacité des moyens retenus à l'étape précédente.