Première évaluation en ligne en mathématiques : Avantages et limites - Marianne Moulin

Si cette proposition, qui s’inscrit dans le contexte particulier des restrictions sanitaires et qui n’a donc pas vocation à être renouvelée, semble mériter l’écriture de ce « retour d’expérience », c’est que l’élaboration de cet examen nous a permis de découvrir les outils proposés par Moodle et qu’il semble utile de les partager.

En effet, la pratique des QCM / QCU n’est pas nouvelle pour notre équipe. Plusieurs d’entre nous en utilisent régulièrement dans le cadre de la formation (hors évaluation certificative) et nous participons à tour de rôle à l’élaboration des tests d’entrée à l’INSPE (qui prennent la forme de QCU). Nous produisons en général ces QCM / QCU « à la main » ou en utilisant des logiciels permettant de générer des QCM / QCU au bon format en vue d’une impression sur papier. Ce qui a donc été nouveau pour nous c’est d’envisager de travailler « en ligne », dans le cadre d’une évaluation certificative à grande échelle, via la plateforme Moodle.

Contexte du choix de l'examen :

• Public cible : M1 MEFF 1er degré.

• Nombre d'étudiants : Environ 1000 étudiants (répartis sur les 6 sites).

• Objectif pédagogique : Évaluation terminale du S1 (UE1 et UE2). 

Habituellement, au premier semestre, les M1 passent un examen sur table qui comporte une partie disciplinaire (UE1) et une partie didactique (UE2). Celle-ci est structurée comme l’épreuve écrite du concours ce qui nous permet de les évaluer sur les contenus du premier semestre tout en les confrontant une première fois au format spécifique de cette épreuve.  Suite à l’interdiction de réaliser cet examen sur site, l’équipe s’est concertée pour déterminer la meilleure manière d’évaluer nos étudiants et étudiantes tout en continuant de les préparer à leur concours.

Au-delà de ces deux aspects essentiels (évaluation et formation), notre principale préoccupation était de permettre à nos étudiants et étudiantes de nous rendre une copie lisible sans que des aspects techniques entrent en jeu. Écrire des mathématiques à l’ordinateur nécessite un savoir-faire et une maitrise de langages spécifiques que nos étudiants et étudiantes n’ont pas. L’envoi électronique de copies, qu’elles soient dactylographiées ou écrites à la main puis scannées ou photographiées n’est pas idéal du point de vue de la formation. Les images ne sont pas toujours pas de bonne qualité et il est compliqué (sans matériel spécifique) d’annoter les copies comme nous le faisons habituellement alors que cela est essentiel pour nos étudiants et étudiantes. Nous l’avions testé à petite échelle lors des rattrapages en juin dernier (moins de 200 copies) mais cela ne nous a pas paru pertinent pour cet examen.

Le QCM / QCU en ligne répondait ainsi en partie à nos exigences : Il nous permet d’évaluer nos étudiants et étudiantes tout en prenant en charge les aspects techniques de l’écriture mathématique. Ce qui nous préoccupait en revanche, c’était de perdre le format habituel de l’examen et donc, de fait l’entrainement au format du concours. Cependant, avantage non négligeable, la plateforme Moodle permet une correction instantanée et automatique de l’examen. Le temps gagné sur la correction a ainsi pu être réinvesti efficacement pour accompagner nos M1 dans la préparation de leur concours. 

Retour sur la création de l'examen : 

En temps ordinaires, un binôme ou un trinôme de collègues est responsable de la création d’un sujet qui est ensuite soumis à l’ensemble de l’équipe pour vérifications et ajustements. C’est un travail qui est fait sur un temps plutôt long (au moins sur un semestre complet). Le travail pour la création des deux QCM (un en UE1 et un en UE2) s’est organisé en trois temps : 

• Conception des questions : Du fait d’un délais assez court pour élaborer l’examen, toutes les personnes intervenant en M1 se sont donc mobilisées pour proposer des questions. En fonction de ses idées et du temps disponible, chacune a envoyé des questions en précisant le thème et la difficulté. Parce que nous avons développé une habitude du travail collaboratif, sans avoir réparti formellement les thèmes, nous avons ainsi couvert l’ensemble des notions et compétences au programme du semestre.

  • Nombre de questions :  40 questions (20 par UE), chacune déclinée en 3 ou 5 versions, via des changements de variables numériques et / ou de supports à analyser. Au final, notre base de question comporte environ 150 questions.

  • Temps de conception des questions : Ce temps est difficile à quantifier car l’ensemble des collègues intervenant en M1 s’est mobilisé pour proposer des questions. Cela dépend également très certainement des thématiques et de la nature des questions.

• Choix des questions : Une fois la base créée et suffisamment riche, nous avons organisé une réunion (2h) durant laquelle nous avons structuré notre base de questions en différentes catégories. Nous avons ainsi collectivement structuré nos deux QCM / QCU (UE1 et UE2) en établissant le nombre de questions à choisir aléatoirement dans chaque catégorie, le nombre total de questions, la durée de l’examen et le barème. Nous en avons profité pour relire les questions, les réponses proposées et procéder à une sélection et à quelques ajustements.

• Paramétrage des QCM : Une fois la structure définie, il a fallu procéder à la création effective des deux QCM et à leur paramétrage (pédagogique mais aussi administratif). Comme nous étions dans le cadre d’un examen, les QCM / QCU ont étés paramétrés sur la plateforme Moodle Examens selon des contraintes spécifiques (inscription unique et tiers-temps).

Temps de travail, avantages et inconvénients :

Comme dit plus haut, il est difficile d’estimer le temps de travail nécessaire à l’élaboration d’un QCM. Cela dépend très certainement de l’habitude des personnes à travailler sous forme de QCM, de la discipline, de la maîtrise de l’outil et de l’objectif du QCM. Ceci étant dit, du fait de la grande variété de formats et de paramétrages possibles, une fois la prise en main effectuée, cet outil peut s’avérer efficace (et pas uniquement en mathématiques). 

Le format des questions (possibilité d’insérer des images par exemple) et les options de paramétrages sont suffisamment riches pour permettre (a priori) d’être utilisé sur différentes modalités et dans toutes les disciplines. Ce qui est particulièrement intéressant, c’est que la base de questions crée est réutilisable. Il est possible de la dupliquer, de la compléter et ainsi de la réutiliser dans différents QCM (en temps limité ou non, avec possibilité de modifier une réponse ou non, avec ou sans feedback, etc.) qui peuvent être utilisés dans le cadre d’un cours ou d’un travail autonome des étudiants et étudiantes.

L’inconvénient principal reste celui du format QCM (que ce soit sur papier ou en ligne) qui permet des stratégies de raisonnement par élimination et qui ne permet pas d’évaluer certaines compétences.

Continuerez-vous à utiliser l'examen en ligne (hors contexte COVID) pour de l'évaluation formative ou sommative ? Pensez-vous que ce type d'outil soit utilisable dans n'importe quelle discipline ? 

L’utilisation de QCM / QCU n’entre pas dans le cadre de ce qui a été proposé pour les évaluations certificatives du futur Master MEEF. Cependant, c’est une modalité qui nous parait efficace sur certains aspects et que nous avions initialement envisagé en association avec d’autres épreuves (pour pallier aux limites du QCM et préparer nos étudiants et étudiantes à leur concours). Cependant, même s’il ne participe pas à la validation du Master, le QCM est une modalité de travail parmi d’autre qui peut entrer dans la formation de nos étudiants et étudiantes dans n’importe quelle discipline.