Dans un monde académique en constante évolution, les méthodes d’évaluation traditionnelles sont régulièrement remises en question. L’évaluation par les pairs s’impose progressivement comme une alternative pertinente, particulièrement dans les contextes d’enseignement à grande échelle. Récemment, le Professeur Chitu Okoli de SKEMA Business School a partagé son expérience d’utilisation de l’évaluation par les pairs dans un cours sur l’IA impliquant plus de 1300 étudiants répartis sur trois campus en France. Ce retour d’expérience, riche en enseignements, mérite qu’on s’y attarde.
Le cours « AI in Business Contexts » (L’IA dans les contextes de gestion) est un module obligatoire pour tous les étudiants du programme Grande École et du programme M1 général de SKEMA Business School. Pour la session d’automne 2023, ce cours a rassemblé environ 1500 étudiants répartis sur sept campus dans cinq pays différents, dont 1300 sur les trois campus français (Lille, Paris et Sophia Antipolis).
La structure initiale du cours reposait principalement sur des cours magistraux dispensés par cinq professeurs experts qui se déplaçaient entre les campus, complétés par des devoirs en ligne, des lectures et des exercices. Cependant, l’absence de travaux dirigés en petits groupes constituait une lacune significative. Pour l’édition d’automne 2024, l’équipe pédagogique a souhaité intégrer un projet concret, malgré l’absence de TD.
Face à ce défi logistique – comment gérer l’évaluation de projets pour 1300 étudiants avec seulement 5 professeurs ? – la solution ChallengeMe s’est imposée comme un outil adapté pour mettre en place une évaluation par les pairs à grande échelle.
Le dispositif d’évaluation par les pairs mis en place par le Professeur Okoli et l’équipe d’ingénierie pédagogique de SKEMA comportait plusieurs phases distinctes :
Dépôt des travaux : Les étudiants, organisés en groupes de quatre, devaient rédiger une analyse sur une utilisation professionnelle de l’IA. Chaque groupe choisissait parmi environ 80 cas d’usage réels dans diverses industries (médecine, agriculture, finance, ressources humaines, éducation, etc.).
Évaluation des travaux par les pairs : Chaque étudiant devait évaluer deux projets d’autres groupes selon un barème détaillé et précis.
Évaluation intra-groupe : Les étudiants s’évaluaient mutuellement au sein de leur propre groupe sur la qualité et la quantité de leur contribution.
Évaluation des feedbacks reçus (back feedback) : Les étudiants évaluaient la qualité des feedbacks qu’ils avaient reçus, notamment pour détecter l’utilisation potentielle de l’IA dans la rédaction des évaluations.
Cette structure était appliquée à deux moments du semestre : une première fois à mi-parcours (comptant pour 20% de la note finale du projet) et une seconde fois pour le projet final (75% de la note). Les 5% restants correspondaient à la sélection initiale du sujet de projet.
Paradoxalement, bien que le cours porte sur l’IA, le Professeur Okoli a adopté une position nuancée quant à son utilisation dans le cadre de l’évaluation par les pairs :
Pour le projet lui-même : L’utilisation de l’IA était non seulement autorisée mais encouragée. Le professeur a même créé un ChatGPT personnalisé spécifiquement pour aider les étudiants à développer leur projet, considérant que « traiter la triche par l’IA en obligeant qu’on l’utilise » était une approche pertinente.
Pour l’évaluation par les pairs : En revanche, l’utilisation de l’IA était strictement interdite. Le professeur considérait que déléguer l’évaluation à une IA constituait « une grave atteinte à l’éthique », privant les étudiants de l’apprentissage lié à l’analyse critique des travaux de leurs pairs.
Pour détecter les évaluations générées par IA, un système à trois niveaux a été mis en place :
Signalement par les étudiants via le « back feedback »
Vérification manuelle par l’enseignant
Utilisation d’un outil de détection d’IA (CopyLeaks)
Lorsque ces trois sources confirmaient l’utilisation de l’IA, l’évaluation était invalidée et l’étudiant pénalisé.
La mise en place d’un tel dispositif à grande échelle n’a pas été sans difficultés. Le Professeur Okoli reconnaît que la plateforme ChallengeMe a « beaucoup de fonctionnalités, beaucoup de détails », mais apprécie cette flexibilité qui permet une personnalisation poussée.
L’accompagnement de l’équipe ChallengeMe, notamment via un chef de projet dédié, a été crucial pour surmonter ces difficultés techniques. De même, l’implication de l’équipe d’innovation pédagogique de SKEMA, représentée par Irina Otmanine, a permis de structurer efficacement le dispositif.
La gestion logistique d’un tel projet impliquant 1300 étudiants répartis sur plusieurs campus nécessitait une organisation rigoureuse :
Intégration avec la plateforme Moodle de l’école
Support technique pour les étudiants
Vérification préalable des dates, de la construction des groupes, etc.
Le Professeur Okoli souligne que cette première mise en œuvre a représenté « un fou de temps », mais qu’il s’agit d’un investissement : « Une fois que c’est en place, j’ai le système, chaque année c’est on le réorganise et puis on fait des raffinements, des mises à jour. »
Malgré les défis, ce dispositif d’évaluation par les pairs a apporté de nombreux bénéfices pédagogiques :
Apprentissage actif : Contrairement aux cours magistraux où « les étudiants s’assoient, ils écoutent », le projet a permis un apprentissage actif où « ils ont dû créer quelque chose ».
Élargissement des connaissances : En évaluant les projets d’autres groupes, chaque étudiant découvrait des cas d’usage de l’IA qu’il n’avait pas étudiés personnellement. « Chaque étudiant étudie un projet en profondeur, mais il apprend de quatre autres sujets. »
Développement de l’esprit critique : L’évaluation des travaux des pairs a permis aux étudiants de développer leur capacité d’analyse critique.
Acquisition de compétences transversales : Le dispositif a favorisé le développement de compétences en communication, collaboration et feedback, essentielles dans le monde professionnel.
Responsabilisation des étudiants : L’évaluation intra-groupe a permis d’identifier les contributions individuelles et de responsabiliser chaque membre.
Les retours des étudiants, collectés via une enquête, révèlent des perceptions contrastées :
Points positifs mentionnés :
Appréciation du travail collaboratif en groupe
Intérêt pour le sujet du projet
Satisfaction d’appliquer les concepts d’IA à des cas concrets
Valorisation de l’expérience d’apprentissage via le feedback par les pairs
Points négatifs soulevés :
Perception d’injustice concernant l’évaluation par les pairs (particulièrement chez les étudiants ayant reçu des notes basses)
Sentiment de surcharge de travail dans le cours
Il est intéressant de noter que peu d’étudiants ont exprimé le besoin de recevoir également une évaluation de l’enseignant, peut-être grâce à la qualité du barème d’évaluation fourni, qui était « très bien précisé » avec « beaucoup de détails ».
Cette expérience a permis de dégager plusieurs enseignements importants :
L’importance d’un barème détaillé : Un barème d’évaluation précis et structuré est essentiel pour guider les étudiants dans leur rôle d’évaluateurs.
La nécessité d’un équilibre dans les méthodes d’évaluation : Le projet évalué par les pairs représentait 40% de la note finale, complété par des contrôles continus (20%) et un examen final (40%). Pour la prochaine édition, le poids du projet sera réduit à 30%, conformément aux bonnes pratiques qui recommandent de ne pas dépasser ce seuil pour l’évaluation par les pairs.
La gestion de l’IA comme outil et comme défi : L’expérience montre qu’il est possible d’intégrer l’IA de manière constructive dans l’apprentissage tout en établissant des limites claires.
L’importance de la transparence : Établir des règles claires dès le début concernant l’utilisation de l’IA et les conséquences en cas de non-respect.
La valeur de l’itération : Les difficultés rencontrées lors de cette première mise en œuvre serviront à améliorer le dispositif pour les éditions futures.
Comme le souligne Irina Otmanine, cette expérience s’inscrit dans une réflexion plus large sur la transformation de l’évaluation dans l’enseignement supérieur. On observe un « changement de posture d’évaluateur » et une évolution de la « valeur d’évaluation », avec une plus grande transparence des critères et une valorisation du processus de feedback.
L’évaluation par les pairs ne résout pas tous les problèmes, notamment ceux liés à l’utilisation de l’IA, mais elle offre une opportunité de « repenser l’évaluation » et d’établir un nouveau « contrat éthique » avec les étudiants.
Cette expérience à SKEMA Business School démontre qu’avec une préparation adéquate, un accompagnement technique approprié et une réflexion pédagogique approfondie, l’évaluation par les pairs peut être déployée efficacement même à très grande échelle, enrichissant l’expérience d’apprentissage des étudiants tout en développant des compétences essentielles pour leur future vie professionnelle.
Dans un contexte où l’IA bouleverse nos pratiques pédagogiques, cette approche illustre comment nous pouvons transformer les défis en opportunités d’innovation, en plaçant toujours l’apprentissage actif et le développement des compétences au cœur de nos préoccupations.
