Comprendre les retours de l’IA

Une fois la durée minimale de séance atteinte, l’étudiant reçoit un rapport de retour pédagogique. Son contenu dépend des domaines que vous avez sélectionnés à l’étape Évaluation lors de la création de l’activité. Les nouvelles activités commencent avec deux domaines sélectionnés ; Créer avec l’IA les sélectionne tous : pensez donc à en retirer. La façon dont le rapport est rédigé (niveau de lecture, niveau de détail et langue des explications, l’anglais sauf si vous la modifiez) se règle dans Paramètres avancés, à la même étape.

• Communication globale (par défaut) : clarté, aisance, compréhension, atteinte des objectifs de communication
• Compétences conversationnelles (par défaut) : fluidité du dialogue, réponses appropriées, prise d’initiative sur les sujets, questions de relance, tours de parole
• Grammaire et syntaxe : exactitude, temps verbaux, structure des phrases, ordre des mots et erreurs récurrentes
• Vocabulaire et choix des mots : étendue, précision et adéquation au contexte
• Adéquation culturelle : sensibilité culturelle, normes sociales et registre formel ou informel

Lemon dit : Chaque domaine ajoute quelques points forts et quelques points à travailler, et la consigne interdit de mentionner quoi que ce soit que la transcription n’étaye pas.

Ce domaine exige une configuration dont les autres n’ont pas besoin. Il évalue par rapport au contexte culturel que vous avez défini pour l’activité : si ce champ est vide, le domaine n’a aucune référence pour mesurer, et il reste grisé (Nécessite un contexte culturel) jusqu’à ce que vous remplissiez ce champ.

Lemon dit : Renseignez d’abord le Contexte culturel à l’étape Scénario, puis activez ce domaine. Dans cet ordre.

Il est tentant de sélectionner les cinq. En pratique, un rapport sur cinq domaines pour une conversation de six minutes au niveau Novice se dilue : une courte transcription de débutant ne contient tout simplement pas assez d’éléments pour dire quelque chose de substantiel sur cinq dimensions. Deux ou trois domaines ciblés produisent un rapport que les étudiants lisent vraiment.

• Activités de niveau Novice : Communication globale et un autre domaine
• Activités axées sur la grammaire : ajoutez Grammaire et syntaxe et désactivez un autre domaine
• Activités sur la culture ou le registre : ajoutez Adéquation culturelle et renseignez le contexte culturel
• Activités de niveau Avancé : trois ou quatre domaines, c’est raisonnable ; il y a davantage d’éléments sur lesquels s’appuyer

Lemon dit : Choisissez les domaines en fonction de l’objectif de l’activité. Une activité de vocabulaire n’a pas besoin d’un rapport de grammaire.

Il importe de préciser à quoi se fier, car les enseignants veulent légitimement le savoir avant d’y accorder du poids. Les retours sont fiables pour tout ce qui est visible dans le texte de la conversation.

• Si l’étudiant a atteint l’objectif de communication
• S’il a entretenu la conversation ou l’a laissée s’essouffler
• Étendue et répétition du vocabulaire
• Les schémas grammaticaux qui reviennent sur plusieurs répliques
• Si les objectifs d’apprentissage ont été traités

Lemon dit : Les retours traitent bien tout ce qui se manifeste comme une tendance sur l’ensemble de la transcription.

Les limites réelles comptent autant que les points forts. Les retours sont générés à partir d’une transcription issue de la reconnaissance vocale : tout ce que la reconnaissance comprend mal se répercute directement dans l’évaluation.

• Prononciation : non évaluée directement à partir de l’audio dans le rapport de retour pédagogique standard
• Parole avec accent : la reconnaissance est moins précise, ce qui peut ressembler à une erreur de l’apprenant
• Séances très courtes : des transcriptions maigres produisent des retours maigres et génériques
• Cas isolés : une seule erreur peut être surpondérée ou sous-pondérée ; les tendances sont plus fiables
• Nuances culturelles : elles ne valent que ce que vaut le contexte culturel que vous avez fourni

Lemon dit : Les étudiants les plus susceptibles d’être mal jugés à partir de la transcription sont ceux qui ont l’accent le plus marqué. Bon à savoir avant de noter.

En plus des domaines du retour pédagogique, les conversations terminées reçoivent une estimation du niveau. C’est un indicateur utile pour suivre l’évolution au cours du semestre, mais il s’agit d’une estimation tirée d’une seule courte conversation, pas d’un résultat de test de positionnement.

• Utile pour repérer une tendance sur plusieurs activités
• Utile pour repérer les étudiants très éloignés de ce que vous attendiez
• Ne remplace pas un test de positionnement
• Pas assez stable pour comparer deux étudiants à partir d’une seule séance chacun

Lemon dit : Regardez l’évolution sur le semestre, pas le chiffre d’une seule conversation.

Une fois leur rapport prêt, les étudiants disposent d’une discussion de suivi sur leur page de retour pédagogique, où ils peuvent poser des questions sur leur rapport : obtenir plus d’exemples sur un point de grammaire ou comprendre le sens d’un commentaire. Lorsque vous ouvrez un travail remis, l’onglet Coach IA vous montre cette conversation.

Lemon dit : L’onglet Coach IA est une fenêtre discrète sur ce qui a dérouté un étudiant. Il vaut le coup d’œil quand un rapport semble avoir été mal reçu.