Cómo entender los comentarios de IA

Cuando un estudiante supera el tiempo mínimo de sesión, recibe un informe de comentarios. Su contenido depende de las áreas que seleccionaste en el paso Evaluación al crear la actividad. Las actividades nuevas empiezan con dos áreas seleccionadas; Crear con IA selecciona todas, así que conviene recortarlas. La forma en que está redactado —nivel de lectura, nivel de detalle e idioma de las explicaciones (inglés, a menos que lo cambies)— se define en Ajustes avanzados, en el mismo paso.

• Comunicación general (predeterminada): claridad, fluidez, comprensión y si se lograron los objetivos comunicativos
• Destrezas de conversación (predeterminada): continuidad, respuestas adecuadas, iniciativa para proponer temas, preguntas de seguimiento y alternancia de turnos
• Gramática y sintaxis: precisión, tiempos verbales, estructura de las oraciones, orden de las palabras y patrones de error
• Vocabulario y elección de palabras: variedad, precisión y adecuación al contexto
• Adecuación cultural: conciencia cultural, normas sociales y registro formal/informal

Lemon dice: Cada área añade algunos puntos fuertes y aspectos en los que trabajar, y tiene instrucciones de no mencionar nada que la transcripción no respalde.

Esta área necesita una configuración que las demás no requieren. Evalúa en función del contexto cultural que definiste para la actividad, así que si ese campo está vacío, el área no tiene con qué comparar y permanece atenuada (Requiere contexto cultural) hasta que lo completes.

Lemon dice: Primero completa Contexto cultural en el paso Escenario y luego activa esta área. En ese orden.

Es tentador seleccionar las cinco. En la práctica, un informe de cinco áreas sobre una conversación de seis minutos de nivel Principiante se dispersa demasiado: simplemente no hay suficientes evidencias en una transcripción breve de principiante para decir algo sustancial sobre cinco dimensiones. Dos o tres áreas bien enfocadas producen un informe que los estudiantes realmente leen.

• Actividades de nivel Principiante: Comunicación general y una más
• Actividades centradas en la gramática: añade Gramática y sintaxis y desactiva otra área
• Actividades de cultura o registro: añade Adecuación cultural y completa el contexto cultural
• Actividades de nivel Avanzado: lo razonable son tres o cuatro áreas; hay más evidencias con las que trabajar

Lemon dice: Elige las áreas según el propósito de la actividad. Una actividad de vocabulario no necesita un informe de gramática.

Es importante precisar en qué se puede confiar, porque es lógico que los docentes quieran saberlo antes de darles peso. Los comentarios son confiables en lo que se ve en el texto de la conversación.

• Si el estudiante logró el objetivo comunicativo
• Si mantuvo la conversación o dejó que se estancara
• Variedad y repetición del vocabulario
• Patrones gramaticales que se repiten en varias intervenciones
• Si se abordaron los objetivos de aprendizaje

Lemon dice: Todo lo que aparece como un patrón a lo largo de toda la transcripción lo maneja bien.

Los límites, reconocidos con honestidad, importan tanto como los puntos fuertes. Los comentarios se generan a partir de una transcripción hecha con reconocimiento de voz, lo que significa que cualquier error del reconocedor pasa directamente a la evaluación.

• Pronunciación: no se evalúa directamente a partir del audio en el informe de comentarios estándar
• Habla con acento: el reconocimiento es menos preciso, lo que puede parecer un error del estudiante
• Sesiones muy cortas: las transcripciones escasas producen comentarios escasos y genéricos
• Casos aislados: un solo desliz puede recibir demasiado o muy poco peso; los patrones son más confiables
• Matices culturales: su calidad depende del contexto cultural que proporcionaste

Lemon dice: Los estudiantes con más probabilidades de ser mal evaluados por la transcripción son los que tienen el acento más marcado. Vale la pena saberlo antes de calificar.

Además de las áreas de comentarios, las conversaciones completadas reciben un nivel de dominio estimado. Es un indicador útil para seguir la evolución a lo largo de un periodo, pero es una estimación basada en una sola conversación breve, no el resultado de una prueba de ubicación.

• Útil para detectar una tendencia a lo largo de varias actividades
• Útil para encontrar estudiantes que están lejos de donde esperabas
• No sustituye una evaluación de ubicación
• No es lo bastante estable como para comparar a dos estudiantes con una sola sesión de cada uno

Lemon dice: Fíjate en la tendencia a lo largo del periodo, no en el número de una sola conversación.

Cuando su informe está listo, los estudiantes tienen un chat de seguimiento en su página de comentarios donde pueden hacer preguntas sobre su informe; por ejemplo, pedir más ejemplos de un punto gramatical o preguntar qué quería decir un comentario. Cuando abres una entrega, la pestaña Tutor de IA te muestra esa conversación.

Lemon dice: La pestaña Tutor de IA es una ventana discreta a lo que confundió a un estudiante. Vale la pena echarle un vistazo cuando parece que un informe no fue bien recibido.