Como entender o feedback de IA

Depois que o aluno ultrapassa o tempo mínimo da sessão, ele recebe um relatório de feedback. O conteúdo depende das áreas que você selecionou na etapa Avaliação ao criar a atividade. As atividades novas começam com duas áreas selecionadas; Criar com IA seleciona todas as áreas, então reduza a seleção. A forma como o relatório é escrito (nível de leitura, quantidade de detalhes e idioma das explicações, que é o inglês, a menos que você altere) fica em Configurações avançadas, na mesma etapa.

• Comunicação geral (padrão): clareza, fluência, compreensão e se os objetivos comunicativos foram alcançados
• Habilidades de conversação (padrão): fluidez, respostas adequadas, introdução de temas, perguntas de acompanhamento e alternância de falas
• Gramática e sintaxe: precisão, tempos verbais, estrutura das frases, ordem das palavras e padrões de erro
• Vocabulário e escolha de palavras: variedade, precisão e adequação ao contexto
• Adequação cultural: consciência cultural, normas sociais e registro formal/informal

A Lemon diz: Cada área acrescenta alguns pontos fortes e aspectos a trabalhar, e é instruída a não mencionar nada que a transcrição não sustente.

Esta área precisa de uma configuração que as outras não exigem. Ela avalia com base no contexto cultural que você definiu para a atividade; então, se esse campo estiver vazio, a área não tem parâmetro de comparação e fica esmaecida (Precisa de contexto cultural) até você preenchê-lo.

A Lemon diz: Preencha primeiro o Contexto cultural na etapa Cenário e só depois ative esta área. Nessa ordem.

É tentador selecionar as cinco. Na prática, um relatório com cinco áreas sobre uma conversa de seis minutos de nível iniciante fica raso: simplesmente não há registros suficientes em uma transcrição curta de iniciante para dizer algo substancial sobre cinco dimensões. Duas ou três áreas bem direcionadas geram um relatório que os alunos realmente leem.

• Atividades de nível iniciante: Comunicação geral e mais uma
• Atividades focadas em gramática: adicione Gramática e sintaxe e desative outra área
• Atividades de cultura ou registro: adicione Adequação cultural e preencha o contexto cultural
• Atividades de nível avançado: usar três ou quatro áreas é razoável; há mais registros para analisar

A Lemon diz: Escolha as áreas de acordo com o objetivo da atividade. Uma atividade de vocabulário não precisa de um relatório de gramática.

É importante deixar claro em que confiar, porque os professores, com razão, querem saber isso antes de dar peso ao feedback. Ele é confiável em aspectos visíveis no texto da conversa.

• Se o aluno alcançou o objetivo comunicativo
• Se ele manteve a conversa ou a deixou travar
• Variedade e repetição de vocabulário
• Padrões gramaticais que se repetem em várias falas
• Se os objetivos de aprendizagem foram abordados

A Lemon diz: Tudo o que aparece como padrão ao longo de toda a transcrição, ele analisa bem.

As limitações, ditas com franqueza, importam tanto quanto os pontos fortes. O feedback é gerado a partir de uma transcrição feita por reconhecimento de fala, o que significa que qualquer erro do reconhecimento passa direto para a avaliação.

• Pronúncia: não é avaliada diretamente a partir do áudio no relatório de feedback padrão
• Fala com sotaque: o reconhecimento é menos preciso, o que pode parecer erro do aluno
• Sessões muito curtas: transcrições escassas geram feedback raso e genérico
• Ocorrências isoladas: um único deslize pode receber peso demais ou de menos; padrões são mais confiáveis
• Nuance cultural: depende da qualidade do contexto cultural que você forneceu

A Lemon diz: Os alunos com maior risco de serem mal avaliados por causa da transcrição são os que têm sotaque mais forte. Vale saber disso antes de dar a nota.

Além das áreas de feedback, as conversas concluídas recebem um nível de proficiência estimado. É um indicador útil para acompanhar a evolução ao longo do período letivo, mas é uma estimativa baseada em uma única conversa curta, não um resultado de nivelamento.

• Útil para identificar uma tendência em várias atividades
• Útil para encontrar alunos muito distantes do que você esperava
• Não substitui uma avaliação de nivelamento
• Não é estável o suficiente para comparar dois alunos com base em uma única sessão de cada um

A Lemon diz: Observe a tendência ao longo do período letivo, não o número de uma única conversa.

Quando o relatório fica pronto, os alunos têm um chat de acompanhamento na página de feedback, onde podem tirar dúvidas sobre o relatório, como pedir mais exemplos de um ponto gramatical ou perguntar o que um comentário quis dizer. Ao abrir uma entrega, a aba Orientador de IA mostra essa conversa.

A Lemon diz: A aba Orientador de IA é uma janela discreta para o que confundiu o aluno. Vale uma olhada quando um relatório parece ter sido mal recebido.