跳到主要内容

教师指南

返回教师资源

理解 AI 反馈

每个反馈维度评估什么、可信度有多高,以及在哪些方面不够可靠。

批阅学生提交内容阅读约需 9 分钟8 节

五个维度,其中两个默认开启

所在位置: 活动 › 打开一个活动 › 评估

学生达到最短练习时长后,会收到一份反馈报告。报告的内容取决于你在创建活动时于“评估”步骤中选择了哪些维度。新活动默认选择两个维度;“用 AI 创建”会选择所有维度,所以请删减一下。报告的写法,包括阅读难度、详细程度和解释所用的语言(除非你更改,否则为英语),可以在同一步骤的“高级设置”中设置。

“评估”步骤,显示可为学生报告选择的反馈维度。
新建活动时,默认选中“整体沟通”和“对话技能”。
  • 整体沟通(默认):清晰度、流利度、理解能力,以及是否达成了交际目标
  • 对话技能(默认):对话流畅度、恰当回应、主动开启话题、追问、轮流发言
  • 语法与句法:准确性、时态、句子结构、语序和错误规律
  • 词汇与用词:丰富度、准确性以及是否符合语境
  • 文化得体性:文化意识、社会规范,以及正式/非正式语体

Lemon 说: 每个维度都会补充一些优点和需要加强的地方,并且 AI 被要求不提及任何文字记录无法支持的内容。

“文化得体性”需要文化背景

这个维度需要其他维度不需要的设置。它以你为活动设定的文化背景为评估依据,所以如果该字段为空,这个维度就没有可对照的标准,在你填写之前会一直显示为灰色(“需要文化背景”)。

注意: 如果之后清空了“文化背景”,这个维度会再次关闭,所以编辑情景后请重新检查“评估”步骤。

Lemon 说: 先在“情景”步骤中填写“文化背景”,再开启这一项。顺序不能反。

维度越少,报告越好

很容易想把五项全选上。但实际上,针对一段六分钟的初级对话生成五个维度的报告,内容会很单薄:初学者的简短文字记录里根本没有足够的依据,无法对五个维度都给出实质性的评价。选择两到三个重点维度,生成的报告学生才会真正去读。

  • 初级活动:“整体沟通”加上另外一项
  • 以语法为重点的活动:添加“语法与句法”,并关闭另一个维度
  • 文化或语体类活动:添加“文化得体性”,并填写文化背景
  • 高级活动:三到四个维度比较合适,因为可供评估的证据更多

Lemon 说: 反馈维度要和活动的目的相匹配。词汇活动不需要一份语法报告。

反馈真正擅长的方面

明确说明哪些方面值得信赖很重要,因为教师在看重这些反馈之前,理所当然想先了解这一点。对于在对话文本中看得到的内容,反馈是可靠的。

  • 学生是否达成了交际目标
  • 学生是让对话持续进行,还是让它陷入停滞
  • 词汇丰富度与重复
  • 在多次发言中反复出现的语法规律
  • 是否涉及了学习目标

Lemon 说: 凡是在整份文字记录中反复出现的规律,它都能把握得很好。

薄弱之处,以及对评分的影响

坦诚说明局限和介绍优点同样重要。反馈是根据语音识别生成的文字记录得出的,这意味着识别器出的任何错误都会直接带入评估。

  • 发音:标准反馈报告不会直接根据音频进行评估
  • 带口音的发音:语音识别的准确度较低,看起来可能像是学习者出错了
  • 练习时间过短:文字记录内容单薄,反馈也会单薄、空泛
  • 单次情况:某一次失误的分量可能被高估或低估;规律更可靠
  • 文化细节:准确度取决于你提供的文化背景
注意: 请把 AI 报告当作初步检查和节省时间的工具,而不是成绩。如果它会对学生的分数产生实质影响,请在采纳其结论之前打开文字记录并听一听音频。

Lemon 说: 最容易被文字记录误判的,恰恰是口音最重的学生。评分前值得了解这一点。

水平估计

除了各个反馈维度,完成的对话还会得到一个估计的水平等级。它是追踪整个学期进步情况的有用信号,但只是根据一次简短对话做出的估计,并不是分级测试的结果。

  • 便于发现多个活动中的共同趋势
  • 便于找出与你预期相差很大的学生
  • 不能替代分级测试
  • 不够稳定,不能仅凭两名学生各一次的练习来比较他们

Lemon 说: 要看一个学期里的变化趋势,而不是某一次对话的数字。

AI 教练

报告生成后,学生可以在反馈页面上进行后续聊天,就报告提问,比如请求某个语法点的更多例子,或者问某条评语是什么意思。打开学生的提交内容时,“AI 教练”选项卡会显示这段对话。

Lemon 说: “AI 教练”选项卡能让你悄悄看到学生在哪里感到困惑。如果某份报告似乎没能让学生理解或接受,不妨看一眼。

怎样让学生真正去读反馈

最常见的问题不在于反馈质量,而在于学生练习结束后看到一大段文字,就直接关掉了。有几种做法能带来明显改善。

  • 报告限定在两到三个维度,篇幅够短,学生才读得完
  • 在课堂上提及反馈:课堂上讨论过的内容,学生才会去读
  • 将同一个活动布置两次,并问学生两次尝试之间有什么变化
  • 让学生从报告中选一句话,带到下一次课上

Lemon 说: 没人看的反馈,就等于没有反馈。一份在课堂上提到的简短报告,胜过一份没人打开的详尽报告。

在 ChitterChatter 上观看这些操作演示。