AIフィードバックを理解する

学生がセッションの最短時間を超えると、フィードバックレポートが届きます。その内容は、アクティビティ作成時に「評価」ステップで選んだ項目によって決まります。新しいアクティビティでは、最初から2つの項目が選択されています。「AIで作成」ではすべての項目が選択されるので、絞り込みましょう。レポートの書き方（読みやすさ、詳しさ、説明に使う言語）は、同じステップの「詳細設定」で設定します。説明の言語は、変更しない限り英語です。

• 総合的なコミュニケーション（初期設定）：伝わりやすさ、流暢さ、理解度、コミュニケーションの目標を達成できたか
• 会話のスキル（初期設定）：会話の流れ、適切な応答、話題の切り出し、掘り下げる質問、話者交替
• 文法と構文：正確さ、時制、文の構造、語順、誤りの傾向
• 語彙と語の選択：語彙の幅、的確さ、文脈への適切さ
• 文化的な適切さ：文化への意識、社会的規範、丁寧な言葉づかいとくだけた言葉づかいの使い分け

レモンより： 各項目では、長所と取り組むべき点がいくつか示されます。また、文字起こしで裏付けられないことには触れないよう指示されています。

この項目には、ほかの項目にはない設定が必要です。アクティビティに設定した文化的背景を基準に評価するため、その欄が空欄だと比較の基準がありません。入力するまで、この項目はグレー表示（「文化的背景が必要です」）のままです。

レモンより： まず「シナリオ」ステップで「文化的背景」を入力し、それからこの項目を有効にしてください。必ずこの順番で。

5つすべてを選びたくなるものです。しかし実際には、6分間の初級レベルの会話で5項目のレポートを作ると、内容が薄くなります。初心者の短い文字起こしには、5つの観点について実質的なことを言えるだけの根拠がないのです。焦点を絞った2～3項目なら、学生が実際に読むレポートになります。

• 初級のアクティビティ：「総合的なコミュニケーション」とほかに1つ
• 文法重視のアクティビティ：「文法と構文」を追加し、ほかの項目を1つ無効にする
• 文化や言葉づかいのアクティビティ：「文化的な適切さ」を追加し、文化的背景を入力する
• 上級のアクティビティ：3～4項目が妥当。判断材料となる根拠が多いため

レモンより： 項目はアクティビティの目的に合わせましょう。語彙のアクティビティに文法のレポートは不要です。

何を信頼できるのかを具体的に示すことが大切です。教員がフィードバックを重視する前にそれを知りたいと考えるのは当然だからです。フィードバックは、会話のテキストに表れていることについては信頼できます。

• 学生がコミュニケーションの目標を達成できたか
• 会話を続けられたか、それとも途切れさせてしまったか
• 語彙の幅と繰り返し
• 複数の発言にわたって繰り返される文法の傾向
• 学習目標に取り組めたか

レモンより： 文字起こし全体にわたって傾向として表れることなら、しっかり捉えられます。

長所と同じくらい、限界を正直に知っておくことも重要です。フィードバックは音声認識による文字起こしから生成されます。つまり、音声認識の誤りはそのまま評価に反映されます。

• 発音：標準のフィードバックレポートでは、音声から直接は評価されない
• なまりのある発話：認識の精度が下がり、学習者の誤りのように見えることがある
• 非常に短いセッション：文字起こしの内容が少ないと、フィードバックも薄くありきたりになる
• 単発の事例：1回のミスが過大または過小に評価されることがある。傾向のほうが信頼できる
• 文化的なニュアンス：精度は入力した文化的背景の質しだい

レモンより： 文字起こしによって最も誤って評価されやすいのは、なまりが最も強い学生です。採点の前に知っておきたいポイントです。

完了した会話には、フィードバック項目に加えて、推定の習熟度レベルが示されます。学期を通じた変化を追うのに役立つ指標ですが、あくまで1回の短い会話に基づく推定であり、クラス分けテストの結果ではありません。

• 複数のアクティビティにわたる傾向の把握に役立つ
• 予想から大きく外れている学生を見つけるのに役立つ
• クラス分けテストの代わりにはならない
• 1回ずつのセッションで2人の学生を比較できるほど安定していない

レモンより： 1回の会話の数値ではなく、学期を通じた変化の方向を見てください。

レポートができあがると、学生はフィードバックページでフォローアップのチャットを利用し、レポートについて質問できます。たとえば、ある文法事項の例をもっと知りたいときや、コメントの意味を確かめたいときです。提出物を開くと、「AIコーチ」タブでその会話を確認できます。

レモンより： 「AIコーチ」タブからは、学生が何に戸惑ったのかがさりげなくわかります。レポートがうまく伝わらなかったように見えるときは、一度のぞいてみる価値があります。