Das KI-Feedback verstehen

Sobald Lernende die Mindestdauer der Sitzung überschritten haben, erhalten sie einen Feedbackbericht. Was er enthält, hängt davon ab, welche Bereiche Sie beim Erstellen der Übung im Schritt „Bewertung“ ausgewählt haben. Bei neuen Übungen sind zunächst zwei ausgewählt; „Mit KI erstellen“ wählt alle Bereiche aus – reduzieren Sie die Auswahl also. Wie der Bericht formuliert ist – Leseniveau, Detailgrad und Sprache der Erklärungen (Englisch, sofern Sie es nicht ändern) –, legen Sie im selben Schritt unter „Erweiterte Einstellungen“ fest.

• Gesamtkommunikation (Standard) – Verständlichkeit, Sprachfluss, Verstehen und ob die kommunikativen Ziele erreicht wurden
• Gesprächskompetenz (Standard) – Gesprächsfluss, angemessenes Reagieren, Themen einbringen, Nachfragen, Sprecherwechsel
• Grammatik und Syntax – Genauigkeit, Zeitformen, Satzbau, Wortstellung und Fehlermuster
• Wortschatz und Wortwahl – Umfang, Präzision und Angemessenheit für den Kontext
• Kulturelle Angemessenheit – kulturelles Bewusstsein, soziale Normen und formelles/informelles Register

Lemon sagt: Jeder Bereich steuert einige Stärken und Verbesserungspunkte bei – und darf nichts erwähnen, was das Transkript nicht belegt.

Dieser Bereich braucht eine Einrichtung, die die anderen nicht benötigen. Er bewertet anhand des kulturellen Kontexts, den Sie für die Übung festgelegt haben – ist dieses Feld leer, hat der Bereich keinen Maßstab und bleibt ausgegraut („Kultureller Kontext erforderlich“), bis Sie es ausfüllen.

Lemon sagt: Füllen Sie zuerst im Schritt „Szenario“ den kulturellen Kontext aus und aktivieren Sie dann diesen Bereich. Genau in dieser Reihenfolge.

Es ist verlockend, alle fünf auszuwählen. In der Praxis wird ein Bericht mit fünf Bereichen zu einem sechsminütigen Gespräch auf Novice-Niveau dünn – ein kurzes Transkript von Anfängerinnen und Anfängern liefert schlicht nicht genug Nachweise, um zu fünf Dimensionen etwas Substanzielles zu sagen. Zwei oder drei gezielte Bereiche ergeben einen Bericht, den Lernende tatsächlich lesen.

• Übungen auf Novice-Niveau – Gesamtkommunikation plus ein weiterer Bereich
• Übungen mit Grammatikschwerpunkt – Grammatik und Syntax hinzufügen und dafür einen anderen Bereich deaktivieren
• Übungen zu Kultur oder Register – Kulturelle Angemessenheit hinzufügen und den kulturellen Kontext ausfüllen
• Übungen auf Advanced-Niveau – drei oder vier Bereiche sind sinnvoll; es gibt mehr Nachweise, mit denen gearbeitet werden kann

Lemon sagt: Richten Sie die Bereiche danach aus, wofür die Übung gedacht war. Eine Wortschatzübung braucht keinen Grammatikbericht.

Es ist wichtig, genau zu sagen, worauf Sie sich verlassen können, denn Lehrkräfte möchten das verständlicherweise wissen, bevor sie dem Feedback Gewicht beimessen. Zuverlässig ist das Feedback bei allem, was im Text des Gesprächs sichtbar ist.

• Ob die lernende Person das kommunikative Ziel erreicht hat
• Ob sie das Gespräch am Laufen hielt oder es ins Stocken geraten ließ
• Wortschatzumfang und Wiederholungen
• Grammatische Muster, die über mehrere Gesprächsbeiträge hinweg wiederkehren
• Ob die Lernziele behandelt wurden

Lemon sagt: Alles, was sich als Muster durch das ganze Transkript zieht, erfasst es gut.

Die ehrlichen Grenzen sind genauso wichtig wie die Stärken. Das Feedback wird aus einem per Spracherkennung erstellten Transkript erzeugt. Alles, was die Spracherkennung falsch erfasst, fließt also direkt in die Bewertung ein.

• Aussprache – wird im Standard-Feedbackbericht nicht direkt anhand der Audioaufnahme bewertet
• Sprechen mit Akzent – die Erkennung ist weniger genau, was wie ein Fehler der lernenden Person aussehen kann
• Sehr kurze Sitzungen – dünne Transkripte ergeben dünnes, allgemeines Feedback
• Einzelne Vorkommnisse – ein einzelner Ausrutscher kann über- oder untergewichtet werden; Muster sind zuverlässiger
• Kulturelle Nuancen – nur so gut wie der kulturelle Kontext, den Sie angegeben haben

Lemon sagt: Am ehesten werden durch das Transkript die Lernenden mit dem stärksten Akzent falsch eingeschätzt. Das sollten Sie vor der Benotung wissen.

Neben den Feedbackbereichen erhalten abgeschlossene Gespräche ein geschätztes Sprachniveau. Es ist ein nützlicher Hinweis, um Entwicklungen über ein Semester zu verfolgen, aber es ist eine Schätzung aus einem einzigen kurzen Gespräch, kein Einstufungsergebnis.

• Nützlich, um einen Trend über mehrere Übungen hinweg zu erkennen
• Nützlich, um Lernende zu finden, die weit von Ihren Erwartungen entfernt sind
• Kein Ersatz für einen Einstufungstest
• Nicht stabil genug, um zwei Lernende anhand je einer einzigen Sitzung zu vergleichen

Lemon sagt: Achten Sie auf die Richtung über ein Semester, nicht auf den Wert aus einem einzelnen Gespräch.

Sobald ihr Bericht fertig ist, erhalten Lernende auf ihrer Feedbackseite einen Anschlusschat, in dem sie Fragen zu ihrem Bericht stellen können – etwa nach weiteren Beispielen zu einem Grammatikpunkt oder danach, was ein Kommentar bedeutet. Wenn Sie eine Abgabe öffnen, zeigt Ihnen der Tab „KI-Coach“ dieses Gespräch.

Lemon sagt: Der Tab „KI-Coach“ ist ein unaufdringlicher Einblick in das, was eine lernende Person verwirrt hat. Ein Blick lohnt sich, wenn ein Bericht offenbar schlecht angekommen ist.