Learning Analytics: Wann ist Personalisierung diskriminierend?

Foto: piqsels.com

LEARNING ANALYTICS: WANN IST PERSONALISIERUNG DISKRIMINIEREND?

von Alina Köchling und Shirin Riazy

veröffentlicht am 29.06.2020

Durch digitale Lernplattformen können vermehrt Daten über Lernende, Lerninhalte und die Lernsituation ausgewertet werden. Die algorithmische Analyse nennt sich Learning Analytics. Diese Analyse ermöglicht einen individuellen Lernprozess sowie eine Früherkennung von Lernschwächen. Learning Analytics bergen allerdings auch einige Nachteile.

Vermehrt wird auf digitale Lernplattformen zur Ergänzung des Unterrichts zurückgegriffen. Durch die Verwendung dieser digitalen Lernplattformen fallen immer mehr Daten über die Lernenden und ihren Lernprozess an. Diese Daten können algorithmisch ausgewertet werden. Die computergestützte algorithmische Auswertung wird auch als Learning Analytics bezeichnet.

Ziel von Learning Analytics ist es, mithilfe der Datenerhebung und anschließender Analyse den Lernenden Unterstützung zu geben und somit die Lehre effektiver und effizienter zu gestalten (Slade & Prinsloo, 2013). Wichtige Analysefaktoren sind dabei Daten, die den Lernprozess an sich betreffen (z. B. betrachtete Lehrmaterialien, Anzahl der absolvierten Übungen, benötigte Zeit), Kennzahlen, die den Lernerfolg an sich betreffen (z. B. Punkte, richtige Lösungen) und Daten über die Lehrkraft an sich, wie z.B. demografische Merkmale und Persönlichkeitseigenschaften (Shahiri 2015, Schumacher & Ifenthaler 2018; Rubel & Jones 2016). Um die Arbeit der Lehrkräfte zu erleichtern, werden ferner automatisierte Bewertungshilfen implementiert. Diese reichen von Frühwarnsystemen für leistungsschwache Schüler*innen bis hin zu automatischen Textanalysesystemen, die Aufsätze korrigieren.

Learning Analytics als Chance für individualisierte Unterstützung

Die Anwendung von Learning Analytics bietet einige Vorteile sowohl für den Lernenden als auch für die Lehrkräfte. Oftmals macht die Fülle an Daten es für die Lehrkraft unmöglich, die Daten manuell auszuwerten. Learning Analytics können hier Abhilfe schaffen, denn sie erlauben die systematisierte und automatisierte Auswertung großer Datenmengen. Diese Form der Auswertung hat den Vorteil, dass die Analyse rein auf den zur Verfügung stehenden Daten erfolgt und dadurch zeitlich stabil und wiederholbar, also für die Anwender*innen der Software objektiv und zuverlässig ist. Dadurch scheinen die Prognosen von Learning Analytics im ersten Moment valider als die Korrekturen einer Lehrkraft, die womöglich auch von der persönlichen Verfassung abhängt.

Anhand der Prognosen kann die Lehrkraft ganz gezielt auf die individuellen Bedürfnisse der Lernenden eingehen (z. B. mit Leseempfehlungen oder Tutorien) und individuelles Feedback geben (Schumacher & Ifenthaler 2018; Rubbel & Jones, 2017; Jones & Salo 2017). Ein erheblicher Vorteil ist die schnelle Identifizierung von Lernschwächen und die damit verbundene Möglichkeit der frühzeitigen Intervention (Gašević et al., 2016, Rubbel & Jones, 2017). George Siemens, einer der Urväter von Learning Analytics, sieht darin eine komplett personalisierte und individualisierte Lernumgebung für jede*n Schüler*in und somit die höchste Entwicklungsstufe von Lernumgebungen. Eine bestmögliche Anpassung an jeden Lernenden wäre damit das höchste Ziel von Lernumgebungen und -materialien. Bei bedachter Anwendung bieten Learning Analytics bereits jetzt die Möglichkeit, den Lernerfolg zu steigern sowie den Unterricht effektiver und effizienter zu gestalten.

Learning Analytics bieten auch Diskriminierungspotenzial

Die Verwendung von Learning Analytics birgt neben den Vorteilen allerdings auch einige Risiken, die beachtet werden sollten. Oftmals basieren die Analysen auf Methoden des maschinellen Lernens und können auf unausgewogenen Datensätzen basieren, was zu diskriminierenden und unausgewogenen Vorhersagen führen kann (Dressel 2018). Algorithmen lernen aus Trainingsdaten, welche als Beispiele anzusehen sind. Aus diesen Beispielen werden Schlussfolgerungen gezogen, die dann auf andere Datensätze angewendet werden. Oftmals ist es für die Anwender*innen schwierig nachzuvollziehen, wie das System auf die Schlussfolgerungen kommt. Die Kategorisierung erfolgt häufig auf Basis von demografischen Merkmalen, Lerntypen oder Lernprozessen (Shahiri 2016). Diese Datensätze können unausgewogen sein etwa in Hinblick auf das Alter oder Geschlecht. Es wäre beispielsweise der Fall denkbar, dass sämtliche weibliche Lernenden bessere Noten haben als ihre männlichen Kollegen. Wird dieser Datensatz als Beispiel bestimmt und der Algorithmus lernt auf Basis der Daten, könnte dieser daraus schlussfolgern, dass männliche Lernende grundsätzlich schlechtere Ergebnisse erzielen. Durch eine solche Kategorisierung würden Lernende aufgrund ihres Geschlechts unterschiedlich behandelt und damit diskriminiert werden. Um solche ungewollten Effekte zu vermeiden, sollte das Diskriminierungspotenzial bei der Auswahl der Datensätze immer mitgedacht werden.

Oftmals können, selbst wenn die demografischen Daten nicht explizit abgefragt wurden, durch die Datenstrukturen die Lernenden implizit als Teil einer Gruppe identifiziert werden (Kamishima 2012). Wenn Lernende falsch kategorisiert worden sind, verbirgt das die Gefahr, dass die Intervention oder das Lernmaterial die Lernenden unter- oder überfordern könnten. Diskriminierungspotenzial kann auch entstehen, wenn Lernenden mit niedrigerem sozialem Status oder bestimmtem Geschlecht ein niedrigerer Lernerfolg prognostiziert wird. Beispielsweise könnte ein Algorithmus in historischen Daten Tendenzen erkennen, dass weibliche Lernende in naturwissenschaftlichen Fächern schlechter abschneiden und daraus schlussfolgern, dass ein niedriger Lernerfolg auch für die Zukunft zu prognostizieren sei.

Doch nicht nur nach demografischen Kategorien wie Alter, Geschlecht oder soziale Merkmale kann diskriminiert werden. Auch durch persönliche Präferenzen und beispielsweise die Affinität zu technischen Geräten können Gruppenunterschiede entstehen. In vielen Vorhersagemodellen wird das Aktivitätsniveau von Lernenden auf einer Lernplattform als Prädiktor für den Lernerfolg gewählt. Dies führt allerdings dazu, dass die Offlinelernaktivitäten nicht mit berücksichtigt werden. Die Ressourcen, die offline verwendet worden sind, fließen in einem solchen Fall nicht mit in die Bewertung ein (Jones & Salo 2017). So kann es sein, dass lernintensive Nutzer*innen als schwache Lerntypen kategorisiert werden, da ihre Lernaktivitäten überwiegend offline stattfinden. Das Lernverhalten außerhalb der digitalen Lernumgebung wird nicht mit berücksichtigt. Insgesamt können überhaupt nur wenige Dimensionen über die Lernumgebung erfasst werden. Es ist bislang noch unklar, ob die erfassten Merkmale eine ausreichende Beschreibung aller Lernenden liefern, um deren Lernerfolg zu prognostizieren.

Ein weiteres Risiko in allen algorithmischen Auswertungen ist das sogenannte Gaming oder Creaming des Algorithmus, also die bewusste Ausnutzung seiner Schwachstellen. Falls sich beispielsweise herumspricht, dass in die Benotung einfließt, ob und wann man bereitgestellte Lernmaterialien heruntergeladen hat, so werden sicherlich die meisten Nutzer*innen dafür sorgen, dies rechtzeitig zu tun, auch wenn dies keine weitere Auswirkung auf ihr Lernverhalten haben sollte. Lernende denen bewusst ist, dass ihre Daten ausgewertet werden, könnten versuchen die Daten durch vermehrte Log-ins, Downloads von Lehrmaterialien sowie Beteiligungen im Diskussionsforum zu beeinflussen (Knight, Shum & Littleton 2014). Gleichzeitig entsteht ein Nachteil für all jene, die das nicht tun.

DREI FRAGEN AN ALINA KÖCHLING & SHIRIN RIAZY

In welchen konkreten Szenarien im allgemeinbildenden Schul- und Unterrichtskontext könnten Learning Analytics am sinnvollsten zum Einsatz kommen?
Learning Analytics beschäftigen sich mit einem weiten Spektrum an Möglichkeiten der Messung und Analyse von Lernenden, sowie der Optimierung des Lernumfelds. In unserem Projekt weisen wir auf die Gefahren von Datenauswertungen hin, die derzeit im Allgemeinen im Bereich der künstlichen Intelligenz beobachtet werden. Viele losgelöste Konzepte, wie beispielsweise Methoden und Werkzeuge zur Selbstreflexion bei denen Schüler*innen ihren Fortschritt selbst beobachten und verfolgen können, können ohne Bedenken im Schulalltag zum Einsatz kommen.

Welche Potenziale ergeben sich in der Anwendung von Learning Analytics mit Blick auf Bildungsgerechtigkeit und Teilhabe?
Die Diskriminierung von Minderheiten ist (leider) alltäglich. Einzelnen Personen können – teilweise unbewusste – diskriminierende Neigungen allerdings nur schwer nachgewiesen werden. Algorithmen, die großflächiger zum Einsatz kommen sollen, können systematisch überprüft und womöglich kalibriert werden, sofern sie diskriminierend sind. Dies könnte auch im Allgemeinen dazu führen, dass Entscheidungsprozesse im Bereich Learning Analytics objektiver, transparenter und replizierbarer werden.

Sie untersuchen im Projekt  LADi – Learning Analytics und Diskriminierung besonders das Diskriminierungspotenzial von Learning Analytics. Kann es gelingen, diskriminierungsfreie Algorithmen zu entwickeln oder wird dies eher eine Utopie bleiben?
Es werden bereits viele Algorithmen mit der Behauptung veröffentlicht, diskriminierungsfrei zu sein. Leider kann Diskriminierung aus vielen unterschiedlichen Perspektiven passieren. Die Definitionen von algorithmischer Fairness sind nicht nur sehr unterschiedlich, sondern teilweise auch widersprüchlich. Auch eine Gesichtserkennungssoftware beispielsweise, die bei dunkelhäutigen Menschen schlechter funktioniert, ist diskriminierend. Das Konzept der „ungewissen Unbekannten“ führt dazu, dass aktuell zunächst erst die Möglichkeiten, Perspektiven und Rahmenbedingungen für Diskriminierung systematisch überprüft werden. Völlig diskriminierungsfreie Algorithmen sind daher aus heutiger Sicht zumindest weit entfernt.

Technologien alleine sollten nicht die Praxis bestimmen

Bei der Anwendung und Implementierung von Learning Analytics sollte von Bildungsinstitutionen beachtet werden, dass Technologien alleine nicht die Praxis bestimmen. Vor allem Datenschutzfragen sollten geklärt sein. Diese beinhalten die Dateninterpretation, die Dateneinwilligung, die Datenschutzaufklärung, die Datenidentifikation sowie die Datenverwaltung und -speicherung (Rubbel & Jones 2017; Schumacher & Ifenthaler 2018; Slade & Prinsloo 2013). Außerdem sollten die Nachteile und Risiken algorithmischer Analysen auch in Hinblick auf Diskriminierung bedacht werden. Lernende sollten dabei als Mitentscheidende in den Implementierungs- und anschließend in den Lernprozess einbezogen werden. Sie sollten über die Erfassung ihrer Daten sowie die angewendeten Algorithmen informiert werden und eventuell sogar Wahlmöglichkeiten bei der Erhebung und der Verwendung ihrer Daten haben (Rubel und Jones, 2016). Hilfreich bei der Verwendung und Implementierung von Learning Analytics sind existierende Verhaltenskodizes wie beispielsweise die DELICATE Checkliste von Drachsler und Greller (2016) oder der „Code of practice for learning analytics“ des Joint Information Systems Committees  (Jics 2015). Insgesamt sollte der Umgang mit Learning Analytics bedacht und transparent erfolgen. Lehrkräfte sollten Learning Analytics als hilfreiche Ergänzung ansehen, den Einsatz des Systems auch stets kritisch hinterfragen.

Alina Köchling ist wissenschaftliche Mitarbeiterin und Doktorandin an der Heinrich-Heine-Universität Düsseldorf an der Juniorprofessur für Unternehmensführung und Mitarbeiterin des Forschungsprojekts LADi (Learning Analytics und Diskriminierung).

Dr. Shirin Riazy  ist wissenschaftliche Mitarbeiterin an der Hochschule für Technik und Wirtschaft Berlin im Fachbereich Informatik, Kommunikation und Wirtschaft und Mitarbeiterin des Verbundprojekts LADi (Learning Analytics und Diskriminierung).

Das Projekt LADi – Learning Analytics und Diskriminierung beschäftigt sich damit, wie Diskriminierung nach Geschlecht, Alter, Herkunft oder Lerntyp durch den Einsatz von algorithmischen Auswertungen in digitalen Lernsystemen und -prozessen begünstigt oder verhindert werden kann.