Spätestens mit dem Hype rund um die automatisierte Textproduktion durch den Bot ChatGPT zu Beginn dieses Jahres ist die Diskussion um die zukünftige Rolle von künstlicher Intelligenz (KI) in Bildungskontexten voll entbrannt. Die beeindruckende Fähigkeit zur Imitation von Genres und zur plausiblen Kopplung von Inhalten hat den Fokus dieser Diskussionen auf das Problem von «Authentizität und Fälschung» und den angemessenen pädagogischen Umgang mit solchen Technologien rücken lassen. Eine andere Thematik ist dabei tendenziell aus dem Blick geraten: die grundlegenden Gerechtigkeitsfragen, die mit dem Einsatz von KI in Bildungskontexten einhergehen. 

Diese Fragen ergeben sich aus dem zentralen Versprechen, das mit KI in der Bildung verbunden wird: durch die radikale Personalisierung von Lernprozessen mehr Bildungsgerechtigkeit zu ermöglichen. Dieser Hoffnung stehen ernstzunehmende Warnungen vor den Gefahren algorithmischer Diskriminierung gegenüber: KI identifiziert Muster in grossen, historischen Datensätzen und ist daher anfällig dafür, bestehende Benachteiligungsmuster zu reproduzieren. 

Diese Problematik ist Ausgangspunkt für ein vom Schweizerischen Nationalfonds (SNF) finanziertes Forschungsprojekt, das vor Kurzem an der Pädagogischen Hochschule Zürich begonnen wurde. In diesem Artikel konturieren wir die leitende Problemstellung dieses Projekts und geben einen Ausblick auf mögliche Erkenntnisse und Erträge des Vorhabens. Im Fokus stehen die voraussetzungs- und folgenreichen Klassifikationen, die mit künstlicher Intelligenz bzw. mit Methoden maschinellen Lernens einhergehen. Um diese Klassifikationen und ihre Implikationen angemessen zu verstehen, muss zunächst das Wechselspiel von pädagogischem und technologischem Feld in der Entwicklung und Nutzung solcher Bildungstechnologien entschlüsselt werden. 

Im Folgenden wird zunächst ein Überblick zu aktuellen Formen und Funktionen KI-gestützter Bildungstechnologien gegeben. Auf dieser Grundlage werden dann leitende Annahmen, Anliegen und zu erwartende Erkenntnisse des Projekts «Algorithmic Sorting in Education»¹ skizziert.

KI wird in medialen Debatten häufig als ultimative Zukunftsvision unseres digitalen Zeitalters präsentiert (Jasanoff, 2015; Selwyn, 2022). Diese Form der Rahmung lenkt davon ab, dass von künstlicher Intelligenz schon seit vielen Jahrzehnten die Rede ist – und sich die grundlegenden Visionen gerade hinsichtlich ihrer Nutzung in Bildungsbereichen erstaunlich wenig verändert haben. Im Zentrum steht stets die Vision einer automatisierten und radikalen Personalisierung des Lernens (Skinner, 1958; du Boulay, 2019). 

Aktuelle Spielarten künstlicher Intelligenz zeichnen sich vor allem durch die Art und Weise aus, wie sie diese Vision verwirklichen sollen. Im Kern geht es um das Erkennen von Mustern (statistischen Regelmässigkeiten ohne jede Unterstellung von kausalen Zusammenhängen) in grossen Datenmengen zur Kategorisierung von neuen Daten. Mit den heute vorliegenden enormen Datenmengen aus verschiedensten Quellen wird KI-gestützte Klassifikation für vielfältige Zwecke genutzt. So werden aus Daten zu Lern- und Prüfungsverhalten individuelle Erfolgsprognosen abgeleitet, um frühzeitig vermeintlich problematische Lernverläufe zu identifizieren. KI kann aber beispielsweise auch für die automatisierte Bewertung von Texten eingesetzt werden. Im Hintergrund werden dabei stets neue mit alten (in bestehenden Daten abgebildeten) Fällen verglichen. Der ambitionierte Begriff der Intelligenz wird also auf eine einzige kognitive Funktion reduziert: Klassifikation (Horvath, 2020). 

Von anderen Algorithmen unterscheidet sich das, was heute als KI bezeichnet wird, durch die implizite und indirekte Form, zu solchen Klassifikationen zu kommen (Dourish, 2016). Ein Algorithmus ist zunächst nichts anderes als eine Sammlung von Regeln zur Erledigung von Aufgaben. «Traditionelle» Algorithmen bestehen beispielsweise aus Regeln der Form «Wenn …, dann …», in denen Handlungsbedingungen und -anweisungen explizit benannt werden (Neyland & Möllers, 2017). 

KI-gestützte Algorithmen im heute üblichen Sprachgebrauch folgen demgegenüber der Idee Maschinellen Lernens: Der Algorithmus wird mit einem grossen Datensatz «trainiert». Bestimmten Handlungsanweisungen folgend sucht er darin nach auffälligen Mustern, die in Verbindung mit einem bestimmten Ergebnis auftreten. KI-Algorithmen «lernen» also zunächst an vorgelegten Beispielen, wie diese einzuschätzen sind. Die gefundenen Muster werden als Entscheidungsregeln auf neue Daten angewendet. 

Welche Faktoren in welcher Kombination und welcher Gewichtung dabei im Hintergrund den Ausschlag geben, bleibt selbst für Programmierer:innen solcher Algorithmen meist unklar. Klar ist nur, welche Daten dem Algorithmus zur Verfügung stehen, nicht aber, wie diese genau zur Klassifikation von Fällen genutzt werden. KI-gestützte Algorithmen ähneln damit der Kategorisierungsarbeit durch Expert:innen, die auf Basis langjähriger Erfahrung mehr oder weniger unbewusst Muster erkennen und darauf reagieren können. Sie «spüren», was für eine Art von Fall gerade vorliegt. 

Nicht nur der Begriff der künstlichen Intelligenz ist seit Langem gebräuchlich, auch die konkreten Techniken, die heute zum Einsatz kommen, sind alles andere als neu. Ob neuronale Netze oder Entscheidungsbäume – in ihren Grundzügen sind die Verfahren, die moderne KI nutzt, seit vielen Jahrzehnten etabliert. Neu sind aber die schiere Menge an Daten, in denen Algorithmen heute nach Mustern suchen können, sowie die Geschwindigkeit, mit der sie das aufgrund heutiger Rechnerleistungen tun. 

Das Potenzial von KI liegt in der Vielfalt an Aufgaben, für die sie genutzt werden kann. Gerade in der Erwachsenen- und Weiterbildung sind solche Technologien heute an vielen Orten bereits routinemässig im Einsatz (Bartolomé et al., 2018; Gibson, 2017; Kirkwood & Price, 2014; Prinsloo, 2020). Zu den bestehenden Anwendungen zählen: 

Für den Einsatz von KI werden verschiedene Argumente ins Feld geführt. Neben der Effizienzsteigerung und Kostensenkung spielen dabei insbesondere Gerechtigkeitsversprechen eine Schlüsselrolle (Dencik et al., 2019; Francis et al., 2020; Riazy et al., 2020). KI soll erlauben, Bildung gerechter zu gestalten, weil sie erstens im Gegensatz zu Menschen zu einem vorurteilsfreien, «objektiven» Blick auf Lernende imstande sei und zweitens eben genau weil sie Adaptivität ermöglicht: Personalisierte Bildungsangebote sind demzufolge gerechter, weil sie die Bedürfnisse, Interessen und Talente jeder und jedes Einzelnen zu berücksichtigen erlauben. KI soll damit qualitativ hochwertige, individualisierte Bildung «für alle» möglich machen und damit gleichzeitig die Bedürfnisse eines (zukünftigen) Arbeitsmarktes nach flexiblen, selbstständigen und kompetenten Arbeitskräften befriedigen. 

Narrative dieser Art sind weit verbreitet (Horvath et al. 2023). Die Hoffnung ist aber in mehreren Hinsichten etwas voreilig. Ein Bedenken betrifft die unhinterfragte Gleichsetzung von Adaptivität und Bildungsgerechtigkeit (Selwyn 2022). Personalisierte Bildung ist nicht zwangsläufig gerechter. Die Personalisierung von Lernwegen kann ganz im Gegenteil Muster sozialer Selektivität von Bildung verstärken. So können sich beispielsweise folgenreiche Feedbackschleifen zwischen Selbstbildern von Lernenden und algorithmischen Klassifikationen ergeben: Weniger Vertrauen in die eigene Leistung führt zu langsamerem Bearbeiten von Aufgaben; diese Information wird vom Algorithmus als Leistungsschwäche bewertet; diese Einordnung führt wiederum dazu, dass komplexere Aufgaben nicht zugeteilt werden und so weiter.

Zweitens ist zu fragen, was und auf welcher Basis eine gegebene KI denn eigentlich genau personalisiert (Bartolomé et al. 2018). Gesprochen wird häufig von Personalisierung entlang von Bedürfnissen, Interessen und Talenten. In der Praxis fällt auf, dass zu diesen Aspekten aber kaum jemals Informationen erhoben werden (Horvath et al. 2023). Zur Mustererkennung verarbeiten kann ein Algorithmus aber nun einmal nur, was in Datenform vorliegt. Derzeit gebräuchliche KI-gestützte Programme beschränken sich meist auf Leistungsdaten wie die Korrektheit von Antworten oder Bearbeitungszeiten von Aufgaben. 

Drittens ist auch das Versprechen der Vorurteilsfreiheit mit Vorsicht zu geniessen. Denn KI kann sehr wohl diskriminieren. Für das Verständnis der Herausforderungen, vor die KI Bildungseinrichtungen und pädagogische Praxis stellt, ist dieses Phänomen von herausragender Bedeutung. 

Dass KI-Algorithmen «diskriminierend» wirken können, ist keine neue Einsicht (Beer, 2017; Eubanks, 2017; O’Neil 2016; Noble, 2018). Beispiele für Verzerrungen entlang von Gender oder Hautfarbe gibt es zuhauf – von Algorithmen, die für die Justiz in der USA das Rückfallrisiko von Verurteilten einschätzen sollen und dabei Menschen nichtweisser Hautfarbe systematisch benachteiligen, über sexistische Muster von KI-gestützten Suchalgorithmen hin zur sozial verzerrten «Korrektur» von Prüfungsergebnissen in Grossbritannien, als zu Beginn der Corona-Pandemie eine zu lasche Beurteilung der Abschlussprüfungen von Schüler:innen befürchtet wurde (Williamson, 2021; Selwyn, 2022). 

Solche Formen «algorithmischer Diskriminierung» haben einen einfachen Grund: KI-gestützte Algorithmen reproduzieren Muster, die sie in bestehenden Daten finden. Wenn also in der Vergangenheit systematisch Hautfarbe als Indikator für Rehabilitationsfähigkeit, Kreditwürdigkeit etc. genutzt wurde, wird ein nicht entsprechend kontrollierter und korrigierend eingreifender Algorithmus diese Muster zwangsläufig fortschreiben. Eines der stärksten Argumente für den Einsatz von KI wird damit zum Gegenargument. 

Der Umgang mit diesem Problem stellt Entwickler:innen vor eine programmiertechnische Gestaltungsaufgabe: Wie soll und kann in der täglichen Arbeit an und mit KI mit dem Risiko algorithmischer Diskriminierungen umgegangen werden? Eine der zentralen Entscheidungs- und Gestaltungsspielräume ergibt sich dabei hinsichtlich der Frage, wie Algorithmen mit sozialen Hintergrundvariablen umgehen sollen (Whitman, 2020).  

Der entscheidende Punkt ist, dass Entwickler:innen hier Entscheidungen treffen müssen, die potenziell folgenreich sind, deren exakte Auswirkungen aber schwer abzuschätzen sind. Zwei Fragen stellen sich damit: (1) Auf welcher Grundlage werden diese Entscheidungen gefällt – welche Aspekte werden dabei berücksichtigt, welche Gründe sind tragend? (2) Welche Wirkungen entfalten einmal gestaltete Technologien am Weg ihrer praktischen Umsetzung in konkreten Bildungssettings? An diesen Fragen setzt das Projekt «Algorithmic Sorting in Education» an. 

Für ein Verständnis der Herausforderungen und Folgen von KI in Bildungskontexten ist zentral, dass KI permanent Entscheidungen trifft – und zwar auf Basis impliziter und unbekannter Regeln (Al-Amoudi & Latsis, 2019). Die pädagogische, bildungspolitische und technologische Kontrolle dieser algorithmischen Entscheidungen muss sich daher mit der Definition und Reflexion von Rahmenbedingungen für das Entscheidungssystem Algorithmus befassen: Welche Daten sollen genutzt werden? Welche Methode bzw. welcher Algorithmentyp genau soll zum Einsatz kommen? Welche Sicherheits- und Monitoringmassnahmen sollen getroffen werden? Nach welchen Kriterien soll die Arbeit der KI bewertet werden und wer entscheidet dies? 

Das angesprochene Forschungsprojekt geht nun der Frage nach, wie diese Rahmenbedingungen der Entwicklung und Nutzung von KI in Bildungskontexten von involvierten Akteuren im technologischen und pädagogischen Feld ausgestaltet werden. Dazu werden zwei empirische Bausteine kombiniert: (1) In Fokusgruppen wird untersucht, auf welche pädagogischen und technologischen Vorannahmen Akteur:innen zurückgreifen, wenn sie über algorithmische Sortierungen in der Bildung nachdenken und debattieren. (2) In Fallstudien wird untersucht, wie auf Grundlage dieser Vorstellungen im Berufsalltag konkrete Entscheidungen zur technologischen Ausgestaltung bzw. zum pädagogischen Einsatz von KI-gestützten Bildungstechnologien getroffen werden. Der Schwerpunkt liegt dabei zunächst auf der Volksschule, aber auch andere Bildungsbereiche inklusive der Erwachsenen- und Weiterbildung sollen im Projektverlauf berücksichtigt werden. 

Unsere ersten empirischen Annäherungen legen bereits nahe, dass dabei – ähnlich der KI selbst – vielfach eher verborgene Entscheidungs- und Gestaltungsprozesse auf Basis impliziter und nicht bewusst reflektierter Ad-hoc-Annahmen stattfinden. Um die Bedeutung solcher Vorannahmen greifbarer zu machen: Für Programmierer:innen geht die Entwicklung von KI-gestützter Software offensichtlich mit vielen im weiteren Sinne technologischen Festlegungen einher – von der Wahl einer geeigneten Programmiersprache bis zum Design einer funktionalen Benutzer:innenoberfläche. Darüber hinaus sind aber auch pädagogische Setzungen unausweichlich (Horvath et al. 2023):

Diese Vorannahmen werden in den seltensten Fällen bewusst ausgehandelt und festgelegt. Eher fliessen sie auf subtilen, indirekten Wegen in die Technologieentwicklung und -nutzung ein. Beispielsweise übernehmen viele KI-gestützte Bildungstechnologien Skalen und Items aus bestehenden psychometrischen Messinstrumenten, wie sie etwa in Large Scale Assessments verwendet werden (Perrotta & Selwyn, 2020). Mit den Skalen werden aber zwangsläufig auch die entsprechenden Vorstellungen von Bildungs- und Lernerfolg übernommen. 

Auch im pädagogischen Feld müssen wir mit unzureichend reflektierten Vorannahmen rechnen – wenn auch in diesem Fall eher und folgenreicher in Form von Vorstellungen davon, was KI eigentlich ist und was bestimmte Technologien tatsächlich tun. Die Gefahr besteht in diesem Fall darin, dass die eigene Kompetenz zur kritischen Reflexion nicht als ausreichend empfunden wird und Urteile der KI unhinterfragt übernommen werden. Denkbar wäre aber auch, dass Lehrpersonen sich der Anwendung – qua ihrer professionellen Freiheit – verweigern oder die Technologie in der pädagogischen Praxis anders eingesetzt wird, als dies ursprünglich intendiert gewesen ist. 

Für unser Forschungsprojekt ist die Vermutung leitend, dass ein vertieftes Verständnis dieser alltäglichen Gestaltungs- und Nutzungsprozesse mitsamt der ihnen zugrundeliegenden Werte und Vorannahmen eine Grundvoraussetzung für die diversitäts- und ungleichheitssensible Nutzung von KI in der Bildung ist.

Das Anliegen des Projekts besteht darin, hinter die Kulissen KI-gestützter Bildungstechnologien zu blicken – beziehungsweise genauer: den Prozessen des Abwägens, Überlegens, Aushandelns und Gestaltens nachzuspüren, die die Entwicklung und Nutzung KI-gestützter Technologien prägen, wenn Akteure im pädagogischen und im technologischen Feld in ganz konkreten Situationen ihres Berufsalltags tätig werden. Wir vermuten vielfältige, aber bislang weitgehend unverstandene Bezüge und Wechselwirkungen zwischen diesen beiden Feldern. 

Dass hier folgenreiche Spannungen – und damit Anlässe für Reflexion und Diskussion – zu erwarten sind, zeichnet sich schon in unseren ersten empirischen Annäherungen ab. Um ein Beispiel zu geben: 

Für die Entwicklung innovativer Bildungstechnologien spielen Start-ups eine führende Rolle. Diese jungen und stets mit der Gefahr des Scheiterns konfrontierten Unternehmen sind mit einem ganz spezifischen Handlungsdruck konfrontiert: Vorstellungen «guter und gerechter Bildung» stehen hier auf den ersten Blick nicht im Vordergrund; in erster Linie geht es darum, finanzstarke Individuen («Business Angels») oder Investment Fonds von der Markttauglichkeit einer Idee zu überzeugen. Und doch sind pädagogische und bildungspolitische Annahmen unausweichlich Teil des Geschäfts: Sie fliessen in Form von Annahmen über potenzielle Kund:innen und deren Anliegen und Vorlieben, in Form von Vermutungen zu brauchbaren Marketingstrategien oder auch in Form von Skalen und Aufgaben ein.

Schon bei einer ersten empirischen Annäherung drängt sich dabei das konfliktreiche Verhältnis von divergierenden, aber gleichzeitig vorhandenen Vorstellungen von Bildungsqualität und -gerechtigkeit auf. Narrativen, die Kreativität, Individualität und Authentizität als Zeichen «guter und gerechter» Bildung ins Zentrum rücken, stehen Technologien gegenüber, die vor allem auf Vereinfachung, Standardisierung und Effizienzsteigerung ausgerichtet sind. 

Nun können sowohl selbstregulierte Lernumgebungen (die kreativitätszentrierten Narrativen folgen) als auch standardisierte Lernkontexte (die stärker «industrialisierten» Logiken einer guten und gerechten Bildung folgen) soziale Selektivität erzeugen – aber auf sehr unterschiedlichen Wegen: In standardisierten Lernkontexten ergeben sich systematische Benachteiligungen aus häufig subtilen, aber systematischen Verzerrungen von standardisierten Prüfungsformaten, in selbstregulierten Lernumgebungen eher aus Formen der Selbstsortierung. 

Diese verschiedenen Wege der systematischen Benachteiligung sind aus der bildungssoziologischen Forschung der letzten Jahrzehnte bekannt und können daher auch professionell im Auge behalten und reflektiert werden. Schwierig wird es, wenn eine narrativ als «kreativitätsorientierte» und «individualisierend» gerahmte Technologie auch tatsächlich in entsprechend gestalteten (selbstregulierten) Umgebungen eingesetzt wird, die Technologie selbst Lernende aber nach ganz anderen, standardisiert vermessenden Logiken einordnet und adressiert. Die Gefahr ist in einem solchen Fall unkontrollierter «vermengter» Logiken, dass ungewollte Benachteiligungen stattfinden – die aber deutlich schwerer zu erkennen und zu problematisieren sind als in Lernumgebungen, die nach einer in sich schlüssigen und explizit reflektierten pädagogischen Logik gestaltet sind. 

Dieser erste Einblick unterstreicht die Notwendigkeit, wissenschaftliche Forschung mit politischer und pädagogischer Reflexion zu verknüpfen. Wissenschaftliche, politische und praktische Relevanz finden dabei in der Forderung zusammen, über neue Formen des empirischen Monitorings und der kollaborativen Reflexion KI-gestützter Bildungstechnologien nachzudenken.