»Die Lüge der objektiven Noten«
Letzte Woche habe ich hier ein Gedankenexperiment vorgestellt: Was wäre, wenn ein Algorithmus Noten aufgrund all der Faktoren vergeben würde, die heute auch in Noten einfließen?
Heute möchte ich zehn Antworten von Leser*innen vorstellen. Alle, bei denen kein Link steht, stammen aus dem Padlet, teilweise mit etwas angepasster Schreibung. Grundsätzlich geht es in der Diskussion immer wieder um ähnliche Fragen:
- Wie ist bei der Beurteilung das Verhältnis von automatisierbarer Datenauswertung und menschlicher Kommunikation zu denken?
- Wie können Verzerrung in Bewertungsverfahren durch Algorithmen behoben oder sichtbar gemacht werden – und inwiefern führen Algorithmen zu einer Verstärkung von Verzerrungen?
- Verstärken Algorithmen den Irrglauben an die Wirkung von Noten – oder können sie ein Schritt dazu zu sein, über eine Lerndiagnostik von Noten wegzukommen?
- Die Lüge der objektiven Noten
Ob ein Algorithmus objektive Noten geben kann, da habe ich große Zweifel. Das verstärkt schlussendlich nur die Lüge der objektiven Noten. Benotung muss dialogisch und transparent erfolgen. - Dialogische Noten
Ich bin im Grunde sogar gegen Noten. Da wir sie im Moment aber nicht einfach nicht geben können, bin ich dafür, Noten möglichst "dialogisch" zu bilden. Also mit den Schüler:innen zusammen. Wenn ich die Idee des Algorithmus richtig verstehe, ist das hier ausgeschlossen. - Transparenz als Weg zum Verzicht auf Noten
Transparenz ist bei Algorithmen immer möglich. Allerdings kann es durchaus sinnvoll sein, keine Transparenz der Wegfindung zum Ergebnis (das hier nicht näher spezifiziert ist) zu veröffentlichen, weil die Frage der Akzeptanz durch Mensch hier bereits ablehnend beschieden worden ist – je mehr man weiß, desto mehr Haare findet man in der Suppe.
Im Idealfall muss keine Benotung mehr erfolgen, weil alle anderen ermittelten Faktoren schon ausreichend Daten liefern, um eine optimale Förderung zu erzielen, die Benotung nie leisten kann. Benotung fördert nicht, sondern gruppiert und hält alte Systeme am Leben, die schon lange als nicht förderlich erkannt sind. - Verzerrungsfrei
Algorithmen arbeiten verzerrungsfrei und können durchaus auch Qualitäten finden, die dann zur optimierten Förderung des Menschen (der Begutachteten) eingesetzt werden können. Warum sollte es nicht möglich sein an äußerlich ablesbaren (passende Sensorik) Verhaltensmustern (nicht! (!!!) Merkmalen) zu erkennen, welches Angebot Mensch gerade förderlich sein könnte? - Verstärkung von Vorurteilen
In Algorithmen gegossene Vorurteile verstärken sich selbst. Kein Algorithmus kann einer Person gerecht werden. Algorithmizität würde Objektivität vortäuschen, Schüler *in zum Objekt eines technischen Artefakts gemacht. Wir brauchen das Gegenteil. - Der Mensch ist nicht das Maß aller Dinge
Wenn überhaupt, kann nur ein Algorithmus einer Person gerecht werden, weil Mensch nie objektiv sein kann, solange er Gefühle hat. Ein Algorithmus ist im Rahmen seiner Programmierung (als KI zusätzlich im Rahmen des Trainierten) und passender Sensorik in der Lage weit mehr Daten bewusst zu verarbeiten und auch immer nach dem gleichen (erlernten) Muster. Mensch weicht hier gerne durch unterschiedliche Interpretation der sensorischen Wahrnehmung von Gleichbehandlung ab (z. B. Untersuchungen, gut aussehende Menschen = besser Bewertung).
Solange wir überhaupt Bewertung nutzen, ist ein Algorithmus dem Menschen immer vorzuziehen. So nebenbei könnte er Erkenntnisse abwerfen, welche Kriterien für eine Bewertung sinnvoll sind, so dass es keine Bewertung mehr braucht, weil andere Wahrnehmungen aussagekräftiger als persönliche Begutachtung sind. Gemeint sind hier sensorische Auswertungen von Körperfunktionen, von Bewegungen, von Sprache, von ..., die nicht beeinflusst werden können und somit objektive Daten liefern. Diese zu interpretieren schafft ein Algorithmus wieder leichter als ein Mensch.
Wer heute noch behauptet, eine Maschine könne etwas niet besser, will nicht erkennen, dass Mensch keinesfalls das Maß aller Dinge ist. Genaugenommen bringen wir doch überhaupt nichts von den wirklich wichtigen Dingen hin. - Den ganzen Menschen fördern
Beurteilung ist Begutachtung und nicht nur Bewertung. Möchte man das aber als Zahlenwert angeben, ist es wohl sehr spannend, welche Faktoren alle an der Verzerrung beteiligt sind und mehrheitlich sind diese nicht veränder- oder beeinflussbar. Diese Rechenspiele so zu präsentieren, dass es einen komplexen Algorithmus braucht (der schon bei den Rohdaten viele Komponenten berücksichtigt) und nicht einfach eine simple Formel à la »Punktzahl durch 5 plus 1 = Note« finde ich sehr bewusstseinsfördernd. Wollen wir den Maschinen vertrauen und für jede*n Schüler*in einen Score berechnen oder wollen wir Qualitäten finden, benennen und den ganzen Menschen fördern? Menschliche und persönliche Kompetenzen? Im Bewusstsein und mit Achtsamkeit versus Verzerrungen und Absolutismen. - Papiercheckliste
Die Sache wird gedanklich klarer, wenn man sich das Bild eines Computers wegdenkt und den Algorithmus als das betrachtet, wass er ist: eine lineare Schrittanweisung mit festen, vorherbestimmten Entscheidungsoptionen. Kann man auch mit einer Papiercheckliste machen. Also auch nur eine Form von Scheinobjektivität. Bedient aber die seltsame, weit verbreitete Annahme, dass Einschätzungen genauer sind, wenn sie mit technischen Hilfsmitteln vorgenommen werden. (Twitter) - Viel häufigeres Feedback
Viel häufigeres Feedback möglich. Rückmeldung individueller Verbesserungen im Vergleich zum letzten Test. (Twitter) - Werturteile
Noten sind Werturteile, die festgestellte und kategorisierte Sachverhalte mit Normen in Bezug setzen. Nicht alle, aber manche Sachverhalte kann man mechanisch feststellen und zu vorher definierten und Kategorien in Bezug setzen. Das kann zum Teil durchaus mechanisch geschehen, also auch mittels Algorithmen, wenn es viele und komplexe Daten zu verarbeiten gilt. Schon da gibt es aber einen Anteil, der die Zuordnung prüfen muss auf etwa vorab nicht gekannte interferierende Faktoren. Schon dieses Zuordnen ist ein (Sach-)Urteil, verantwortet werden muss. Um so mehr beim Werturteil. Es nimmt Bezug auf Normsetzungen, die wiederum als solche verantwortet werden müssen wie auch in ihrem Bezug zu variablen Bedingungen. Werturteile über »Leistungen« wie auch über Zustände (etwa Kompetenzniveaus) sind soziale Beziehungs-Kategorien. Sie sind eigentlich auch nur kommunikativ verantwortet, also indem sie auch die Möglichkeit der Einspruchs, der Gegenvorstellung, des Hinweises auf weitere Sachverhalte und Normen einbeziehen. Das bedeutet nicht, dass sie gleichberechtigt abgestimmt werden müssen, wohl aber, dass solche perspektivisch variablen Informationen einbezogen werden müssen. Das geht wohl kaum algorithmisch. (Twitter)