Vielen Dank, dass du uns auf dieser Forschungsreise begleitet hast. Wir hoffen, dass du einen Eindruck gewinnen konntest, wozu Künstliche Intelligenz in diesem Bereich fähig ist – und was noch nicht so gut klappt. Vielleicht kannst du jetzt sogar ChatGPT und andere Sprachmodelle besser erkennen?
Ohne deine Hilfe wäre unsere Forschung zu diesen Themen nicht möglich: Für den Vergleich von Maschine und Mensch sind wir eben auf menschliche Urteile angewiesen. Im Folgenden möchten wir dich im Gegenzug in unsere Forschung einweihen, die den Spielen auf der Spielwiese zu Grunde liegt.
Erklärungen und Konsequenzen für bewundern und amüsieren
Es ist dir bestimmt aufgefallen, dass wir es mal mit Fortsetzungen nach einem Satzkonnektor wie weil und mal mit solchen nach dem Konnektor sodass zu tun hatten. Was wir aber noch nicht verraten haben, ist, dass wir auch verschiedene Klassen von Verben benutzt haben. Diese beiden Faktoren – Verbklasse und Satzkonnektor – haben nämlich einen entscheidenden Einfluss auf unsere Präferenzen, wie Menschen die Sätze bevorzugt fortsetzen.
Die Verben, die wir untersucht haben, beschreiben allesamt psychologische Relationen, wie etwa amüsieren und bewundern. Bei amüsieren löst das Subjekt des Satzes ein positives Gefühl im Objekt aus, während es bei bewundern das Objekt ist, das ein Gefühl im Subjekt auslöst.
Sehen wir uns nun zwei typische Beispiele an, wie frühere Versuchsteilnehmer*innen in der Erstellen-Rolle Satzvorgaben nach weil und sodass fortgesetzt haben. Zuerst für amüsieren:
- Emma amüsierte Fritz, weil ... ✍ sie dauernd Witze erzählte.
- Emma amüsierte Fritz, sodass ... ✍ dieser sich noch etwas mehr Gin einschenkte.
Wie wir sehen, wird bei Erklärungen nach weil bevorzugt über das Subjekt (Emma) fortgesetzt, während Konsequenzen nach sodass eher etwas über das Objekt (Fritz) aussagen. Wir benutzen in der Forschung für solche Tendenzen das Wort Bias.
Bei bewundern ist dieses Muster genau umgekehrt: Erklärungen handeln vom Objekt (hier: Armin), während Konsequenzen vom Subjekt (Anna) handeln:
- Anna bewunderte Armin, weil ... ✍ er so ein großes Herz hatte.
- Anna bewunderte Armin, sodass ... ✍ sie nach seinem Autogramm fragte.
So ergeben sich bei Menschen klare Muster, wie die folgende Figur zeigt. Die amüsieren-Verben bilden eine Gruppe (unten rechts) mit Erklärungen über das Subjekt (hoher Subjekt-Bias) und Konsequenzen über das Objekt (das heißt, niedriger Subjekt-Bias). Die bewundern-Verben bilden ihrerseits eine zweite Gruppe (oben links) mit Objekt-Erklärungen und Subjekt-Konsequenzen. Die durchschnittlichen Präferenzen für die beiden Verbklassen sind durch einen großen Diamanten gekennzeichnet. Die Wolken sind natürlich nicht "perfekt", weil wir auch gegen das typische Muster verstoßen können, also eine Erklärung oder Konsequenz über die andere Person angeben können.
ChatGPT ist sogar besser als Menschen bei dieser Aufgabe, d.h. die "Verb-Wolken" sind noch mehr in den Ecken konzentriert (hier nicht gezeigt). Ein Sprachmodell wie Bloom, das kleiner und etwas anders funktioniert, zeigt aber kein so deutliches Bild, wie die Grafik unten zeigt. Hier sind die Wolken in Ansätzen erkennbar, aber mehr auch nicht. Wie sehen auch, dass die "Durchschnittsdiamanten" anders liegen als bei den Menschen.
Erklärungstypen und Vorwegnahme
Sehen wir uns nun nur die Erklärungen nach weil etwas genauer an. In einem früheren Experiment haben wir untersucht, wie die Erklärungen für Verben wie amüsieren und bewundern als Ganzes aussehen – jenseits von der Präferenz / dem Bias, etwas über das Subjekt oder Objekt zu schreiben. Es stellt sich heraus, dass man typisch etwas angibt, was genau das Gefühl ausgelöst hat, wie im amüsieren-Beispiel (hier wiederholt):
- Emma amüsierte Fritz, weil ... ✍ sie dauernd Witze erzählte.
Das ist eine Information, die im Satzprompt noch fehlt. Es ist so, also würden wir in der Fortsetzung die Frage beantworten: Was hat Emma gemacht? Oder warum war Fritz genau amüsiert?
Wie oben erwähnt, sind die Präferenzen / Biases nicht absolut. Wir können also gegen sie verstoßen. Wenn wir das aber machen, geben wir auch typisch eine andere Erklärung:
- Emma amüsierte Fritz, weil ... ✍ er Witze mochte.
Hier können wir nur darauf schließen, dass Emma vermutlich Fritz amüsiert hat, indem sie Witze erzählt hat. Wichtig für uns ist jedoch, dass Bias – also die Präferenz über eine bestimmte Person etwas zu sagen – und Erkärungsart miteinander zusammenhängen.
Wir haben diese Annahme in einem weiteren Experiment auf die Probe gestellt und Vorgaben erstellt, in denen typische Erklärungen schon vorweggenommen wurden, wie bei
- Emma amüsierte Fritz durch das Erzählen von Witzen, weil ... ✍
Hier scheint es schwieriger zu sein, eine gute Erklärung zu geben und wir würden eher geneigt sein, den Satz wie in Beispiel 6 oben zu erklären (... ✍ weil er Witze mochte). Durch die Vorgabe wissen wir ja schon, wie Emma Fritz amüsiert hat!
In der Grafik unten sehen wir, welchen Effekt solche "Erklärungsvorwegnahmen" auf den Bias haben. Die lila Balken zeigen die Präferenz ohne Vorwegnahme: amüsieren-Verben haben einen starken Subjekt-Bias, bewundern-Verben einen schwachen Subjekt-Bias, also einen Objekt-Bias – wie gehabt. Die roten Balken zeigen, was passiert, wenn wir Erklärungen vorwegnehmen: Beide Biases / Präferenzen verschieben sich – in die jeweils andere Richtung! In den Infos nach Quiz 2 haben wir schon gezeigt, dass die Ergebnisse von ChatGPT hier nicht ganz so aussehen wie beim Menschen und dass Bloom diese Aufgabe nicht wirklich hinbekommt.
Da es hier auch um Feinheiten der Erklärungen geht, könnte man spekulieren, dass die Sprachmodelle womöglich die Satzvorgaben nicht so tief verstehen wie der Mensch.
Gemeinsam mit euch erforschen wir im laufenden Projekt, was die Erklärungen von Menschen und Maschinen auszeichnet. Insbesondere geht es uns darum zu untersuchen, was besonders kreative Erklärungen kennzeichnet. Dafür sind die Quiz-Daten und die Daten aus dem Task Kreativ-Detektiv besonders interessant. Wir stehen mit der Forschungsreise noch am Anfang, aber mit jedem Datum, das Du beisteuerst lernen wir mehr über die sprachliche Kreativität von Mensch und Maschine.
Darum bleib gespannt: Bald veröffentlichen wir erste Ergebnisse von der Spielwiese im Mensch-vs-Maschine-Forum, in dem du dich mit uns und anderen Usern austauschen kannst, um deine Erfahrungen zu teilen und Deine eigenen Hypothesen und Beobachtungen mit uns und anderen zu diskutieren!
Hier geht es zurück zur Spielwiese!