Künstliche Intelligenz (KI) kapituliert bei Grammatikfehlern. Das haben Forscher der Humboldt-Universität zu Berlin, der Universitat Autònoma de Barcelona (UAB) und des Catalan Institute of Research and Advanced Studies herausgefunden. Sie haben die Fähigkeiten des Menschen mit den drei besten derzeit verfügbaren großen Sprachmodellen verglichen, zwei basierend auf GPT3 und eines basierend auf GP3.5.
Viele falsche Antworten
Die Forscher haben menschlichen Probanden und den KI-gestützten Sprachmodellen korrekt formulierte und fehlerhafte Sätze vorgelegt. Und sie anschließend mit der folgenden Frage konfrontiert: „Ist dieser Satz grammatikalisch korrekt?“ Es zeigte sich, dass Menschen fast immer richtig antworteten, während die großen Sprachmodelle viele falsche Antworten gaben.
Tatsächlich wurde festgestellt, dass die KI-Systeme – wenn sie sich nicht sicher waren – meistens mit „Ja“ antworten. Unabhängig davon, ob die Antwort richtig war oder nicht. „Das Ergebnis ist überraschend, da diese Systeme auf der Grundlage dessen trainiert werden, was in einer Sprache grammatikalisch korrekt ist und was nicht. KI-Sprachmodelle können sehr hilfreich sein, aber wir müssen uns ihrer Mängel bewusst sein“, mahnt Evelina Leivada von der Abteilung für Katalanistik der UAB.
PTE/Red.
