Kurz notiert: Sprachmodelle erlernen keine Bedeutung (?)

In einem Artikel, der 2020 auf der wichtigsten Konferenz der automatischen Sprachverarbeitung — der ACL — veröffentlicht und dort auch zum “best theme paper” gekürt wurde, argumentieren die Autoren, dass Sprachmodelle (bspw. Googles BERT), die auf unannotierten Sprach-Daten trainiert werden, keine Bedeutung erlernen können.

Sprach-Daten sind hierbei beobachtbarer Gebrauch von Sprache, bspw. die digitale Repräsentation von Text oder aber die Bewegung unserer Sprechorgane. Bedeutung definieren die Autoren als

  • die Relation zwischen Sprachgebrauch und seinem kommunikativen Ziel (bspw. hat die Aussage “Öffne bitte das Fenster!” zum Ziel, das der Adressat das Fenster öffnet) und als
  • die Relation zwischen Gebrauch und Konvention, aus der dann ein kommunikatives Ziel hergeleitet wird.

Beide Relationen verbinden somit Innersprachliches mit Außersprachlichem. Enthalten Sprach-Daten also nur innersprachliche Signale, können außersprachliche Informationen nicht oder nur in geringem Maße erlernt werden. Dies gilt nach Ansicht der Autoren für das Training von Sprachmodellen ebenso wie für den Spracherwerb von Kindern: kein Kind erlernt eine Sprache nur dadurch, dass es — auf sich allein gestellt — Radio hört. Werden die Sprach-Daten aber mit außersprachlichen Signalen wie Bildern verknüpft, kann Bedeutung (womöglich) erlernt werden.

Die Durchbrüche, die dank vortrainierter Sprachmodelle nachweislich erreicht werden, schreiben die Autoren vor allem 2 Attributen zu:

  1. Moderne Sprachmodelle sind sehr ausdrucksmächtig und nutzen Artefakte in den Trainingsdaten effektiv.
  2. Moderne Sprachmodelle erlernen tatsächlich linguistische Strukturen (bspw. semantische Ähnlichkeit), die wiederum beim Lösen vieler Aufgaben — die scheinbar das Verständnis von Bedeutung voraussetzen — hilfreich sind.

Für die Praxis bedeutet das: Auch vermeintlich ohne tatsächliches Verständnis von Bedeutung leisten moderne Sprachmodelle wie Googles BERT oder OpenAIs GPT-3 einen großen Beitrag zur Lösung echter Probleme. Doch was für KI im Allgemeinen gilt, gilt natürlich auch für die automatische Sprachverarbeitung im Speziellen: Um beim tiefen Sprachverständnis (Natural Language Understanding, NLU) tatsächlich Fortschritte zu erzielen,

  • sollten wir uns nicht vom “Hype” bestimmter KI-Modelle (bspw. Sprachmodelle) leiten lassen,
  • sollten wir unsere KI-Modelle über mehrere Aufgaben hinweg evaluieren, und
  • sollten wir sowohl falsche als auch richtige Vorhersagen unserer KI-Modelle kritisch analysieren.

Kontakt

Nicht alle wichtigen Informationen
stehen in Tabellen.

Nutzen Sie auch das, was sich in den Texten und Grafiken Ihrer Berichte befindet. Schreiben Sie uns!