Kurz notiert: Transformer sind Turing-vollständig.
Transformer (siehe Abbildung “Figure 1” aus dem verlinkten Artikel) sind Neuronale Netze, die sich dadurch auszeichnen, Kontext sehr gut zu erfassen und — im Gegensatz zu rekurrenten Modellen wie bspw. den Long Short-Term Memories, kurz LSTMs — dennoch gut parallelisiert sind. Besondere Bekanntheit erlangten Sie u.a. durch Googles Sprachmodell BERT und seine mannigfaltigen Derivate. Transformer werden als der ImageNet-Moment des Natural Language Processing angesehen: sie revolutionieren dieses Feld ähnlich wie Neuronale Netze, die auf ImageNet-Daten vor-trainiert wurden, das Feld der Computer Vision revolutioniert haben.
In einem Artikel, der 2019 auf einer der wichtigsten Machine Learning-Konferenzen — der ICLR — veröffentlicht wurde, wurde nun bewiesen, dass Transformer Turing-vollständig sind. Mit anderen Worten: Transformer können jede beliebige Funktion berechnen, die auch in einer modernen Programmiersprache, bspw. C oder Java, berechnet werden kann.
Dieser Beweis fußt jedoch auf der Annahme, dass Transformer intern Repräsentationen unbeschränkter Genauigkeit nutzen können. Abseits theoretischer Überlegungen steht uns jedoch nur beschränkte Genauigkeit zur Verfügung. Demnach sind Transformer in der tatsächlichen Anwendung nicht Turing-vollständig.
Für die Praxis bedeutet das: Transformer können — gegeben adäquate Rechenzeit, Speicherplatz und Trainingsdaten — komplexe Funktionen berechnen. Zwar wissen wir nun, dass Transformer mit unbeschränkter Genauigkeit sogar beliebige Funktionen berechnen können, sollten uns aber bei ihrer tatsächlichen Anwendung weiterhin vornehmlich von Empirie leiten lassen.
Kontakt
Nicht alle wichtigen Informationen
stehen in Tabellen.
Nutzen Sie auch das, was sich in den Texten und Grafiken Ihrer Berichte befindet. Schreiben Sie uns!
