Language Models kompakt

Vorwort

Meine erste Beschäftigung mit Sprachmodellierung liegt bereits zwei Jahrzehnte zurück. Ich wollte einige meiner Datenkomprimierungsalgorithmen verbessern und habe die N-Gramm-Statistik entdeckt. Ein sehr einfaches Konzept, aber schwer zu übertreffen! Dann gewann bei mir schnell eine andere Motivation die Oberhand – seit meiner Kindheit interessierte ich mich für künstliche Intelligenz. Ich hatte eine Vision von Maschinen, die Muster in unserer Welt verstehen würden, die unserem begrenzten Verstand verborgen bleiben. Es wäre so aufregend, mit einer derartigen Superintelligenz zu sprechen. Und ich erkannte, dass Sprachmodellierung ein Weg zu einer solchen KI sein könnte.

Ich machte mich auf die Suche nach Gleichgesinnten, die diese Vision ...