Das Geheimnis hinter ChatGPT - Wie die KI arbeitet und warum sie funktioniert

Kapitel 10: ChatGPT von innen betrachtet

Wir sind nun bereit, uns das Innenleben von ChatGPT genauer anzuschauen. Genau genommen handelt es sich um ein riesiges neuronales Netz – momentan eine Version des sogenannten ‌GPT-3-Netzes mit 175 Milliarden Gewichten. In vielerlei Hinsicht ähnelt es den bereits behandelten neuronalen Netzen. Allerdings ist ChatGPT speziell für den Umgang mit Sprache konstruiert. Sein bemerkenswertestes Kennzeichen ist ein Stück neuronaler Netzwerkarchitektur namens »‌Transformer« (übrigens das »T« in GPT – Generative Pretrained Transformer).

In den ersten neuronalen Netzen, die wir besprochen haben, war jedes Neuron auf einer bestimmten Schicht mit jedem Neuron der vorhergehenden Schicht verbunden (egal, wie klein das ...