Das Geheimnis hinter ChatGPT - Wie die KI arbeitet und warum sie funktioniert

Kapitel 11: Das Training von ChatGPT‌

Sie haben nun einen Überblick darüber gewonnen, wie ChatGPT arbeitet, nachdem es eingerichtet wurde. Doch wie wurde es eingerichtet? Wie wurden all die 175 Milliarden Gewichte in seinem neuronalen Netz bestimmt? Im Grunde genommen sind sie das Ergebnis eines sehr umfangreichen Trainings mit einer riesigen Menge an Texten – aus dem Web, aus Büchern usw. –, die von Menschen geschrieben wurden. Wie bereits festgestellt wurde, ist es selbst mit all diesen Trainingsdaten sicherlich nicht offensichtlich, dass ein neuronales Netz in der Lage wäre, erfolgreich »menschenähnlichen« Text zu erzeugen. Und wieder einmal scheint unglaublich viel Technik erforderlich zu sein, um das zu ermöglichen. Die große Überraschung ...