Feintuning eines vortrainierten BERT-Modells
ELMo, GPT bzw. GPT-2 und BERT bringen bestimmte trainierte Modelle hervor, die als vortrainierte Modelle bekannt sind. Diese Modelle wurden anhand von Millionen von Dokumenten aus vielen verschiedenen Themenbereichen bzw. Domänen trainiert und sind nicht nur in der Lage, fehlende Wörter vorherzusagen, sondern auch die Bedeutung von Wörtern, Satzstrukturen und Satzzusammenhängen zu lernen. Ihre Fähigkeit, sinnvolle, relevante und realistische Texte zu erstellen, ist phänomenal und geradezu unheimlich. Werfen wir also einen genaueren Blick auf bereits vortrainierte BERT-Modelle.
Die vortrainierten BERT-Modelle sind, wie die meisten neuronalen Netzwerkmodelle, nur Momentaufnahmen der Modellgewichte, die ...
Get Data Science mit AWS now with the O’Reilly learning platform.
O’Reilly members experience books, live events, courses curated by job role, and more from O’Reilly and nearly 200 top publishers.
