Natural Language Processing mit Transformern

KAPITEL 4

Multilinguale Named Entity Recognition

Bislang haben wir in diesem Buch Transformer-Modelle dazu verwendet, NLP-Aufgaben, die auf englischsprachigen Korpora basieren, zu lösen. Was aber, wenn Ihre Dokumente auf Griechisch, Swahili oder Klingonisch verfasst sind? Eine Möglichkeit besteht darin, im Hugging Face Hub nach einem geeigneten vortrainierten Sprachmodell zu suchen und es für die jeweilige Aufgabe feinzutunen. Diese vortrainierten Modelle gibt es jedoch in der Regel nur für Sprachen, für die viele Ressourcen zur Verfügung stehen, wie Deutsch, Russisch oder Mandarin, für die jede Menge an Texten für das Pretraining im Internet zur Verfügung steht. Eine weitere häufige Herausforderung ergibt sich, wenn Ihr Korpus mehr als eine ...