Transformers: Der endgültige Leitfaden (German Edition)

Kapitel 3. Transformatoren für Bildverarbeitungsaufgaben

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Ein der großen Vorteile von Transformern in diesem Bereich sind ihre Fähigkeiten zum Few-Shot- und Zero-Shot-Lernen. Das Beschriften von Bildern ist aufwendig, und oft stehen nicht genügend Labels zur Verfügung, wie es beispielsweise bei der Krebserkennung der Fall ist. Ein Bildklassifizierungs- oder Segmentierungsmodell zu haben, das mit wenigen Beispielen gute Ergebnisse liefert, ist ein bedeutender Fortschritt. Das macht Transformer besonders wertvoll für Aufgaben, bei denen Datenknappheit ein kritisches Problem darstellt – eine Herausforderung, bei der Modelle auf Basis traditioneller Convolutional Neural Network (CNN)- s oft zu kurz greifen.

Transformers haben die NLP eindeutig revolutioniert. Der nächste Bereich, den Transformers erobern, sind Bildverarbeitungsaufgaben. Der Vision Transformer (ViT) von ¹ ist ein Meilenstein, der das volle Potenzial von Transformern in der Bildverarbeitung demonstriert.

In den folgenden Abschnitten zeige ich dir, wie du Transformer für Bildverarbeitungsaufgaben wie Klassifizierung, Bildsegmentierung, Instanzsegmentierung und panoptische Segmentierung nutzen kannst. Ich erkläre dir, welche Herausforderungen dabei auftreten können, wie du sie bei der Arbeit mit Bildern mindern kannst und wie du das Training deines Modells überwachst.

Außerdem werde ich ...