Deep Learning für Programmierer mit fastai und PyTorch

Kapitel 11. Data Munging mit der fastai Mid-Level API

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Wir haben gesehen, was Tokenizer und Numericalize mit einer Sammlung vonTexten machen und wie sie in der Datenblock-API verwendet werden, die diese Transformationen direkt über TextBlock abwickelt. Aber was ist, wenn wir nur eine dieser Transformationen anwenden wollen, entweder um Zwischenergebnisse zu sehen oder weil wir bereits tokenisierte Texte haben? Was können wir generell tun, wenn die Datenblock-API nicht flexibel genug ist, um unseren speziellen Anwendungsfall zu erfüllen? Dazu müssen wir die mittlere API von fastai für die Verarbeitung von Daten nutzen. Die Datenblock-APIbaut auf dieser Schicht auf und ermöglicht es dir, alles zu tun, was die Datenblock-API kann, und noch viel mehr.

Tieferer Einblick in die fastai-API (Layered API)

Die fastai-Bibliothek ist auf einer mehrschichtigen API aufgebaut. In der obersten Schicht befinden sich Anwendungen, mit denen wir ein Modell in fünf Codezeilentrainieren können, wie wir in Kapitel 1 gesehen haben. Bei der Erstellung vonDataLoaders für einen Textklassifikator haben wir z. B. diese Zeile verwendet:

from fastai.text.all import *

dls = TextDataLoaders.from_folder(untar_data(URLs.IMDB), valid='test')

Die Werksmethode TextDataLoaders.from_folder ist sehr praktisch, wenndeine Daten genau so angeordnet sind wie der IMDb-Datensatz, aber in der ...