Aufbau von Machine-Learning-Systemen mit einem Feature Store

Kapitel 6. Modellunabhängige Transformationen

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Jetzt schauen wir uns an, wie man die Datenumwandlungslogik für Feature-Pipelines schreibt. Wie wir in Kapitel 2 erklärt haben, sind Feature-Pipelines Programme, die modellunabhängige Datenumwandlungen machen, um wiederverwendbare Features zu erzeugen, die im Feature-Speicher abgelegt werden. Das heißt, die erstellten Feature-Daten könnten potenziell von vielen verschiedenen Modellen verwendet werden – nicht nur von dem ersten Modell, für das du die Feature-Pipeline entwickelst. Die Wiederverwendung von Features führt zu einer höheren Qualität der Features durch vermehrte Nutzung und Tests, geringere Kosten für die Speicherung, sowie geringere Kosten für die Feature-Entwicklung und den Betrieb. Rememberen: Die kostengünstigste Feature-Pipeline ist die, die du nicht erstellen musst.

Beispiele für modellunabhängige Transformationen (MITs) sind die Transformationen Extraktion, Validierung, Aggregation und Komprimierung (EVAC):

• Feature -Extraktion (verzögerte Features, Binning und Chunking für LLMs)

• Datenvalidierung (mit Great Expectations) und Datenbereinigung

• Aggregation (Zählungen und Summen für Zeitfenster)

• Komprimierung (Vektor-Einbettungen)

Wir werden uns auch damit beschäftigen, wie wir Transformationen in Feature-Pipelines zusammenstellen können, um die Modularität, Testbarkeit und Leistung ...