TinyML

Kapitel 15. Optimierung der Latenzzeit

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Eingebettete Systeme haben nicht viel Rechenleistung, was bedeutet, dass die intensiven Berechnungen, die für neuronale Netze benötigt werden, länger dauern können als auf den meisten anderen Plattformen. Da eingebettete Systeme in der Regel mit Sensordatenströmen in Echtzeit arbeiten, kann eine zu langsame Ausführung eine Menge Probleme verursachen. Stell dir vor, du versuchst, etwas zu beobachten, das vielleicht nur kurz auftritt (z. B. einen Vogel, der im Blickfeld einer Kamera zu sehen ist). Wenn deine Verarbeitungszeit zu lang ist, könntest du den Sensor zu langsam abtasten und eines dieser Ereignisse verpassen. Manchmal wird die Qualität einer Vorhersage durch wiederholte Beobachtung sich überschneidender Fenster von Sensordaten verbessert, so wie im Beispiel der Wake-Word-Erkennung ein einsekündiges Fenster für Audiodaten zur Erkennung von Wake-Words verwendet wird, das aber jedes Mal nur um hundert Millisekunden oder weniger nach vorne verschoben wird und die Ergebnisse gemittelt werden. In diesen Fällen können wir durch die Verringerung der Latenzzeit die Gesamtgenauigkeit verbessern. Die Beschleunigung der Modellausführung kann auch dazu führen, dass das Gerät mit einer niedrigeren CPU-Frequenz läuft oder zwischen den Schlussfolgerungen in den Ruhezustand versetzt wird, was den Energieverbrauch insgesamt ...