Rayon d'apprentissage

Chapitre 8. Inférence en ligne avec Ray Serve

Cet ouvrage a été traduit à l'aide de l'IA. Tes réactions et tes commentaires sont les bienvenus : [e-mail]

Edward Oakes

Dans les chapitres 6 et 7, tu as appris à utiliser Ray pour traiter des données, entraîner des modèles ML et les appliquer dans un cadre d'inférence par lots. Cependant, bon nombre des cas d'utilisation les plus passionnants de l'apprentissage automatique impliquent une inférence en ligne.

L'inférence en ligne est le processus qui consiste à utiliser des modèles ML pour améliorer les points d'extrémité des API avec lesquels les utilisateurs interagissent directement ou indirectement.C'est important dans les situations où le temps de latence compte : tu ne peux pas simplement appliquer des modèles aux données en coulisses et servir les résultats.Il existe de nombreux exemples de cas d'utilisation dans le monde réel où l'inférence en ligne peut apporter beaucoup de valeur, par exemple :

Systèmes de recommandation

Fournir des recommandations pour des produits (par exemple, des achats en ligne) ou des contenus (par exemple, des médias sociaux) est un cas d'utilisation classique de l'apprentissage automatique. Bien qu'il soit possible de le faire hors ligne, les systèmes de recommandation gagnent souvent à réagir aux préférences des utilisateurs en temps réel. Pour cela, il faut effectuer une inférence en ligne en utilisant le comportement récent comme caractéristique clé.

Chat bots

Les services ...