AI applicata allo sviluppo Java aziendale (Italian Edition)

Capitolo 6. APIdi inferenza

Questo lavoro è stato tradotto utilizzando l'AI. Siamo lieti di ricevere il tuo feedback e i tuoi commenti: [e-mail]

i già ampliato le tue conoscenze sull'IA e sui vari tipi di modelli. In più, hai implementato questi modelli a livello locale (se possibile) e li hai testati con delle query. Ma quando arriva il momento di usare i modelli, devi esporli nel modo giusto, seguire le best practice della tua organizzazione e dare agli sviluppatori un modo semplice per usare il modello.

Un'API di inferenza aiuta a risolvere questi problemi, rendendo i modelli accessibili a tutti gli sviluppatori. Questo capitolo spiega come rendere disponibile un modello di IA/ML usando un'API di inferenza in Java.

Cos'è un'API di inferenza?

Un'API di inferenza permette agli sviluppatori di un e di mandare dati (in qualsiasi protocollo, come HTTP, gRPC o Kafka) a un server con un modello ML implementato e ricevere le previsioni o le classificazioni come risultato. In pratica, ogni volta che accedi a modelli cloud come OpenAI o Gemini o a modelli implementati localmente usando Ollama, lo fai attraverso la loro API di inferenza.

Anche se oggi è normale usare modelli grandi addestrati da grandi aziende come Google, IBM o Meta, soprattutto per scopi LLM, potresti aver bisogno di usare modelli piccoli addestrati su misura per risolvere un problema specifico della tua attività. Di solito, questi modelli sono sviluppati dai data scientist della tua organizzazione ...