Les passerelles IA dans l'entreprise

Chapitre 2. La passerelle de l'IA : Combler les écarts

Cet ouvrage a été traduit à l'aide de l'IA. Tes réactions et tes commentaires sont les bienvenus : [e-mail]

Alors que les organisations adoptent l'IA et les LLMs, les architectes et les responsables informatiques doivent donner la priorité à l'adoption sûre et sécurisée de ces technologies transformatrices. Dans ce chapitre, nous explorerons les nouveaux défis qui se posent lorsque les applications intègrent les LLMs et les raisons pour lesquelles les approches traditionnelles - comme la mise en réseau classique - doivent évoluer pour intégrer des outils spécialisés adaptés à ce nouveau paradigme. Nous jetterons un coup d'œil à l'utilisation d'un intermédiaire intelligent, une passerelle d'IA, et à la façon dont il améliore la sécurité, l'observabilité et les performances pour l'interaction IA/LLM, qui complètent la mise en réseau traditionnelle.

Pourquoi la mise en réseau traditionnelle n'est pas à la hauteur des systèmes d'IA.

Pour comprendre où la mise en réseau traditionnelle laisse à désirer, examinons une interaction typique avec un LLM. Les LLMs sont généralement exposés par le biais d'une interface API. De nombreux LLMs ont normalisé l'API REST d'OpenAI, mais il existe également d'autres options (par exemple, Amazon Bedrock et Google Vertex). Pour effectuer un appel à un LLM, un client préparera une requête HTTP avec les clés API appropriées dans les en-têtes et un message prompt approprié ...