Chapter 12. Protección de los sistemas agenticos
La adopción de agentes de IA plantea retos de seguridad únicos, distintos de los del software tradicional. Los sistemas agenticos—caracterizados por su autonomía, capacidades avanzadas de razonamiento, interacciones dinámicas y flujos de trabajo complejos—tienen una extensión significativa del panorama de amenazas. Para proteger eficazmente estos sistemas, es necesario abordar no solo las preocupaciones de seguridad tradicionales, sino también las vulnerabilidades únicas inherentes a la autonomía de los agentes, la toma de decisiones probabilística y la amplia dependencia de modelos y datos fundamentales de IA.
La IA generativa ha introducido un vector de amenazas formidable y en expansión en el panorama de la ciberseguridad. Estas tecnologías amplifican los riesgos a través de ataques sofisticados como los deepfakes para el fraude, los prompts para secuestrar sistemas y el envenenamiento de memoria en flujos de trabajo multiagente, donde los datos contaminados pueden provocar fallos sistémicos o acciones no autorizadas. Por ejemplo, a principios de 2025, un municipio de Maine fue víctima de una estafa de phishing impulsada por IA que explotó la clonación generativa de voz para robar entre 10,000 y 100,000 dólares, mientras que el chatbot de un concesionario de Chevrolet fue manipulado mediante la inyección de prompts para ofrecer un vehículo de 76,000 dólares por solo 1 dólar, lo que pone de relieve lo fácil que es eludir las medidas ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access