El manual del desarrollador para la seguridad de los modelos de lenguaje de gran tamaño
by Steve Wilson
Capítulo 4. Inyección de prompt
Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: translation-feedback@oreilly.com
Enel Capítulo 1 se repasó la triste historia de cómo la vida de Tay quedó truncada tras el abuso de unos hackers vándalos. Ese estudio de caso fue el primer ejemplo destacado de lo que ahora llamamos inyección prompt, pero desde luego no es el último. Alguna forma de inyección prompt está implicada en la mayoría de las violaciones de seguridad relacionadas con el LLM que hemos visto en el mundo real.
En la inyección de prompt, un atacante crea entradas maliciosas para manipular la comprensión del lenguaje natural de un LLM. Esto puede hacer que el LLM actúe en contra de sus directrices operativas previstas. El concepto de inyección se ha incluido en casi todas las versiones de una lista OWASP Top 10 desde la lista original de 2001, por lo que merece la pena echar un vistazo a la definición genérica antes de profundizar.
Un ataque de inyección en seguridad de aplicaciones es un tipo de ciberataque en el que el atacante inserta instrucciones maliciosas en una aplicación vulnerable. El atacante puede entonces tomar el control de la aplicación, robar datos o interrumpir las operaciones. Por ejemplo, en un ataque de inyección SQL, un atacante introduce consultas SQL maliciosas en un formulario web, engañando al sistema para que ejecute comandos no deseados. Esto puede dar lugar a un acceso no autorizado o a la manipulación de la base ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access