Cuando las buenas herramientas se vuelven malas: el envenenamiento de herramientas de IA y cómo evitar que su IA actúe como un agente doble.

El desarrollo basado en IA (o, en su versión más moderna, «Vibe Coding») tiene un efecto transformador enorme en la creación de código. Los desarrolladores consolidados utilizan estas herramientas en masa, y aquellos de nosotros que siempre hemos querido desarrollar nuestro propio software, pero no teníamos la experiencia necesaria, también las utilizamos para desarrollar recursos que antes habrían requerido mucho tiempo y dinero. Aunque esta tecnología promete marcar el comienzo de una nueva era de innovación, también conlleva una serie de nuevas vulnerabilidades y perfiles de riesgo que los responsables de la seguridad tienen dificultades para contrarrestar.

Un reciente descubrimiento de InvariantLabs reveló una vulnerabilidad crítica en el Model Context Protocol (MCP), un marco similar a una API que permite a las potentes herramientas de IA interactuar de forma autónoma con otro software y bases de datos. Esto permite los llamados «ataques de envenenamiento de herramientas», una nueva categoría de vulnerabilidades que podría resultar especialmente dañina para las empresas. Las grandes herramientas de IA, como Windsurf y Cursor, no son inmunes a ello, y con muchos millones de usuarios, la concienciación y la capacidad para hacer frente a este problema de seguridad emergente son de suma importancia.

Según parece, el rendimiento de estas herramientas no es lo suficientemente seguro como para considerarlas aptas para su uso en empresas, tal y como se desprende de un reciente trabajo de investigación realizado por los investigadores de seguridad de AWS e Intuit, Vineeth Sai Narajala e Idan Habler:Dado que los sistemas de IA son cada vez más autónomos e interactúan directamente con herramientas externas y datos en tiempo real a través de elementos como MCP, es absolutamente necesario garantizar que estas interacciones sean seguras».

Sistemas de IA agenticos y el perfil de riesgo del Protocolo de Contexto del Modelo

El Model Context Protocol es un práctico software creado por Anthropic que permite una integración mejor y más fluida entre los agentes de IA de modelos de lenguaje grandes (LLM) y otras herramientas. Se trata de un potente caso de uso que abre un mundo de posibilidades entre aplicaciones propietarias y herramientas SaaS críticas para el negocio, como GitHub, que interactúan con soluciones de IA de última generación. Basta con escribir un servidor MCP y ponerse manos a la obra para definir las directrices sobre cómo y con qué finalidad debe funcionar.

Los efectos de la tecnología MCP en la seguridad son, de hecho, mayoritariamente positivos. La promesa de una integración más sencilla entre los LLM y la pila tecnológica utilizada por los expertos en seguridad es demasiado tentadora como para ignorarla. Representa la posibilidad de automatizar con precisión las tareas de seguridad a un nivel que antes no era posible, al menos sin escribir y desplegar código personalizado, normalmente para cada tarea. La mejora de la interoperabilidad de los LLM que ofrece MCP es una perspectiva interesante para la seguridad empresarial, ya que la transparencia y la conectividad entre los datos, las herramientas y el personal son fundamentales para una defensa y una planificación de la seguridad eficaces.

Sin embargo, el uso de MCP puede traer consigo otros posibles vectores de amenaza y ampliar considerablemente la superficie de ataque de la empresa, si no se gestiona con cuidado. Como señala Invariante Labore, los ataques de envenenamiento de herramientas (Tool Poisoning Attacks) constituyen una nueva categoría de vulnerabilidades que pueden dar lugar a la filtración de datos sensibles y a acciones no autorizadas por parte de los modelos de IA. A partir de ahí, las repercusiones en la seguridad se vuelven muy negras muy rápidamente.

InvariantLabs señala que es posible un ataque de envenenamiento de herramientas si se incrustan instrucciones maliciosas en las descripciones de las herramientas MCP, que no son visibles para los usuarios, pero que los modelos de IA pueden leer (y ejecutar) completamente. Esto induce a la herramienta a realizar acciones maliciosas no autorizadas sin que el usuario sea consciente de ello. El problema radica en la suposición del MCP de que todas las descripciones de herramientas son fiables. Esto es música para los oídos de un agente malicioso.

Usted constata las siguientes posibles consecuencias de una herramienta comprometida:

• Ordenar a los modelos de IA que accedan a archivos confidenciales (como claves SSH, archivos de configuración, bases de datos, etc.).
• Indicar a la IA que extraiga y transfiera estos datos, en un entorno en el que estas acciones maliciosas estén ocultas por naturaleza al usuario desprevenido.
• Establezca una separación entre lo que ve el usuario y las acciones del modelo de IA ocultándose tras representaciones aparentemente sencillas de la interfaz de usuario de herramientas y resultados.

Se trata de una nueva categoría de vulnerabilidades preocupante, y es muy probable que la veamos con mayor frecuencia, ya que el inevitable aumento del uso de MCP continúa. A medida que avanzan los programas de seguridad para empresas, estas tomarán medidas cuidadosas para detectar y mitigar esta amenaza. Por lo tanto, es fundamental preparar adecuadamente a los desarrolladores para que formen parte de la solución.

¿Por qué solo los desarrolladores con experiencia en seguridad deberían utilizar herramientas de IA agenticas?

Las herramientas de codificación de IA de Agentic se consideran el siguiente avance en la codificación basada en IA y contribuyen a su capacidad para ofrecer más eficiencia, productividad y flexibilidad en el desarrollo de software. Su capacidad mejorada para comprender el contexto y la intención las hace especialmente útiles, pero no son inmunes a amenazas como la inyección rápida, las alucinaciones o la manipulación del comportamiento por parte de los atacantes.

Los desarrolladores son la línea defensiva entre los commits de código buenos y malos, y en el futuro será fundamental para el desarrollo seguro de software mantener al día tanto las habilidades en materia de seguridad como el pensamiento crítico.

Los resultados de la IA nunca deben implementarse con una confianza ciega, y son los desarrolladores con experiencia en seguridad, que aplican un pensamiento crítico y contextual, los que pueden aprovechar con seguridad las ganancias de productividad de esta tecnología. No obstante, debe tratarse de una especie de entorno de programación en pareja, en el que el experto humano sea capaz de evaluar, cuestionar y, en última instancia, aprobar el trabajo realizado por la herramienta.

Descubre más sobre cómo los desarrolladores pueden mejorar sus habilidades con la IA y aumentar su productividad aquí.

Técnicas prácticas para limitar los daños y más información en nuestro último informe de investigación.

Las herramientas de codificación KI y la tecnología MCP serán un factor importante para el futuro de la ciberseguridad, pero es importante que no nos lancemos antes de haber sondeado el terreno.

El documento de Narajala y Habler describe estrategias integrales para reducir los riesgos de la implementación de MCP a nivel empresarial y la gestión continua de los riesgos asociados. En última instancia, se trata de principios de defensa profunda y de confianza cero que se centran expresamente en el perfil de riesgo único que este nuevo ecosistema conlleva para el entorno empresarial. Especialmente para los desarrolladores, es importante cerrar las brechas de conocimiento en las siguientes áreas:

• Autenticación y control de acceso: las herramientas de IA agentivas resuelven problemas y toman decisiones autónomas para alcanzar los objetivos que se les han fijado, de forma similar a como un ser humano abordaría tareas técnicas. Sin embargo, como hemos observado, no se puede ignorar la supervisión experta de estos procesos por parte de seres humanos, y los desarrolladores que utilizan estas herramientas en sus flujos de trabajo deben comprender exactamente qué acceso tienen, qué datos recuperan o pueden poner a disposición y dónde se pueden compartir.
• Detección y defensa generales contra amenazas: al igual que con la mayoría de los procesos de IA, el usuario debe dominar la tarea por sí mismo para detectar posibles errores e imprecisiones en los resultados de la herramienta. Los desarrolladores deben recibir formación continua y sus habilidades deben ser evaluadas para poder verificar eficazmente los procesos de seguridad y revisar el código generado por la IA con precisión y autoridad en materia de seguridad.
• Alineación con la política de seguridad y la gobernanza de la IA: se debe informar a los desarrolladores sobre las herramientas autorizadas y darles la oportunidad de formarse y acceder a ellas. Tanto el desarrollador como la herramienta deben someterse a una evaluación comparativa de seguridad antes de que las confirmaciones se consideren fiables.

Recientemente hemos publicado un artículo de investigación sobre la aparición del vibe coding y la codificación basada en IA, así como sobre las medidas que deben adoptar las empresas para formar a la próxima generación de ingenieros de software basados en IA. Échale un vistazo y ponte en contacto con nosotros hoy mismo para reforzar tu equipo de desarrollo.