Cuando las buenas herramientas se vuelven malas: AI Tool Poisoning, and How to Stop Your AI From Acting as a Double Agent (Envenenamiento de herramientas de IA y cómo evitar que su IA actúe como un agente doble).

El desarrollo asistido por IA (o, en su versión más de moda, "codificación vibrante") está teniendo un efecto transformador enorme en la creación de código. Los desarrolladores consolidados están adoptando estas herramientas en masa, y aquellos de nosotros que siempre hemos querido crear nuestro propio software pero carecíamos de la experiencia pertinente también las estamos aprovechando para crear activos que antes habrían sido prohibitivos en términos de coste y tiempo. Aunque esta tecnología promete marcar el comienzo de una nueva era de innovación, introduce una serie de nuevas vulnerabilidades y perfiles de riesgo que los responsables de seguridad se esfuerzan por mitigar. 

Un descubrimiento reciente de InvariantLabs puso al descubierto una vulnerabilidad crítica en el Protocolo de Contexto de Modelo (MCP), un marco similar a una API que permite a las potentes herramientas de IA interactuar de forma autónoma con otro software y bases de datos, que permite lo que se ha denominado "ataques de envenenamiento de herramientas", una nueva categoría de vulnerabilidad que podría resultar especialmente perjudicial en la empresa. Las principales herramientas de IA, como Windsurf y Cursor, no son inmunes, y con muchos millones de usuarios, la concienciación y las habilidades para gestionar este problema de seguridad emergente son primordiales.

En la actualidad, el resultado de estas herramientas no es lo suficientemente seguro como para etiquetarlas como preparadas para la empresa, como se señala en un reciente documento de investigación de los investigadores de seguridad de AWS e Intuit, Vineeth Sai Narajala e Idan Habler: "A medida que los sistemas de IA se vuelven más autónomos y comienzan a interactuar directamente con herramientas externas y datos en tiempo real a través de cosas como MCP, asegurarse de que esas interacciones sean seguras se vuelve absolutamente esencial."

Los sistemas de IA agenética y el perfil de riesgo del Protocolo de Contexto Modelo

El Model Context Protocol es un práctico software creado por Anthropic que permite una integración mejor y más fluida entre los agentes de IA de Large Language Model (LLM) y otras herramientas. Se trata de un potente caso de uso, que abre un mundo de posibilidades entre aplicaciones propietarias y herramientas SaaS críticas para el negocio, como GitHub, interactuando con soluciones de IA de vanguardia. Basta con escribir un servidor MCP y ponerse manos a la obra para establecer las directrices sobre cómo se desea que funcione y con qué fin. 

Las implicaciones para la seguridad de la tecnología MCP son, de hecho, mayoritariamente positivas. La promesa de una integración más directa entre los LLM y la pila tecnológica utilizada por los profesionales de la seguridad es demasiado tentadora como para ignorarla, y representa la posibilidad de automatizar con precisión las tareas de seguridad a niveles que antes no eran posibles, al menos no sin escribir y desplegar código personalizado, normalmente para cada tarea. La interoperabilidad mejorada de los LLM que ofrece MCP es una perspectiva apasionante para la seguridad empresarial, dado que la visibilidad y conectividad de gran alcance entre datos, herramientas y personal es fundamental para una defensa y planificación eficaces de la seguridad.

Sin embargo, el uso de MCP puede introducir otros posibles vectores de amenaza, ampliando significativamente la superficie de ataque de la empresa a menos que se gestione con cuidado. Como señala InvariantLabs, los ataques de envenenamiento de herramientas representan una nueva categoría de vulnerabilidad que puede conducir a la exfiltración de datos confidenciales y acciones no autorizadas por parte de modelos de IA, y a partir de ahí, las implicaciones de seguridad se vuelven muy oscuras, muy rápidamente. 

InvariantLabs señala que un ataque de envenenamiento de herramientas es posible cuando se incrustan instrucciones maliciosas en descripciones de herramientas MCP que no son visibles para los usuarios, pero que son totalmente legibles (y ejecutables) por modelos de IA. Esto engaña a la herramienta para que realice malas acciones no autorizadas sin que el usuario sea consciente de ello. El problema radica en que el MCP asume que todas las descripciones de herramientas son de confianza, lo cual es música para los oídos de un actor de amenazas.

Señalan estas posibles consecuencias de una herramienta comprometida:

• Dirigir modelos de IA para acceder a archivos sensibles (como claves SSH, archivos de configuración, bases de datos, etc.);
• Dar instrucciones a la IA para que extraiga y transmita estos datos, en un entorno en el que estas acciones maliciosas están intrínsecamente ocultas al usuario inconsciente;
• Crear una desconexión entre lo que ve el usuario y lo que hace el modelo de IA ocultándose tras representaciones de interfaz de usuario engañosamente sencillas de los argumentos y resultados de las herramientas.

Se trata de una categoría de vulnerabilidad emergente y preocupante, que casi con toda seguridad veremos con más frecuencia a medida que continúe el inevitable crecimiento del uso de MCP. Será necesario actuar con cuidado para encontrar y mitigar esta amenaza a medida que evolucionen los programas de seguridad de las empresas, y preparar adecuadamente a los desarrolladores para que formen parte de la solución es clave.

Por qué sólo los desarrolladores expertos en seguridad deberían aprovechar las herramientas de IA agéntica

Las herramientas de codificación de IA agéntica se consideran la siguiente evolución de la codificación asistida por IA, que se suma a su capacidad para ofrecer mayor eficiencia, productividad y flexibilidad en el desarrollo de software. Su capacidad mejorada para comprender el contexto y la intención las hace especialmente útiles, pero no son inmunes a amenazas como la inyección puntual, la alucinación o la manipulación del comportamiento por parte de los atacantes. 

Los desarrolladores son la línea defensiva entre los commits de código buenos y malos, y mantener afiladas tanto las habilidades de seguridad como las de pensamiento crítico será fundamental en el futuro del desarrollo seguro de software.

Los resultados de la IA nunca deben aplicarse con una confianza ciega, y son los desarrolladores expertos en seguridad que aplican un pensamiento contextual y crítico los que pueden aprovechar con seguridad las ganancias de productividad que ofrece esta tecnología. Aún así, debe ser en lo que equivale a un entorno de programación en parejas, donde el experto humano sea capaz de evaluar, modelar las amenazas y, en última instancia, aprobar el trabajo producido por la herramienta. 

Obtenga más información sobre cómo los desarrolladores pueden mejorar sus competencias y aumentar su productividad con la IA aquí.

Técnicas prácticas de mitigación, y más lecturas en nuestro último documento de investigación

Las herramientas de codificación de IA y la tecnología MCP están llamadas a ser un factor significativo en el futuro de la ciberseguridad, pero es vital que no nos zambullamos antes de comprobar el agua. 

El documento de Narajala y Habler detalla estrategias de mitigación exhaustivas para implantar MCP a nivel empresarial y la gestión continua de sus riesgos. En última instancia, se centra en los principios de defensa en profundidad y confianza cero, centrándose explícitamente en el perfil de riesgo único que este nuevo ecosistema aporta a un entorno empresarial. Para los desarrolladores en concreto, es esencial cubrir las lagunas de conocimiento en las siguientes áreas:

• Autenticación y control de acceso: Las herramientas de IA agéntica funcionan para resolver problemas y tomar decisiones autónomas para cumplir los objetivos que se les han asignado, de forma muy similar a como un humano abordaría las tareas de ingeniería. Sin embargo, como hemos establecido, no se puede ignorar la supervisión humana cualificada de estos procesos, y los desarrolladores que utilizan estas herramientas en sus flujos de trabajo deben comprender exactamente qué acceso tienen, los datos que recuperan o exponen potencialmente, y dónde podrían compartirse. 
• Detección y mitigación general de amenazas: Como ocurre con la mayoría de los procesos de IA, para detectar posibles fallos e imprecisiones en los resultados de la herramienta, el propio usuario debe ser competente en la tarea. Los desarrolladores deben recibir formación continua y verificación de esas habilidades para revisar eficazmente los procesos de seguridad y revisar el código generado por IA con precisión y autoridad en materia de seguridad.
• Alineación con la política de seguridad y la gobernanza de la IA: Los desarrolladores deben conocer las herramientas aprobadas y tener la oportunidad de actualizar sus conocimientos y acceder a ellas. Tanto el desarrollador como la herramienta deben someterse a una evaluación comparativa de seguridad antes de confiar en las confirmaciones.

Recientemente hemos publicado un documento de investigación sobre la aparición de la codificación vibrante y la codificación asistida por IA, y los pasos que deben dar las empresas para mejorar la próxima generación de ingenieros de software con IA. Échale un vistazo y ponte en contacto con nosotros para reforzar tu cohorte de desarrollo hoy mismo.