Cuando una buena herramienta se vuelve mala: la intoxicación por herramientas de IA y cómo evitar que tu IA actúe como un doble agente.

El desarrollo asistido por inteligencia artificial(o, en su versión más popular, «codificación atmosférica») está teniendo un impacto transformador en la creación de código. Los desarrolladores experimentados están adoptando estas herramientas en masa, y aquellos de nosotros que siempre hemos querido crear nuestro propio software, pero carecíamos de la experiencia necesaria, también las estamos utilizando para construir activos que antes eran demasiado costosos y requerían demasiado tiempo. Aunque esta tecnología promete marcar el comienzo de una nueva era de innovación, también introduce una serie de nuevas vulnerabilidades y perfiles de riesgo que los responsables de seguridad están tratando de mitigar.

Un descubrimiento reciente: InvariantLabs ha detectado una vulnerabilidad crítica en el protocolo de contexto de modelo (MCP), un marco similar a una API que permite a potentes herramientas de inteligencia artificial interactuar de forma autónoma con otro software y bases de datos, lo que da lugar a lo que se conoce como «ataques de envenenamiento de herramientas», una nueva categoría de vulnerabilidad que puede causar daños especialmente graves a las empresas. Las principales herramientas de inteligencia artificial, como Windsurf y Cursor, tampoco se libran de ello, por lo que es fundamental que los millones de usuarios sean conscientes de este nuevo problema de seguridad y cuenten con los conocimientos y habilidades necesarios para gestionarlo.

Por el momento, los resultados de estas herramientas no son lo suficientemente seguros como para considerarlas aptas para su uso empresarial, tal y como se describe en un reciente artículo de investigación de los investigadores de seguridad de AWS e Intuit, Vineeth Sai Narajala e Idan Habler:«A medida que los sistemas de inteligencia artificial se vuelven más autónomos y comienzan a interactuar directamente con herramientas externas y datos en tiempo real a través de elementos como MCP, garantizar la seguridad de estas interacciones se vuelve absolutamente esencial».

Perfil de riesgo de los sistemas y modelos de inteligencia artificial que actúan como agentes y los acuerdos contextuales

El protocolo de contexto de modelo (MCP) es un práctico software creado por Anthropic que permite una integración mejor y más fluida entre los agentes de IA de modelos de lenguaje grandes (LLM) y otras herramientas. Se trata de un potente caso de uso que abre un mundo de posibilidades entre aplicaciones propietarias y herramientas SaaS críticas para el negocio, como GitHub, que pueden interactuar con soluciones de IA de vanguardia. Basta con escribir un servidor MCPy empezar a elaborar directrices sobre cómo quieres que funcione y qué objetivos quieres que alcance.

De hecho, el impacto de la tecnología MCP en la seguridad es en su mayor parte positivo. La promesa de una integración más directa entre LLM y la pila tecnológica utilizada por los profesionales de la seguridad es demasiado tentadora como para ignorarla,no puede ignorarse, ya que representa la posibilidad de automatizar tareas de seguridad precisas a un nivel que antes era imposible, al menos sin escribir e implementar código personalizado para cada tarea. Dado que la visibilidad y la conectividad profundas entre los datos, las herramientas y las personas son la base de una defensa y planificación de seguridad eficaces, MCP mejora la interoperabilidad de LLM y ofrece perspectivas emocionantes para la seguridad empresarial.

Sin embargo, el uso de MCP puede introducir otros posibles vectores de amenazas que, a menos que se gestionen con cautela, pueden ampliar significativamente la superficie de ataque de las empresas. Como señala Invariant Labs,los ataques de envenenamiento de herramientasrepresentan una nueva categoría de vulnerabilidad que puede provocar la filtración de datos confidenciales y operaciones no autorizadas en los modelos de IA. Desde entonces, los riesgos de seguridad se han vuelto rápidamente muy sombríos.

InvariantLabs señala que, cuando se incrustan instrucciones maliciosas en la descripción de una herramienta MCP, los usuarios no pueden verlas, pero los modelos de IA pueden leerlas (y ejecutarlas) completamente, lo que hace posible los ataques de envenenamiento de herramientas. Esto puede llevar a que la herramienta realice operaciones no autorizadas y perjudiciales sin que el usuario lo sepa. El problema radica en la suposición de MCP de que todas las descripciones de herramientas son fiables, lo que resulta ideal para los actores maliciosos.

Señalaron los siguientes resultados que pueden producirse por el deterioro de las herramientas:

• Indicar al modelo de IA que acceda a archivos confidenciales (como claves SSH, archivos de configuración, bases de datos, etc.).
• Indicar a la IA que extraiga y transmita estos datos en un entorno en el que se oculten estas acciones maliciosas a los usuarios que no están al tanto de ellas.
• Al ocultar los parámetros aparentemente simples de las herramientas y la representación de la interfaz de usuario de la salida, se crea una desconexión entre lo que ve el usuario y el funcionamiento del modelo de IA.

Se trata de una categoría de vulnerabilidades urgentes y preocupantes que, con el inevitable crecimiento continuo del uso de MCP, es casi seguro que veremos con mayor frecuencia. A medida que evolucionen los planes de seguridad de las empresas, se tomarán medidas cautelosas para detectar y mitigar esta amenaza, por lo que es fundamental que los desarrolladores estén bien preparados para participar en la solución.

¿Por qué solo los desarrolladores con habilidades en seguridad pueden utilizar herramientas de inteligencia artificial proxy?

Las herramientas de codificación con IA agencial se consideran la próxima evolución de la codificación asistida por IA, ya que aumentan su capacidad para mejorar la eficiencia, la productividad y la flexibilidad en el desarrollo de software. Su capacidad para comprender el contexto y las intenciones se ha mejorado, por lo que resultan especialmente útiles, pero no están a salvo de amenazas como la inyección instantánea, las alucinaciones o la manipulación del comportamiento por parte de los atacantes.

Los desarrolladores son la línea de defensa entre el código bueno y el malo, y mantener una mentalidad crítica y una seguridad aguda será la base del desarrollo de software seguro en el futuro.

No se debe confiar ciegamente en los resultados de la inteligencia artificial. Solo los desarrolladores con habilidades en seguridad que apliquen un pensamiento crítico contextual pueden aprovechar de forma segura el aumento de la productividad que ofrece esta tecnología. No obstante, debe estar en un entorno de programación en pareja, donde expertos humanos puedan evaluar, modelar amenazas y, en última instancia, aprobar el trabajo realizado por la herramienta.

Obtenga más información sobre cómo los desarrolladores pueden mejorar sus habilidades y aumentar su productividad mediante la IA aquí.

Técnicas de alivio prácticas y más información en nuestro último artículo de investigación.

Las herramientas de codificación de inteligencia artificial y la tecnología MCP se convertirán sin duda en factores importantes para la ciberseguridad del futuro, pero es fundamental que no nos lancemos a la piscina antes de sondear las aguas.

Narajala y Habler's Paper describen detalladamente la estrategia integral de mitigación de riesgos y la gestión continua de los mismos en la implementación de MCP a nivel empresarial. En última instancia, se centra en los principios de defensa profunda y confianza cero, y aborda claramente los riesgos únicos que este nuevo ecosistema plantea para el entorno empresarial. En particular, para los desarrolladores, es fundamental llenar las lagunas de conocimiento en las siguientes áreas:

• Autenticación y control de acceso: Las herramientas de IA agencial tienen la capacidad de resolver problemas y tomar decisiones autónomas para alcanzar los objetivos que se les han fijado, de forma muy similar a como los seres humanos abordan las tareas de ingeniería. Sin embargo, tal y como hemos determinado, no se debe pasar por alto la supervisión humana experta de estos procesos, y los desarrolladores que utilizan estas herramientas en sus flujos de trabajo deben saber exactamente qué acceso tienen, qué datos recuperan o pueden exponer, y dónde pueden compartirlos.
• Detección y mitigación de amenazas generales: al igual que con la mayoría de los procesos de inteligencia artificial, para detectar posibles defectos e imprecisiones en los resultados de las herramientas, los usuarios deben dominar la tarea. Los desarrolladores deben recibir formación continua y acreditar sus habilidades para poder revisar eficazmente los procesos de seguridad y revisar con precisión y autoridad el código generado por la IA.
• Cumplimiento de las políticas de seguridad y la gobernanza de la IA: los desarrolladores deben conocer las herramientas aprobadas y tener la oportunidad de mejorar sus habilidades y obtener permisos de uso. Tanto los desarrolladores como las herramientas deben someterse a pruebas de referencia de seguridad antes de que se aprueben.

Recientemente hemos publicado un artículo de investigación sobre la codificación atmosférica y la codificación asistida por inteligencia artificial, así como sobre las medidas que deben adoptar las empresas para mejorar la próxima generación de ingenieros de software impulsados por la inteligencia artificial. Consúltelo ahora mismo y póngase en contacto con nosotros para reforzar su equipo de desarrollo.