Recuperar el pensamiento crítico en el desarrollo seguro de software mejorado con IA

Una versión de este artículo apareció en Cybersecurity Insiders. Se ha actualizado y sindicado aquí.

‍

La adopción de asistentes de inteligencia artificial, que van desde los creadores de código Large Language Model (LLM) hasta los sofisticados agentes de IA agéntica, proporciona a los desarrolladores de software una gran cantidad de ventajas. Sin embargo, hallazgos recientes, subrayados por un nuevo estudio del MIT, lanzan una advertencia: la dependencia excesiva de la IA podría llevar a los usuarios a perder habilidades de pensamiento crítico.

En un entorno de software en el que los riesgos de seguridad relacionados con la IA han crecido al mismo ritmo que su adopción, esta pérdida de aptitud cognitiva podría tener consecuencias catastróficas. Es un imperativo ético que los desarrolladores y las organizaciones identifiquen, comprendan y mitiguen proactivamente las vulnerabilidades de seguridad en una fase temprana del ciclo de vida de desarrollo del software (SDLC). Aquellos que descuiden este deber, que, alarmantemente, describe a muchas organizaciones hoy en día, se enfrentan a un aumento igualmente agudo de las amenazas potenciales a la seguridad, algunas de las cuales son directamente atribuibles a la IA.

El debate no es si utilizar o no la IA, ya que las ventajas de productividad y eficiencia son demasiado grandes para descartarlas. En cambio, la verdadera cuestión es cómo aplicarla de la forma más eficaz: salvaguardando la seguridad al tiempo que se maximiza el crecimiento de la producción. Y esto lo hacen mejor los desarrolladores expertos en seguridad que conocen a fondo su código, independientemente de dónde se haya originado.

La dependencia excesiva de la inteligencia artificial puede provocar deterioro cognitivo

El estudio del Media Lab del MIT, publicado a principios de junio, puso a prueba las funciones cognitivas de 54 estudiantes de cinco universidades del área de Boston mientras escribían una redacción. Los estudiantes se dividieron en tres grupos: los que utilizaban un Modelo de Lenguaje Amplio (LLM), los que empleaban motores de búsqueda y los que lo hacían a la antigua usanza, sin ayuda externa. El equipo de investigación utilizó electroencefalografía (EEG) para registrar la actividad cerebral de los participantes y evaluar el compromiso cognitivo y la carga cognitiva. El equipo descubrió que el grupo de la vieja escuela, "sólo cerebro", mostraba la actividad neural más intensa y de mayor alcance, mientras que los que utilizaban motores de búsqueda mostraban una actividad moderada y los que utilizaban un LLM (en este caso, ChatGPT-4 de OpenAI) mostraban la menor actividad cerebral.

Puede que esto no resulte especialmente sorprendente; al fin y al cabo, cuando se recurre a una herramienta para que piense por uno, se piensa menos. Sin embargo, el estudio también reveló que los usuarios de LLM tenían una conexión más débil con sus trabajos: El 83% de los estudiantes tenía dificultades para recordar el contenido de sus ensayos incluso minutos después de terminarlos, y ninguno de los participantes podía citarlos con precisión. En comparación con los otros grupos, faltaba un sentido de propiedad del autor. Los participantes de Brain-only no sólo tenían el mayor sentido de la autoría y mostraban la gama más amplia de actividad cerebral, sino que también producían los trabajos más originales. Los resultados del grupo LLM fueron más homogéneos y, de hecho, los jueces los identificaron fácilmente como obra de la IA.

Desde el punto de vista de los desarrolladores, el resultado clave es la disminución del pensamiento crítico derivado del uso de la IA. Un único caso de dependencia de la IA puede no causar una pérdida de habilidades de pensamiento esenciales, por supuesto, pero el uso constante a lo largo del tiempo puede hacer que esas habilidades se atrofien. El estudio sugiere una forma de mantener vivo el pensamiento crítico durante el uso de la IA -haciendo que la IA ayude al usuario en lugar de que el usuario ayude a la IA-, pero el verdadero énfasis debe ponerse en garantizar que los desarrolladores tengan las habilidades de seguridad que necesitan para crear software seguro y que utilicen esas habilidades como parte rutinaria y esencial de su trabajo.

Formación de desarrolladores: Esencial para el ecosistema impulsado por la IA

Un estudio como el del MIT no detendrá la adopción de la IA, que avanza en todos los sectores. El Informe sobre el Índice de IA 2025 de la Universidad de Stanford reveló que el 78% de las organizaciones utilizarán IA en 2024, frente al 55% en 2023. Se espera que este tipo de crecimiento continúe. Pero el aumento del uso se refleja en un aumento del riesgo: Según el informe, los incidentes de ciberseguridad relacionados con la IA aumentaron un 56 % en el mismo periodo. 

El informe de Stanford subraya la necesidad vital de mejorar la gobernanza de la IA, ya que también constata que las organizaciones son poco estrictas a la hora de implantar salvaguardias de seguridad. Aunque prácticamente todas las organizaciones reconocen los riesgos de la IA, menos de dos tercios están haciendo algo al respecto, dejándolas vulnerables a una serie de amenazas de ciberseguridad y potencialmente en violación de los requisitos de cumplimiento normativo cada vez más estrictos.

Si la respuesta no es dejar de utilizar la IA (cosa que nadie hará), debe ser utilizarla de forma más segura. El estudio del MIT ofrece una pista útil sobre cómo hacerlo. En una cuarta sesión del estudio, los investigadores dividieron a los usuarios de LLM en dos grupos: los que empezaron la redacción por su cuenta antes de pedir ayuda a ChatGPT, conocidos en el estudio como el grupo Brain-to-LLM, y los que hicieron que ChatGPT elaborara un primer borrador antes de prestarle su atención personal, conocidos como el grupo LLM-to-Brain. El grupo Brain-to-LLM, que utilizó herramientas de IA para ayudarles a reescribir una redacción que ya habían redactado, mostró una mayor capacidad de recuerdo y actividad cerebral, con algunas áreas similares a las de los usuarios de motores de búsqueda. El grupo LLM-to-Brain, que permitió que la IA iniciara la redacción, mostró una actividad neuronal menos coordinada y una tendencia a utilizar vocabulario LLM.

Un enfoque Brain-to-LLM puede ayudar a mantener los cerebros de los usuarios un poco más agudos, pero los desarrolladores también necesitan los conocimientos específicos para escribir software de forma segura y evaluar críticamente el código generado por IA en busca de errores y riesgos de seguridad. Necesitan comprender las limitaciones de la IA, incluida su propensión a introducir fallos de seguridad, como vulnerabilidades a ataques de inyección puntual.

Esto requiere revisar los programas de seguridad de las empresas para garantizar un SDLC centrado en el ser humano, en el que los desarrolladores reciban una formación eficaz, flexible, práctica y continua como parte de una cultura de la seguridad como prioridad en toda la empresa. Los desarrolladores necesitan perfeccionar continuamente sus habilidades para mantenerse al día de las amenazas sofisticadas y en rápida evolución, en particular las impulsadas por el papel destacado de la IA en el desarrollo de software. Esto protege, por ejemplo, contra los cada vez más comunes ataques de inyección puntual. Pero para que esa protección funcione, las organizaciones necesitan una iniciativa impulsada por los desarrolladores que se centre en patrones de diseño seguros y en el modelado de amenazas.

Conclusión:

Cuando los LLM o los agentes agénticos hacen el trabajo pesado, los usuarios se convierten en espectadores pasivos. Según los autores del estudio, esto puede conducir a "un debilitamiento de las habilidades de pensamiento crítico, una comprensión menos profunda de los materiales y una menor formación de la memoria a largo plazo". Un menor nivel de compromiso cognitivo también puede conducir a una menor capacidad de toma de decisiones. 

Las organizaciones no pueden permitirse una falta de pensamiento crítico cuando se trata de ciberseguridad. Y dado que los fallos de software en entornos altamente distribuidos y basados en la nube se han convertido en el principal objetivo de los ciberatacantes, la ciberseguridad empieza por garantizar la seguridad del código, ya sea creado por desarrolladores, asistentes de IA o agentes agénticos. A pesar de todo el poder de la IA, las organizaciones necesitan más que nunca habilidades muy perfeccionadas de resolución de problemas y pensamiento crítico. Y eso no puede externalizarse a la IA.

Las nuevas capacidades de IA de SCW Trust Agent proporcionan la capacidad de observación y el control que necesita para gestionar con confianza la adopción de IA en su SDLC sin sacrificar la seguridad. Más información.