
Análisis profundo: cómo explorar las vulnerabilidades generadas por los asistentes de codificación de IA
No importa dónde se mire, hay una obsesión continua con la tecnología de inteligencia artificial en casi todos los sectores verticales. Algunos lo han elogiado como la solución para crear funciones a toda velocidad en el desarrollo de software, pero el aumento de velocidad tiene un precio: la posibilidad de que se introduzcan graves errores de seguridad en las bases de código, gracias a la falta de conocimiento del contexto por parte de la propia herramienta, y a los bajos conocimientos de seguridad de los desarrolladores que confían en ella para aumentar la productividad y generar respuestas a los desafiantes escenarios de desarrollo.
La tecnología Large Language Model (LLM) representa un cambio radical en las herramientas de asistencia y, cuando se usa de manera segura, podría ser la compañera de programación que tanto desean los ingenieros de software. Sin embargo, se ha comprobado rápidamente que el uso descontrolado de las herramientas de desarrollo basadas en la IA puede tener un impacto negativo, si es así Estudio 2023 de la Universidad de Stanford, que revela que la confianza en los asistentes de IA probablemente dé como resultado un código más defectuoso e inseguro en general, además de un aumento de la confianza en que la salida es segura.
Si bien es válido suponer que las herramientas seguirán mejorando a medida que avance la carrera hacia la tecnología LLM perfecta, hay una serie de recomendaciones, que incluyen una nueva orden ejecutiva de la Administración de Biden, así como la Ley de Inteligencia Artificial de la UE, lo que hace que su uso sea un camino difícil en cualquier caso. Los desarrolladores pueden empezar con ventaja perfeccionando sus habilidades de seguridad a nivel de código, su conocimiento y su pensamiento crítico en torno a los resultados de las herramientas de inteligencia artificial y, a su vez, convertirse en ingenieros de mayor nivel.
¿Cómo introducen las vulnerabilidades los asistentes de codificación de IA? Juega nuestra NUEVA misión pública ¡y compruébalo tú mismo!

Ejemplo: secuencias de comandos entre sitios (XSS) en 'ChatterGPT'
Nuestra nueva misión pública revela la interfaz familiar de un LLM popular y utiliza un real fragmento de código generado a finales de noviembre de 2023. Los usuarios pueden interpretar este fragmento e investigar cualquier posible problema de seguridad si se utilizara para el propósito previsto.
Basado en el mensaje «¿Se puede escribir una función de JavaScript que cambie el contenido del elemento p HTML, donde el contenido se pasa a través de esa función?» el asistente de IA produce diligentemente un bloque de código, pero no todo es lo que parece.
¿Ya has jugado al desafío? Si no, pruébalo ahora antes de seguir leyendo.
... bien, ahora que lo ha completado, sabrá que el código en cuestión es vulnerable a las secuencias de comandos entre sitios (XSS).
XSS es posible gracias a la manipulación de la funcionalidad principal de los navegadores web. Puede ocurrir cuando una entrada que no es de confianza se representa como salida en una página, pero se malinterpreta como código ejecutable y seguro. Un atacante puede colocar un fragmento malintencionado (etiquetas HTML, JavaScript, etc.) dentro de un parámetro de entrada y, cuando lo devuelve al navegador, se ejecuta en lugar de mostrarse como datos.
Uso seguro de asistentes de codificación de IA en el desarrollo de software
UN encuesta reciente de los equipos de desarrollo en activo revelaron que casi todos ellos (el 96%) han empezado a utilizar asistentes de IA en su flujo de trabajo, y el 80% incluso ha eludido las políticas de seguridad para mantenerlos en su conjunto de herramientas. Además, más de la mitad reconoció que las herramientas generativas de inteligencia artificial suelen crear código inseguro, pero es evidente que esto no ralentizó su adopción.
Con esta nueva era de procesos de desarrollo de software, es poco probable que desalentar o prohibir el uso de estas herramientas funcione. Por el contrario, las organizaciones deben permitir que sus equipos de desarrollo aprovechen las mejoras de eficiencia y productividad sin sacrificar la seguridad ni la calidad del código. Esto requiere una formación precisa sobre las mejores prácticas de codificación segura y brindarles la oportunidad de ampliar sus habilidades de pensamiento crítico, garantizando que actúan con una mentalidad que priorice la seguridad, especialmente a la hora de evaluar la posible amenaza que representa la salida de código del asistente de inteligencia artificial.
Lectura adicional
Para XSS en general, consulta nuestra guía completa.
¿Desea obtener más información sobre cómo escribir código seguro y mitigar el riesgo? Prueba nuestro Desafío de inyección XSS gratis.
Si estás interesado en obtener más pautas de codificación gratuitas, consulta Entrenador de código seguro para ayudarlo a mantenerse al tanto de las mejores prácticas de codificación segura.
.avif)
Explore los riesgos de seguridad de la IA en el desarrollo de software y aprenda a superar estos desafíos de manera efectiva con Secure Code Warrior.

Secure Code Warrior aquí para que su organización le ayude a proteger el código durante todo el ciclo de vida del desarrollo de software y a crear una cultura en la que la ciberseguridad sea una prioridad. Ya sea administrador de AppSec, desarrollador, CISO o cualquier persona relacionada con la seguridad, podemos ayudar a su organización a reducir los riesgos asociados con el código inseguro.
Reserve una demostraciónLaura Verheyde es una desarrolladora de software en Secure Code Warrior centrada en la investigación de vulnerabilidades y la creación de contenidos para Missions y Coding labs.
No importa dónde se mire, hay una obsesión continua con la tecnología de inteligencia artificial en casi todos los sectores verticales. Algunos lo han elogiado como la solución para crear funciones a toda velocidad en el desarrollo de software, pero el aumento de velocidad tiene un precio: la posibilidad de que se introduzcan graves errores de seguridad en las bases de código, gracias a la falta de conocimiento del contexto por parte de la propia herramienta, y a los bajos conocimientos de seguridad de los desarrolladores que confían en ella para aumentar la productividad y generar respuestas a los desafiantes escenarios de desarrollo.
La tecnología Large Language Model (LLM) representa un cambio radical en las herramientas de asistencia y, cuando se usa de manera segura, podría ser la compañera de programación que tanto desean los ingenieros de software. Sin embargo, se ha comprobado rápidamente que el uso descontrolado de las herramientas de desarrollo basadas en la IA puede tener un impacto negativo, si es así Estudio 2023 de la Universidad de Stanford, que revela que la confianza en los asistentes de IA probablemente dé como resultado un código más defectuoso e inseguro en general, además de un aumento de la confianza en que la salida es segura.
Si bien es válido suponer que las herramientas seguirán mejorando a medida que avance la carrera hacia la tecnología LLM perfecta, hay una serie de recomendaciones, que incluyen una nueva orden ejecutiva de la Administración de Biden, así como la Ley de Inteligencia Artificial de la UE, lo que hace que su uso sea un camino difícil en cualquier caso. Los desarrolladores pueden empezar con ventaja perfeccionando sus habilidades de seguridad a nivel de código, su conocimiento y su pensamiento crítico en torno a los resultados de las herramientas de inteligencia artificial y, a su vez, convertirse en ingenieros de mayor nivel.
¿Cómo introducen las vulnerabilidades los asistentes de codificación de IA? Juega nuestra NUEVA misión pública ¡y compruébalo tú mismo!

Ejemplo: secuencias de comandos entre sitios (XSS) en 'ChatterGPT'
Nuestra nueva misión pública revela la interfaz familiar de un LLM popular y utiliza un real fragmento de código generado a finales de noviembre de 2023. Los usuarios pueden interpretar este fragmento e investigar cualquier posible problema de seguridad si se utilizara para el propósito previsto.
Basado en el mensaje «¿Se puede escribir una función de JavaScript que cambie el contenido del elemento p HTML, donde el contenido se pasa a través de esa función?» el asistente de IA produce diligentemente un bloque de código, pero no todo es lo que parece.
¿Ya has jugado al desafío? Si no, pruébalo ahora antes de seguir leyendo.
... bien, ahora que lo ha completado, sabrá que el código en cuestión es vulnerable a las secuencias de comandos entre sitios (XSS).
XSS es posible gracias a la manipulación de la funcionalidad principal de los navegadores web. Puede ocurrir cuando una entrada que no es de confianza se representa como salida en una página, pero se malinterpreta como código ejecutable y seguro. Un atacante puede colocar un fragmento malintencionado (etiquetas HTML, JavaScript, etc.) dentro de un parámetro de entrada y, cuando lo devuelve al navegador, se ejecuta en lugar de mostrarse como datos.
Uso seguro de asistentes de codificación de IA en el desarrollo de software
UN encuesta reciente de los equipos de desarrollo en activo revelaron que casi todos ellos (el 96%) han empezado a utilizar asistentes de IA en su flujo de trabajo, y el 80% incluso ha eludido las políticas de seguridad para mantenerlos en su conjunto de herramientas. Además, más de la mitad reconoció que las herramientas generativas de inteligencia artificial suelen crear código inseguro, pero es evidente que esto no ralentizó su adopción.
Con esta nueva era de procesos de desarrollo de software, es poco probable que desalentar o prohibir el uso de estas herramientas funcione. Por el contrario, las organizaciones deben permitir que sus equipos de desarrollo aprovechen las mejoras de eficiencia y productividad sin sacrificar la seguridad ni la calidad del código. Esto requiere una formación precisa sobre las mejores prácticas de codificación segura y brindarles la oportunidad de ampliar sus habilidades de pensamiento crítico, garantizando que actúan con una mentalidad que priorice la seguridad, especialmente a la hora de evaluar la posible amenaza que representa la salida de código del asistente de inteligencia artificial.
Lectura adicional
Para XSS en general, consulta nuestra guía completa.
¿Desea obtener más información sobre cómo escribir código seguro y mitigar el riesgo? Prueba nuestro Desafío de inyección XSS gratis.
Si estás interesado en obtener más pautas de codificación gratuitas, consulta Entrenador de código seguro para ayudarlo a mantenerse al tanto de las mejores prácticas de codificación segura.
.avif)
No importa dónde se mire, hay una obsesión continua con la tecnología de inteligencia artificial en casi todos los sectores verticales. Algunos lo han elogiado como la solución para crear funciones a toda velocidad en el desarrollo de software, pero el aumento de velocidad tiene un precio: la posibilidad de que se introduzcan graves errores de seguridad en las bases de código, gracias a la falta de conocimiento del contexto por parte de la propia herramienta, y a los bajos conocimientos de seguridad de los desarrolladores que confían en ella para aumentar la productividad y generar respuestas a los desafiantes escenarios de desarrollo.
La tecnología Large Language Model (LLM) representa un cambio radical en las herramientas de asistencia y, cuando se usa de manera segura, podría ser la compañera de programación que tanto desean los ingenieros de software. Sin embargo, se ha comprobado rápidamente que el uso descontrolado de las herramientas de desarrollo basadas en la IA puede tener un impacto negativo, si es así Estudio 2023 de la Universidad de Stanford, que revela que la confianza en los asistentes de IA probablemente dé como resultado un código más defectuoso e inseguro en general, además de un aumento de la confianza en que la salida es segura.
Si bien es válido suponer que las herramientas seguirán mejorando a medida que avance la carrera hacia la tecnología LLM perfecta, hay una serie de recomendaciones, que incluyen una nueva orden ejecutiva de la Administración de Biden, así como la Ley de Inteligencia Artificial de la UE, lo que hace que su uso sea un camino difícil en cualquier caso. Los desarrolladores pueden empezar con ventaja perfeccionando sus habilidades de seguridad a nivel de código, su conocimiento y su pensamiento crítico en torno a los resultados de las herramientas de inteligencia artificial y, a su vez, convertirse en ingenieros de mayor nivel.
¿Cómo introducen las vulnerabilidades los asistentes de codificación de IA? Juega nuestra NUEVA misión pública ¡y compruébalo tú mismo!

Ejemplo: secuencias de comandos entre sitios (XSS) en 'ChatterGPT'
Nuestra nueva misión pública revela la interfaz familiar de un LLM popular y utiliza un real fragmento de código generado a finales de noviembre de 2023. Los usuarios pueden interpretar este fragmento e investigar cualquier posible problema de seguridad si se utilizara para el propósito previsto.
Basado en el mensaje «¿Se puede escribir una función de JavaScript que cambie el contenido del elemento p HTML, donde el contenido se pasa a través de esa función?» el asistente de IA produce diligentemente un bloque de código, pero no todo es lo que parece.
¿Ya has jugado al desafío? Si no, pruébalo ahora antes de seguir leyendo.
... bien, ahora que lo ha completado, sabrá que el código en cuestión es vulnerable a las secuencias de comandos entre sitios (XSS).
XSS es posible gracias a la manipulación de la funcionalidad principal de los navegadores web. Puede ocurrir cuando una entrada que no es de confianza se representa como salida en una página, pero se malinterpreta como código ejecutable y seguro. Un atacante puede colocar un fragmento malintencionado (etiquetas HTML, JavaScript, etc.) dentro de un parámetro de entrada y, cuando lo devuelve al navegador, se ejecuta en lugar de mostrarse como datos.
Uso seguro de asistentes de codificación de IA en el desarrollo de software
UN encuesta reciente de los equipos de desarrollo en activo revelaron que casi todos ellos (el 96%) han empezado a utilizar asistentes de IA en su flujo de trabajo, y el 80% incluso ha eludido las políticas de seguridad para mantenerlos en su conjunto de herramientas. Además, más de la mitad reconoció que las herramientas generativas de inteligencia artificial suelen crear código inseguro, pero es evidente que esto no ralentizó su adopción.
Con esta nueva era de procesos de desarrollo de software, es poco probable que desalentar o prohibir el uso de estas herramientas funcione. Por el contrario, las organizaciones deben permitir que sus equipos de desarrollo aprovechen las mejoras de eficiencia y productividad sin sacrificar la seguridad ni la calidad del código. Esto requiere una formación precisa sobre las mejores prácticas de codificación segura y brindarles la oportunidad de ampliar sus habilidades de pensamiento crítico, garantizando que actúan con una mentalidad que priorice la seguridad, especialmente a la hora de evaluar la posible amenaza que representa la salida de código del asistente de inteligencia artificial.
Lectura adicional
Para XSS en general, consulta nuestra guía completa.
¿Desea obtener más información sobre cómo escribir código seguro y mitigar el riesgo? Prueba nuestro Desafío de inyección XSS gratis.
Si estás interesado en obtener más pautas de codificación gratuitas, consulta Entrenador de código seguro para ayudarlo a mantenerse al tanto de las mejores prácticas de codificación segura.
.avif)

Haga clic en el enlace de abajo y descargue el PDF de este recurso.
Secure Code Warrior aquí para que su organización le ayude a proteger el código durante todo el ciclo de vida del desarrollo de software y a crear una cultura en la que la ciberseguridad sea una prioridad. Ya sea administrador de AppSec, desarrollador, CISO o cualquier persona relacionada con la seguridad, podemos ayudar a su organización a reducir los riesgos asociados con el código inseguro.
Ver informeReserve una demostración
¿Cómo introducen las vulnerabilidades los asistentes de codificación de IA? ¡Juega nuestra NUEVA misión pública y compruébalo por ti mismo! Esta misión revela la conocida interfaz de un popular LLM y utiliza un fragmento de código real generado a finales de noviembre de 2023. Los usuarios pueden interpretar este fragmento e investigar cualquier posible problema de seguridad si se utilizara para el propósito previsto.
Test the missionLaura Verheyde es una desarrolladora de software en Secure Code Warrior centrada en la investigación de vulnerabilidades y la creación de contenidos para Missions y Coding labs.
No importa dónde se mire, hay una obsesión continua con la tecnología de inteligencia artificial en casi todos los sectores verticales. Algunos lo han elogiado como la solución para crear funciones a toda velocidad en el desarrollo de software, pero el aumento de velocidad tiene un precio: la posibilidad de que se introduzcan graves errores de seguridad en las bases de código, gracias a la falta de conocimiento del contexto por parte de la propia herramienta, y a los bajos conocimientos de seguridad de los desarrolladores que confían en ella para aumentar la productividad y generar respuestas a los desafiantes escenarios de desarrollo.
La tecnología Large Language Model (LLM) representa un cambio radical en las herramientas de asistencia y, cuando se usa de manera segura, podría ser la compañera de programación que tanto desean los ingenieros de software. Sin embargo, se ha comprobado rápidamente que el uso descontrolado de las herramientas de desarrollo basadas en la IA puede tener un impacto negativo, si es así Estudio 2023 de la Universidad de Stanford, que revela que la confianza en los asistentes de IA probablemente dé como resultado un código más defectuoso e inseguro en general, además de un aumento de la confianza en que la salida es segura.
Si bien es válido suponer que las herramientas seguirán mejorando a medida que avance la carrera hacia la tecnología LLM perfecta, hay una serie de recomendaciones, que incluyen una nueva orden ejecutiva de la Administración de Biden, así como la Ley de Inteligencia Artificial de la UE, lo que hace que su uso sea un camino difícil en cualquier caso. Los desarrolladores pueden empezar con ventaja perfeccionando sus habilidades de seguridad a nivel de código, su conocimiento y su pensamiento crítico en torno a los resultados de las herramientas de inteligencia artificial y, a su vez, convertirse en ingenieros de mayor nivel.
¿Cómo introducen las vulnerabilidades los asistentes de codificación de IA? Juega nuestra NUEVA misión pública ¡y compruébalo tú mismo!

Ejemplo: secuencias de comandos entre sitios (XSS) en 'ChatterGPT'
Nuestra nueva misión pública revela la interfaz familiar de un LLM popular y utiliza un real fragmento de código generado a finales de noviembre de 2023. Los usuarios pueden interpretar este fragmento e investigar cualquier posible problema de seguridad si se utilizara para el propósito previsto.
Basado en el mensaje «¿Se puede escribir una función de JavaScript que cambie el contenido del elemento p HTML, donde el contenido se pasa a través de esa función?» el asistente de IA produce diligentemente un bloque de código, pero no todo es lo que parece.
¿Ya has jugado al desafío? Si no, pruébalo ahora antes de seguir leyendo.
... bien, ahora que lo ha completado, sabrá que el código en cuestión es vulnerable a las secuencias de comandos entre sitios (XSS).
XSS es posible gracias a la manipulación de la funcionalidad principal de los navegadores web. Puede ocurrir cuando una entrada que no es de confianza se representa como salida en una página, pero se malinterpreta como código ejecutable y seguro. Un atacante puede colocar un fragmento malintencionado (etiquetas HTML, JavaScript, etc.) dentro de un parámetro de entrada y, cuando lo devuelve al navegador, se ejecuta en lugar de mostrarse como datos.
Uso seguro de asistentes de codificación de IA en el desarrollo de software
UN encuesta reciente de los equipos de desarrollo en activo revelaron que casi todos ellos (el 96%) han empezado a utilizar asistentes de IA en su flujo de trabajo, y el 80% incluso ha eludido las políticas de seguridad para mantenerlos en su conjunto de herramientas. Además, más de la mitad reconoció que las herramientas generativas de inteligencia artificial suelen crear código inseguro, pero es evidente que esto no ralentizó su adopción.
Con esta nueva era de procesos de desarrollo de software, es poco probable que desalentar o prohibir el uso de estas herramientas funcione. Por el contrario, las organizaciones deben permitir que sus equipos de desarrollo aprovechen las mejoras de eficiencia y productividad sin sacrificar la seguridad ni la calidad del código. Esto requiere una formación precisa sobre las mejores prácticas de codificación segura y brindarles la oportunidad de ampliar sus habilidades de pensamiento crítico, garantizando que actúan con una mentalidad que priorice la seguridad, especialmente a la hora de evaluar la posible amenaza que representa la salida de código del asistente de inteligencia artificial.
Lectura adicional
Para XSS en general, consulta nuestra guía completa.
¿Desea obtener más información sobre cómo escribir código seguro y mitigar el riesgo? Prueba nuestro Desafío de inyección XSS gratis.
Si estás interesado en obtener más pautas de codificación gratuitas, consulta Entrenador de código seguro para ayudarlo a mantenerse al tanto de las mejores prácticas de codificación segura.
.avif)
Tabla de contenido

Secure Code Warrior aquí para que su organización le ayude a proteger el código durante todo el ciclo de vida del desarrollo de software y a crear una cultura en la que la ciberseguridad sea una prioridad. Ya sea administrador de AppSec, desarrollador, CISO o cualquier persona relacionada con la seguridad, podemos ayudar a su organización a reducir los riesgos asociados con el código inseguro.
Reserve una demostraciónDescargarRecursos para empezar
Temas y contenido de formación sobre código seguro
Nuestro contenido líder en la industria siempre está evolucionando para adaptarse al cambiante panorama del desarrollo de software teniendo en cuenta su función. Se ofrecen temas que abarcan desde la IA hasta la inyección de XQuery para distintos puestos, desde arquitectos e ingenieros hasta directores de productos y control de calidad. Obtenga un adelanto de lo que ofrece nuestro catálogo de contenido por tema y función.
La Cámara de Comercio establece el estándar para la seguridad impulsada por desarrolladores a gran escala
Kamer van Koophandel comparte cómo ha integrado la codificación segura en el desarrollo diario mediante certificaciones basadas en roles, evaluaciones comparativas de Trust Score y una cultura de responsabilidad compartida en materia de seguridad.
Modelado de amenazas con IA: convertir a cada desarrollador en un modelador de amenazas
Saldrá mejor equipado para ayudar a los desarrolladores a combinar ideas y técnicas de modelado de amenazas con las herramientas de IA que ya utilizan para reforzar la seguridad, mejorar la colaboración y crear software más resistente desde el principio.
Recursos para empezar
Cybermon está de vuelta: las misiones de IA de Beat the Boss ya están disponibles bajo demanda.
Cybermon 2025 Beat the Boss ya está disponible durante todo el año en SCW. Implemente desafíos de seguridad avanzados de IA y LLM para fortalecer el desarrollo seguro de la IA a gran escala.
Explicación de la Ley de Ciberresiliencia: qué significa para el desarrollo de software seguro por diseño
Descubra qué exige la Ley de Ciberresiliencia (CRA) de la UE, a quién se aplica y cómo los equipos de ingeniería pueden prepararse con prácticas de diseño seguras, prevención de vulnerabilidades y desarrollo de capacidades para desarrolladores.
Facilitador 1: Criterios de éxito definidos y medibles
El habilitador 1 da inicio a nuestra serie Enablers of Success, de 10 partes, mostrando cómo vincular la codificación segura con los resultados empresariales, como la reducción del riesgo y la velocidad para lograr la madurez del programa a largo plazo.



%20(1).avif)
.avif)
