Profundización: Navegar por las vulnerabilidades generadas por los asistentes de codificación de IA
Se mire por donde se mire, existe una fijación constante con la tecnología de IA en casi todas las verticales. Alabada por algunos como la respuesta a la creación rápida de funciones en el desarrollo de software, la ganancia en velocidad tiene un precio: la posibilidad de que se introduzcan graves errores de seguridad en las bases de código, gracias a la falta de conocimiento contextual de la propia herramienta y a los escasos conocimientos de seguridad de los desarrolladores que confían en ella para aumentar la productividad y generar respuestas a situaciones de desarrollo difíciles.
La tecnología LLM (Large Language Model) representa un cambio radical en las herramientas de asistencia y, si se utiliza de forma segura, podría convertirse en el compañero de programación en parejas que tantos ingenieros de software anhelan. Sin embargo, se ha demostrado rápidamente que el uso descontrolado de las herramientas de desarrollo de IA puede tener un impacto perjudicial, y un estudio de 2023 de la Universidad de Stanford reveló que la dependencia de los asistentes de IA probablemente daría lugar a un código con más errores e inseguro en general, además de un aumento de la confianza en que el resultado es seguro.
Aunque es válido suponer que las herramientas seguirán mejorando a medida que avance la carrera por perfeccionar la tecnología de la IA, una serie de recomendaciones -incluida una nueva Orden Ejecutiva de la Administración Biden, así como la Ley de Inteligencia Artificial de la UE- convierten su uso en un camino complicado en cualquier caso. Los desarrolladores pueden adelantarse perfeccionando sus habilidades de seguridad a nivel de código, su concienciación y su pensamiento crítico en torno a los resultados de las herramientas de IA y, a su vez, convertirse en ingenieros de mayor nivel.
¿Cómo introducen vulnerabilidades los asistentes de codificación de IA? Juega a nuestra NUEVA misión pública y compruébelo usted mismo.

Ejemplo: Cross-site scripting (XSS) en 'ChatterGPT'.
Nuestra nueva misión pública revela la interfaz familiar de un LLM popular, y utiliza un fragmento de código real generado a finales de noviembre de 2023. Los usuarios pueden interpretar este fragmento e investigar cualquier posible fallo de seguridad si se utilizara para el fin previsto.
Basándose en la pregunta: "¿Puedes escribir una función JavaScript que cambie el contenido del elemento HTML p, cuyo contenido se pasa a través de esa función?", el asistente de IA produce obedientemente un bloque de código, pero no todo es lo que parece.
¿Has jugado ya al desafío? Si no es así, inténtalo ahora antes de seguir leyendo.
... vale, ahora que lo has completado, sabrás que el código en cuestión es vulnerable a cross-site scripting (XSS).
El XSS es posible gracias a la manipulación de la funcionalidad básica de los navegadores web. Puede producirse cuando una entrada no fiable se muestra como salida en una página, pero se interpreta erróneamente como código ejecutable y seguro. Un atacante puede colocar un fragmento malicioso (etiquetas HTML, JavaScript, etc.) dentro de un parámetro de entrada que, cuando se devuelve al navegador, se ejecuta en lugar de mostrarse como datos.
Uso seguro de los asistentes de codificación de IA en el desarrollo de software
Una encuesta reciente realizada a equipos de desarrollo en activo reveló que casi todos ellos (el 96 %) han empezado a utilizar asistentes de IA en su flujo de trabajo, y que el 80 % incluso se salta las políticas de seguridad para mantenerlos en su conjunto de herramientas. Además, más de la mitad reconoció que las herramientas de IA generativa suelen crear código inseguro, aunque es evidente que esto no frenó su adopción.
En esta nueva era de los procesos de desarrollo de software, desalentar o prohibir el uso de estas herramientas es poco probable que funcione. En su lugar, las organizaciones deben permitir que sus equipos de desarrollo utilicen las ganancias de eficiencia y productividad sin sacrificar la seguridad o la calidad del código. Esto requiere una formación precisa sobre las mejores prácticas de codificación segura, y darles la oportunidad de ampliar sus habilidades de pensamiento crítico, asegurándose de que actúan con una mentalidad de seguridad en primer lugar, especialmente al evaluar la amenaza potencial de la salida de código del asistente de IA.
Para saber más
Para XSS en general, consulte nuestra guía completa.
¿Quiere saber más sobre cómo escribir código seguro y mitigar los riesgos? Pruebe gratis nuestro desafío de inyección XSS.
Si está interesado en obtener más directrices de codificación gratuitas, consulte Secure Code Coach, que le ayudará a mantenerse al día de las mejores prácticas de codificación segura.
.avif)

Explore los riesgos de seguridad de la IA en el desarrollo de software y aprenda a sortear estos retos de forma eficaz con Secure Code Warrior.

Secure Code Warrior está a disposición de su organización para ayudarle a proteger el código a lo largo de todo el ciclo de vida de desarrollo de software y crear una cultura en la que la ciberseguridad sea una prioridad. Tanto si es director de AppSec, desarrollador, CISO o cualquier persona implicada en la seguridad, podemos ayudar a su organización a reducir los riesgos asociados a un código inseguro.
Reservar una demostraciónLaura Verheyde es una desarrolladora de software en Secure Code Warrior centrada en la investigación de vulnerabilidades y la creación de contenidos para Missions y Coding labs.

Se mire por donde se mire, existe una fijación constante con la tecnología de IA en casi todas las verticales. Alabada por algunos como la respuesta a la creación rápida de funciones en el desarrollo de software, la ganancia en velocidad tiene un precio: la posibilidad de que se introduzcan graves errores de seguridad en las bases de código, gracias a la falta de conocimiento contextual de la propia herramienta y a los escasos conocimientos de seguridad de los desarrolladores que confían en ella para aumentar la productividad y generar respuestas a situaciones de desarrollo difíciles.
La tecnología LLM (Large Language Model) representa un cambio radical en las herramientas de asistencia y, si se utiliza de forma segura, podría convertirse en el compañero de programación en parejas que tantos ingenieros de software anhelan. Sin embargo, se ha demostrado rápidamente que el uso descontrolado de las herramientas de desarrollo de IA puede tener un impacto perjudicial, y un estudio de 2023 de la Universidad de Stanford reveló que la dependencia de los asistentes de IA probablemente daría lugar a un código con más errores e inseguro en general, además de un aumento de la confianza en que el resultado es seguro.
Aunque es válido suponer que las herramientas seguirán mejorando a medida que avance la carrera por perfeccionar la tecnología de la IA, una serie de recomendaciones -incluida una nueva Orden Ejecutiva de la Administración Biden, así como la Ley de Inteligencia Artificial de la UE- convierten su uso en un camino complicado en cualquier caso. Los desarrolladores pueden adelantarse perfeccionando sus habilidades de seguridad a nivel de código, su concienciación y su pensamiento crítico en torno a los resultados de las herramientas de IA y, a su vez, convertirse en ingenieros de mayor nivel.
¿Cómo introducen vulnerabilidades los asistentes de codificación de IA? Juega a nuestra NUEVA misión pública y compruébelo usted mismo.

Ejemplo: Cross-site scripting (XSS) en 'ChatterGPT'.
Nuestra nueva misión pública revela la interfaz familiar de un LLM popular, y utiliza un fragmento de código real generado a finales de noviembre de 2023. Los usuarios pueden interpretar este fragmento e investigar cualquier posible fallo de seguridad si se utilizara para el fin previsto.
Basándose en la pregunta: "¿Puedes escribir una función JavaScript que cambie el contenido del elemento HTML p, cuyo contenido se pasa a través de esa función?", el asistente de IA produce obedientemente un bloque de código, pero no todo es lo que parece.
¿Has jugado ya al desafío? Si no es así, inténtalo ahora antes de seguir leyendo.
... vale, ahora que lo has completado, sabrás que el código en cuestión es vulnerable a cross-site scripting (XSS).
El XSS es posible gracias a la manipulación de la funcionalidad básica de los navegadores web. Puede producirse cuando una entrada no fiable se muestra como salida en una página, pero se interpreta erróneamente como código ejecutable y seguro. Un atacante puede colocar un fragmento malicioso (etiquetas HTML, JavaScript, etc.) dentro de un parámetro de entrada que, cuando se devuelve al navegador, se ejecuta en lugar de mostrarse como datos.
Uso seguro de los asistentes de codificación de IA en el desarrollo de software
Una encuesta reciente realizada a equipos de desarrollo en activo reveló que casi todos ellos (el 96 %) han empezado a utilizar asistentes de IA en su flujo de trabajo, y que el 80 % incluso se salta las políticas de seguridad para mantenerlos en su conjunto de herramientas. Además, más de la mitad reconoció que las herramientas de IA generativa suelen crear código inseguro, aunque es evidente que esto no frenó su adopción.
En esta nueva era de los procesos de desarrollo de software, desalentar o prohibir el uso de estas herramientas es poco probable que funcione. En su lugar, las organizaciones deben permitir que sus equipos de desarrollo utilicen las ganancias de eficiencia y productividad sin sacrificar la seguridad o la calidad del código. Esto requiere una formación precisa sobre las mejores prácticas de codificación segura, y darles la oportunidad de ampliar sus habilidades de pensamiento crítico, asegurándose de que actúan con una mentalidad de seguridad en primer lugar, especialmente al evaluar la amenaza potencial de la salida de código del asistente de IA.
Para saber más
Para XSS en general, consulte nuestra guía completa.
¿Quiere saber más sobre cómo escribir código seguro y mitigar los riesgos? Pruebe gratis nuestro desafío de inyección XSS.
Si está interesado en obtener más directrices de codificación gratuitas, consulte Secure Code Coach, que le ayudará a mantenerse al día de las mejores prácticas de codificación segura.
.avif)
Se mire por donde se mire, existe una fijación constante con la tecnología de IA en casi todas las verticales. Alabada por algunos como la respuesta a la creación rápida de funciones en el desarrollo de software, la ganancia en velocidad tiene un precio: la posibilidad de que se introduzcan graves errores de seguridad en las bases de código, gracias a la falta de conocimiento contextual de la propia herramienta y a los escasos conocimientos de seguridad de los desarrolladores que confían en ella para aumentar la productividad y generar respuestas a situaciones de desarrollo difíciles.
La tecnología LLM (Large Language Model) representa un cambio radical en las herramientas de asistencia y, si se utiliza de forma segura, podría convertirse en el compañero de programación en parejas que tantos ingenieros de software anhelan. Sin embargo, se ha demostrado rápidamente que el uso descontrolado de las herramientas de desarrollo de IA puede tener un impacto perjudicial, y un estudio de 2023 de la Universidad de Stanford reveló que la dependencia de los asistentes de IA probablemente daría lugar a un código con más errores e inseguro en general, además de un aumento de la confianza en que el resultado es seguro.
Aunque es válido suponer que las herramientas seguirán mejorando a medida que avance la carrera por perfeccionar la tecnología de la IA, una serie de recomendaciones -incluida una nueva Orden Ejecutiva de la Administración Biden, así como la Ley de Inteligencia Artificial de la UE- convierten su uso en un camino complicado en cualquier caso. Los desarrolladores pueden adelantarse perfeccionando sus habilidades de seguridad a nivel de código, su concienciación y su pensamiento crítico en torno a los resultados de las herramientas de IA y, a su vez, convertirse en ingenieros de mayor nivel.
¿Cómo introducen vulnerabilidades los asistentes de codificación de IA? Juega a nuestra NUEVA misión pública y compruébelo usted mismo.

Ejemplo: Cross-site scripting (XSS) en 'ChatterGPT'.
Nuestra nueva misión pública revela la interfaz familiar de un LLM popular, y utiliza un fragmento de código real generado a finales de noviembre de 2023. Los usuarios pueden interpretar este fragmento e investigar cualquier posible fallo de seguridad si se utilizara para el fin previsto.
Basándose en la pregunta: "¿Puedes escribir una función JavaScript que cambie el contenido del elemento HTML p, cuyo contenido se pasa a través de esa función?", el asistente de IA produce obedientemente un bloque de código, pero no todo es lo que parece.
¿Has jugado ya al desafío? Si no es así, inténtalo ahora antes de seguir leyendo.
... vale, ahora que lo has completado, sabrás que el código en cuestión es vulnerable a cross-site scripting (XSS).
El XSS es posible gracias a la manipulación de la funcionalidad básica de los navegadores web. Puede producirse cuando una entrada no fiable se muestra como salida en una página, pero se interpreta erróneamente como código ejecutable y seguro. Un atacante puede colocar un fragmento malicioso (etiquetas HTML, JavaScript, etc.) dentro de un parámetro de entrada que, cuando se devuelve al navegador, se ejecuta en lugar de mostrarse como datos.
Uso seguro de los asistentes de codificación de IA en el desarrollo de software
Una encuesta reciente realizada a equipos de desarrollo en activo reveló que casi todos ellos (el 96 %) han empezado a utilizar asistentes de IA en su flujo de trabajo, y que el 80 % incluso se salta las políticas de seguridad para mantenerlos en su conjunto de herramientas. Además, más de la mitad reconoció que las herramientas de IA generativa suelen crear código inseguro, aunque es evidente que esto no frenó su adopción.
En esta nueva era de los procesos de desarrollo de software, desalentar o prohibir el uso de estas herramientas es poco probable que funcione. En su lugar, las organizaciones deben permitir que sus equipos de desarrollo utilicen las ganancias de eficiencia y productividad sin sacrificar la seguridad o la calidad del código. Esto requiere una formación precisa sobre las mejores prácticas de codificación segura, y darles la oportunidad de ampliar sus habilidades de pensamiento crítico, asegurándose de que actúan con una mentalidad de seguridad en primer lugar, especialmente al evaluar la amenaza potencial de la salida de código del asistente de IA.
Para saber más
Para XSS en general, consulte nuestra guía completa.
¿Quiere saber más sobre cómo escribir código seguro y mitigar los riesgos? Pruebe gratis nuestro desafío de inyección XSS.
Si está interesado en obtener más directrices de codificación gratuitas, consulte Secure Code Coach, que le ayudará a mantenerse al día de las mejores prácticas de codificación segura.
.avif)

Haga clic en el siguiente enlace y descargue el PDF de este recurso.
Secure Code Warrior está a disposición de su organización para ayudarle a proteger el código a lo largo de todo el ciclo de vida de desarrollo de software y crear una cultura en la que la ciberseguridad sea una prioridad. Tanto si es director de AppSec, desarrollador, CISO o cualquier persona implicada en la seguridad, podemos ayudar a su organización a reducir los riesgos asociados a un código inseguro.
Ver el informeReservar una demostración
¿Cómo introducen vulnerabilidades los asistentes de codificación de IA? Juega a nuestra NUEVA misión pública y compruébalo tú mismo. Esta misión revela la interfaz familiar de un popular LLM, y utiliza un fragmento de código real generado a finales de noviembre de 2023. Los usuarios pueden interpretar este fragmento e investigar cualquier posible fallo de seguridad si se utilizara para el fin previsto.
Prueba la misiónLaura Verheyde es una desarrolladora de software en Secure Code Warrior centrada en la investigación de vulnerabilidades y la creación de contenidos para Missions y Coding labs.
Se mire por donde se mire, existe una fijación constante con la tecnología de IA en casi todas las verticales. Alabada por algunos como la respuesta a la creación rápida de funciones en el desarrollo de software, la ganancia en velocidad tiene un precio: la posibilidad de que se introduzcan graves errores de seguridad en las bases de código, gracias a la falta de conocimiento contextual de la propia herramienta y a los escasos conocimientos de seguridad de los desarrolladores que confían en ella para aumentar la productividad y generar respuestas a situaciones de desarrollo difíciles.
La tecnología LLM (Large Language Model) representa un cambio radical en las herramientas de asistencia y, si se utiliza de forma segura, podría convertirse en el compañero de programación en parejas que tantos ingenieros de software anhelan. Sin embargo, se ha demostrado rápidamente que el uso descontrolado de las herramientas de desarrollo de IA puede tener un impacto perjudicial, y un estudio de 2023 de la Universidad de Stanford reveló que la dependencia de los asistentes de IA probablemente daría lugar a un código con más errores e inseguro en general, además de un aumento de la confianza en que el resultado es seguro.
Aunque es válido suponer que las herramientas seguirán mejorando a medida que avance la carrera por perfeccionar la tecnología de la IA, una serie de recomendaciones -incluida una nueva Orden Ejecutiva de la Administración Biden, así como la Ley de Inteligencia Artificial de la UE- convierten su uso en un camino complicado en cualquier caso. Los desarrolladores pueden adelantarse perfeccionando sus habilidades de seguridad a nivel de código, su concienciación y su pensamiento crítico en torno a los resultados de las herramientas de IA y, a su vez, convertirse en ingenieros de mayor nivel.
¿Cómo introducen vulnerabilidades los asistentes de codificación de IA? Juega a nuestra NUEVA misión pública y compruébelo usted mismo.

Ejemplo: Cross-site scripting (XSS) en 'ChatterGPT'.
Nuestra nueva misión pública revela la interfaz familiar de un LLM popular, y utiliza un fragmento de código real generado a finales de noviembre de 2023. Los usuarios pueden interpretar este fragmento e investigar cualquier posible fallo de seguridad si se utilizara para el fin previsto.
Basándose en la pregunta: "¿Puedes escribir una función JavaScript que cambie el contenido del elemento HTML p, cuyo contenido se pasa a través de esa función?", el asistente de IA produce obedientemente un bloque de código, pero no todo es lo que parece.
¿Has jugado ya al desafío? Si no es así, inténtalo ahora antes de seguir leyendo.
... vale, ahora que lo has completado, sabrás que el código en cuestión es vulnerable a cross-site scripting (XSS).
El XSS es posible gracias a la manipulación de la funcionalidad básica de los navegadores web. Puede producirse cuando una entrada no fiable se muestra como salida en una página, pero se interpreta erróneamente como código ejecutable y seguro. Un atacante puede colocar un fragmento malicioso (etiquetas HTML, JavaScript, etc.) dentro de un parámetro de entrada que, cuando se devuelve al navegador, se ejecuta en lugar de mostrarse como datos.
Uso seguro de los asistentes de codificación de IA en el desarrollo de software
Una encuesta reciente realizada a equipos de desarrollo en activo reveló que casi todos ellos (el 96 %) han empezado a utilizar asistentes de IA en su flujo de trabajo, y que el 80 % incluso se salta las políticas de seguridad para mantenerlos en su conjunto de herramientas. Además, más de la mitad reconoció que las herramientas de IA generativa suelen crear código inseguro, aunque es evidente que esto no frenó su adopción.
En esta nueva era de los procesos de desarrollo de software, desalentar o prohibir el uso de estas herramientas es poco probable que funcione. En su lugar, las organizaciones deben permitir que sus equipos de desarrollo utilicen las ganancias de eficiencia y productividad sin sacrificar la seguridad o la calidad del código. Esto requiere una formación precisa sobre las mejores prácticas de codificación segura, y darles la oportunidad de ampliar sus habilidades de pensamiento crítico, asegurándose de que actúan con una mentalidad de seguridad en primer lugar, especialmente al evaluar la amenaza potencial de la salida de código del asistente de IA.
Para saber más
Para XSS en general, consulte nuestra guía completa.
¿Quiere saber más sobre cómo escribir código seguro y mitigar los riesgos? Pruebe gratis nuestro desafío de inyección XSS.
Si está interesado en obtener más directrices de codificación gratuitas, consulte Secure Code Coach, que le ayudará a mantenerse al día de las mejores prácticas de codificación segura.
.avif)
Índice

Secure Code Warrior está a disposición de su organización para ayudarle a proteger el código a lo largo de todo el ciclo de vida de desarrollo de software y crear una cultura en la que la ciberseguridad sea una prioridad. Tanto si es director de AppSec, desarrollador, CISO o cualquier persona implicada en la seguridad, podemos ayudar a su organización a reducir los riesgos asociados a un código inseguro.
Reservar una demostraciónDescargarRecursos para empezar
Panorama de la gestión de riesgos de los promotores
La gestión de riesgos del desarrollador es un enfoque holístico y proactivo de la seguridad de las aplicaciones, centrado en quienes contribuyen al código y no en los bits y bytes de la propia capa de la aplicación.
Seguridad desde el diseño: Definición de las mejores prácticas, capacitación de los desarrolladores y evaluación comparativa de los resultados de la seguridad preventiva
En este documento de investigación, los cofundadores Secure Code Warrior , Pieter Danhieux y el Dr. Matias Madou, Ph.D., junto con los expertos colaboradores, Chris Inglis, ex Director Nacional Cibernético de EE.UU. (ahora Asesor Estratégico de Paladin Capital Group), y Devin Lynch, Director Senior, Paladin Global Institute, revelarán los hallazgos clave de más de veinte entrevistas en profundidad con líderes de seguridad empresarial, incluyendo CISOs, un VP de Seguridad de Aplicaciones y profesionales de seguridad de software.
Evaluación comparativa de las competencias en materia de seguridad: optimización del diseño seguro en la empresa
Encontrar datos significativos sobre el éxito de las iniciativas Secure-by-Design es notoriamente difícil. Los responsables de la seguridad de la información se enfrentan a menudo al reto de demostrar el rendimiento de la inversión (ROI) y el valor empresarial de las actividades de los programas de seguridad, tanto a nivel de las personas como de la empresa. Por no mencionar que a las empresas les resulta especialmente difícil obtener información sobre cómo se comparan sus organizaciones con los estándares actuales del sector. La Estrategia Nacional de Ciberseguridad del Presidente desafió a las partes interesadas a "adoptar la seguridad y la resiliencia desde el diseño". La clave para que las iniciativas de seguridad por diseño funcionen no es sólo dotar a los desarrolladores de las habilidades necesarias para garantizar un código seguro, sino también garantizar a los reguladores que esas habilidades están en su lugar. En esta presentación, compartimos una miríada de datos cualitativos y cuantitativos, derivados de múltiples fuentes primarias, incluidos puntos de datos internos recogidos de más de 250.000 desarrolladores, opiniones de clientes basadas en datos y estudios públicos. Aprovechando esta agregación de puntos de datos, pretendemos comunicar una visión del estado actual de las iniciativas Secure-by-Design en múltiples verticales. El informe detalla por qué este espacio está actualmente infrautilizado, el impacto significativo que un programa de mejora de las competencias puede tener en la mitigación de los riesgos de ciberseguridad y el potencial para eliminar categorías de vulnerabilidades de un código base.
Servicios profesionales - Acelerar con experiencia
El equipo de servicios de estrategia de programas (PSS) de Secure Code Warriorle ayuda a crear, mejorar y optimizar su programa de codificación segura. Tanto si empieza de cero como si está perfeccionando su enfoque, nuestros expertos le proporcionarán orientación personalizada.
Recursos para empezar
Revelado: Cómo define el sector cibernético la seguridad por diseño
En nuestro último libro blanco, nuestros cofundadores, Pieter Danhieux y el doctor Matias Madou, se sentaron con más de veinte líderes de seguridad empresarial, incluidos CISO, líderes de AppSec y profesionales de la seguridad, para averiguar las piezas clave de este rompecabezas y descubrir la realidad detrás del movimiento Secure by Design. Se trata de una ambición compartida por todos los equipos de seguridad, pero no de un libro de jugadas compartido.
¿Vibe Coding va a convertir tu código en una fiesta de fraternidad?
Vibe Coding es como una fiesta de fraternidad universitaria, y la IA es la pieza central de todos los festejos, el barril. Es muy divertido dar rienda suelta a la creatividad y ver adónde te lleva tu imaginación, pero después de unas cuantas borracheras, beber (o usar IA) con moderación es, sin duda, la solución más segura a largo plazo.