
深度探索:探索 AI 编程助手生成的漏洞
无论你在哪里看,几乎每个垂直领域都有人对人工智能技术的关注。被一些人誉为软件开发中快速创建功能的答案,速度的提高是有代价的:由于工具本身缺乏情境感知能力,以及依赖它们来提高工作效率和为具有挑战性的开发场景提供答案的开发人员的低级安全技能,因此有可能出现严重的安全漏洞。
大型语言模型 (LLM) 技术代表着辅助工具的巨大转变,如果安全使用,确实可以成为许多软件工程师渴望的配对编程伴侣。但是,人们很快就确定,不加限制地使用人工智能开发工具可能会产生不利影响,其中之一是 2023 年研究 斯坦福大学透露,对人工智能助手的依赖除了增加对输出安全的信心外,还可能导致代码更错误、更不安全。
尽管可以合理地假设,随着完善LLM技术的竞赛的进行,这些工具将继续得到改进,但有一系列建议——包括 新的行政命令 来自拜登政府,以及 《人工智能法》 来自欧盟——无论如何,它们的使用都是一条棘手的道路。开发人员可以通过磨练代码级安全技能、意识和围绕人工智能工具输出的批判性思维来抢占先机,进而成为更高标准的工程师。
AI 编程助手如何引入漏洞? 畅玩我们的全新公共使命 亲眼看看!

示例:“ChatterGPT” 中的跨站脚本 (XSS)
我们的新公开使命揭示了流行的LLM的熟悉界面,并利用了 真实的 代码片段于 2023 年 11 月下旬生成。如果要将其用于预期目的,用户可以解释此片段并调查任何潜在的安全隐患。
根据提示,“你能写一个改变 p HTML 元素内容的 JavaScript 函数吗,内容是通过该函数传递的?”AI 助手尽职尽责地生成了一个代码块,但一切都不像看起来的那样。
你玩过挑战赛吗?如果不是, 现在试试 在进一步阅读之前。
... 好吧,既然你已经完成了,你就会知道有问题的代码容易受到跨站脚本 (XSS) 的攻击。
通过操纵 Web 浏览器的核心功能,XSS 成为可能。当不受信任的输入在页面上呈现为输出,但被误解为可执行和安全代码时,就会发生这种情况。攻击者可以在输入参数中放置恶意片段(HTML 标签、JavaScript 等),当返回到浏览器时,该代码片段会被执行而不是显示为数据。
在软件开发中安全使用 AI 编程助手
一个 最近的调查 的在职开发团队透露,几乎所有人(占96%)已开始在工作流程中使用AI助手,其中80%甚至绕过安全策略将其保留在工具包中。此外,超过一半的人承认生成式人工智能工具通常会创建不安全的代码,但这显然并没有减缓采用的速度。
在这个软件开发流程的新时代,阻止或禁止使用这些工具不太可能奏效。相反,组织必须使其开发团队能够在不牺牲安全性或代码质量的情况下利用效率和生产力的提高。这需要对安全编码最佳实践进行精确培训,为他们提供扩展批判性思维技能的机会,确保他们以安全第一的心态行事,尤其是在评估人工智能辅助代码输出的潜在威胁时。
进一步阅读
对于一般的 XSS,请查看我们的 综合指南。
想更多地了解如何编写安全代码和 减轻风险?试试我们的 免费的 XSS 注射挑战赛。
如果你有兴趣获得更多免费编程指南,请查看 安全代码教练 帮助您掌握安全编码最佳实践。
.avif)

Secure Code Warrior puede ayudar a su organización a proteger el código a lo largo de todo el ciclo de vida del desarrollo de software y a crear una cultura que dé prioridad a la ciberseguridad. Tanto si es usted responsable de seguridad de aplicaciones, desarrollador, director de seguridad de la información o cualquier otra persona relacionada con la seguridad, podemos ayudar a su organización a reducir los riesgos asociados al código inseguro.
Reservar una demostraciónLaura Verheyde es una desarrolladora de software en Secure Code Warrior centrada en la investigación de vulnerabilidades y la creación de contenidos para Missions y Coding labs.
无论你在哪里看,几乎每个垂直领域都有人对人工智能技术的关注。被一些人誉为软件开发中快速创建功能的答案,速度的提高是有代价的:由于工具本身缺乏情境感知能力,以及依赖它们来提高工作效率和为具有挑战性的开发场景提供答案的开发人员的低级安全技能,因此有可能出现严重的安全漏洞。
大型语言模型 (LLM) 技术代表着辅助工具的巨大转变,如果安全使用,确实可以成为许多软件工程师渴望的配对编程伴侣。但是,人们很快就确定,不加限制地使用人工智能开发工具可能会产生不利影响,其中之一是 2023 年研究 斯坦福大学透露,对人工智能助手的依赖除了增加对输出安全的信心外,还可能导致代码更错误、更不安全。
尽管可以合理地假设,随着完善LLM技术的竞赛的进行,这些工具将继续得到改进,但有一系列建议——包括 新的行政命令 来自拜登政府,以及 《人工智能法》 来自欧盟——无论如何,它们的使用都是一条棘手的道路。开发人员可以通过磨练代码级安全技能、意识和围绕人工智能工具输出的批判性思维来抢占先机,进而成为更高标准的工程师。
AI 编程助手如何引入漏洞? 畅玩我们的全新公共使命 亲眼看看!

示例:“ChatterGPT” 中的跨站脚本 (XSS)
我们的新公开使命揭示了流行的LLM的熟悉界面,并利用了 真实的 代码片段于 2023 年 11 月下旬生成。如果要将其用于预期目的,用户可以解释此片段并调查任何潜在的安全隐患。
根据提示,“你能写一个改变 p HTML 元素内容的 JavaScript 函数吗,内容是通过该函数传递的?”AI 助手尽职尽责地生成了一个代码块,但一切都不像看起来的那样。
你玩过挑战赛吗?如果不是, 现在试试 在进一步阅读之前。
... 好吧,既然你已经完成了,你就会知道有问题的代码容易受到跨站脚本 (XSS) 的攻击。
通过操纵 Web 浏览器的核心功能,XSS 成为可能。当不受信任的输入在页面上呈现为输出,但被误解为可执行和安全代码时,就会发生这种情况。攻击者可以在输入参数中放置恶意片段(HTML 标签、JavaScript 等),当返回到浏览器时,该代码片段会被执行而不是显示为数据。
在软件开发中安全使用 AI 编程助手
一个 最近的调查 的在职开发团队透露,几乎所有人(占96%)已开始在工作流程中使用AI助手,其中80%甚至绕过安全策略将其保留在工具包中。此外,超过一半的人承认生成式人工智能工具通常会创建不安全的代码,但这显然并没有减缓采用的速度。
在这个软件开发流程的新时代,阻止或禁止使用这些工具不太可能奏效。相反,组织必须使其开发团队能够在不牺牲安全性或代码质量的情况下利用效率和生产力的提高。这需要对安全编码最佳实践进行精确培训,为他们提供扩展批判性思维技能的机会,确保他们以安全第一的心态行事,尤其是在评估人工智能辅助代码输出的潜在威胁时。
进一步阅读
对于一般的 XSS,请查看我们的 综合指南。
想更多地了解如何编写安全代码和 减轻风险?试试我们的 免费的 XSS 注射挑战赛。
如果你有兴趣获得更多免费编程指南,请查看 安全代码教练 帮助您掌握安全编码最佳实践。
.avif)
无论你在哪里看,几乎每个垂直领域都有人对人工智能技术的关注。被一些人誉为软件开发中快速创建功能的答案,速度的提高是有代价的:由于工具本身缺乏情境感知能力,以及依赖它们来提高工作效率和为具有挑战性的开发场景提供答案的开发人员的低级安全技能,因此有可能出现严重的安全漏洞。
大型语言模型 (LLM) 技术代表着辅助工具的巨大转变,如果安全使用,确实可以成为许多软件工程师渴望的配对编程伴侣。但是,人们很快就确定,不加限制地使用人工智能开发工具可能会产生不利影响,其中之一是 2023 年研究 斯坦福大学透露,对人工智能助手的依赖除了增加对输出安全的信心外,还可能导致代码更错误、更不安全。
尽管可以合理地假设,随着完善LLM技术的竞赛的进行,这些工具将继续得到改进,但有一系列建议——包括 新的行政命令 来自拜登政府,以及 《人工智能法》 来自欧盟——无论如何,它们的使用都是一条棘手的道路。开发人员可以通过磨练代码级安全技能、意识和围绕人工智能工具输出的批判性思维来抢占先机,进而成为更高标准的工程师。
AI 编程助手如何引入漏洞? 畅玩我们的全新公共使命 亲眼看看!

示例:“ChatterGPT” 中的跨站脚本 (XSS)
我们的新公开使命揭示了流行的LLM的熟悉界面,并利用了 真实的 代码片段于 2023 年 11 月下旬生成。如果要将其用于预期目的,用户可以解释此片段并调查任何潜在的安全隐患。
根据提示,“你能写一个改变 p HTML 元素内容的 JavaScript 函数吗,内容是通过该函数传递的?”AI 助手尽职尽责地生成了一个代码块,但一切都不像看起来的那样。
你玩过挑战赛吗?如果不是, 现在试试 在进一步阅读之前。
... 好吧,既然你已经完成了,你就会知道有问题的代码容易受到跨站脚本 (XSS) 的攻击。
通过操纵 Web 浏览器的核心功能,XSS 成为可能。当不受信任的输入在页面上呈现为输出,但被误解为可执行和安全代码时,就会发生这种情况。攻击者可以在输入参数中放置恶意片段(HTML 标签、JavaScript 等),当返回到浏览器时,该代码片段会被执行而不是显示为数据。
在软件开发中安全使用 AI 编程助手
一个 最近的调查 的在职开发团队透露,几乎所有人(占96%)已开始在工作流程中使用AI助手,其中80%甚至绕过安全策略将其保留在工具包中。此外,超过一半的人承认生成式人工智能工具通常会创建不安全的代码,但这显然并没有减缓采用的速度。
在这个软件开发流程的新时代,阻止或禁止使用这些工具不太可能奏效。相反,组织必须使其开发团队能够在不牺牲安全性或代码质量的情况下利用效率和生产力的提高。这需要对安全编码最佳实践进行精确培训,为他们提供扩展批判性思维技能的机会,确保他们以安全第一的心态行事,尤其是在评估人工智能辅助代码输出的潜在威胁时。
进一步阅读
对于一般的 XSS,请查看我们的 综合指南。
想更多地了解如何编写安全代码和 减轻风险?试试我们的 免费的 XSS 注射挑战赛。
如果你有兴趣获得更多免费编程指南,请查看 安全代码教练 帮助您掌握安全编码最佳实践。
.avif)

Haga clic en el siguiente enlace y descargue el PDF de este recurso.
Secure Code Warrior puede ayudar a su organización a proteger el código a lo largo de todo el ciclo de vida del desarrollo de software y a crear una cultura que dé prioridad a la ciberseguridad. Tanto si es usted responsable de seguridad de aplicaciones, desarrollador, director de seguridad de la información o cualquier otra persona relacionada con la seguridad, podemos ayudar a su organización a reducir los riesgos asociados al código inseguro.
Ver informeReservar una demostración
AI 编程助手如何引入漏洞?玩我们的全新公开任务,亲眼看看吧!该任务揭示了流行的 LLM 的熟悉界面,并使用了 2023 年 11 月下旬生成的真实代码片段。如果要将其用于预期目的,用户可以解释此片段并调查任何潜在的安全隐患。
试试这个任务Laura Verheyde es una desarrolladora de software en Secure Code Warrior centrada en la investigación de vulnerabilidades y la creación de contenidos para Missions y Coding labs.
无论你在哪里看,几乎每个垂直领域都有人对人工智能技术的关注。被一些人誉为软件开发中快速创建功能的答案,速度的提高是有代价的:由于工具本身缺乏情境感知能力,以及依赖它们来提高工作效率和为具有挑战性的开发场景提供答案的开发人员的低级安全技能,因此有可能出现严重的安全漏洞。
大型语言模型 (LLM) 技术代表着辅助工具的巨大转变,如果安全使用,确实可以成为许多软件工程师渴望的配对编程伴侣。但是,人们很快就确定,不加限制地使用人工智能开发工具可能会产生不利影响,其中之一是 2023 年研究 斯坦福大学透露,对人工智能助手的依赖除了增加对输出安全的信心外,还可能导致代码更错误、更不安全。
尽管可以合理地假设,随着完善LLM技术的竞赛的进行,这些工具将继续得到改进,但有一系列建议——包括 新的行政命令 来自拜登政府,以及 《人工智能法》 来自欧盟——无论如何,它们的使用都是一条棘手的道路。开发人员可以通过磨练代码级安全技能、意识和围绕人工智能工具输出的批判性思维来抢占先机,进而成为更高标准的工程师。
AI 编程助手如何引入漏洞? 畅玩我们的全新公共使命 亲眼看看!

示例:“ChatterGPT” 中的跨站脚本 (XSS)
我们的新公开使命揭示了流行的LLM的熟悉界面,并利用了 真实的 代码片段于 2023 年 11 月下旬生成。如果要将其用于预期目的,用户可以解释此片段并调查任何潜在的安全隐患。
根据提示,“你能写一个改变 p HTML 元素内容的 JavaScript 函数吗,内容是通过该函数传递的?”AI 助手尽职尽责地生成了一个代码块,但一切都不像看起来的那样。
你玩过挑战赛吗?如果不是, 现在试试 在进一步阅读之前。
... 好吧,既然你已经完成了,你就会知道有问题的代码容易受到跨站脚本 (XSS) 的攻击。
通过操纵 Web 浏览器的核心功能,XSS 成为可能。当不受信任的输入在页面上呈现为输出,但被误解为可执行和安全代码时,就会发生这种情况。攻击者可以在输入参数中放置恶意片段(HTML 标签、JavaScript 等),当返回到浏览器时,该代码片段会被执行而不是显示为数据。
在软件开发中安全使用 AI 编程助手
一个 最近的调查 的在职开发团队透露,几乎所有人(占96%)已开始在工作流程中使用AI助手,其中80%甚至绕过安全策略将其保留在工具包中。此外,超过一半的人承认生成式人工智能工具通常会创建不安全的代码,但这显然并没有减缓采用的速度。
在这个软件开发流程的新时代,阻止或禁止使用这些工具不太可能奏效。相反,组织必须使其开发团队能够在不牺牲安全性或代码质量的情况下利用效率和生产力的提高。这需要对安全编码最佳实践进行精确培训,为他们提供扩展批判性思维技能的机会,确保他们以安全第一的心态行事,尤其是在评估人工智能辅助代码输出的潜在威胁时。
进一步阅读
对于一般的 XSS,请查看我们的 综合指南。
想更多地了解如何编写安全代码和 减轻风险?试试我们的 免费的 XSS 注射挑战赛。
如果你有兴趣获得更多免费编程指南,请查看 安全代码教练 帮助您掌握安全编码最佳实践。
.avif)
Índice

Secure Code Warrior puede ayudar a su organización a proteger el código a lo largo de todo el ciclo de vida del desarrollo de software y a crear una cultura que dé prioridad a la ciberseguridad. Tanto si es usted responsable de seguridad de aplicaciones, desarrollador, director de seguridad de la información o cualquier otra persona relacionada con la seguridad, podemos ayudar a su organización a reducir los riesgos asociados al código inseguro.
Reservar una demostraciónDescargarRecursos para ayudarle a empezar
Temas y contenidos de la formación sobre códigos de seguridad
Nuestro contenido líder en el sector está en constante evolución para adaptarse al cambiante panorama del desarrollo de software, teniendo en cuenta su función. Los temas abarcan desde la IA hasta la inyección de XQuery, y son aptos para puestos que van desde arquitectos e ingenieros hasta gestores de productos y control de calidad. Eche un vistazo por adelantado a nuestro catálogo de contenidos, ordenados por tema y función.
La Cámara de Comercio establece el estándar para la seguridad impulsada por desarrolladores a gran escala
Kamer van Koophandel comparte cómo ha integrado la codificación segura en el desarrollo diario mediante certificaciones basadas en roles, evaluaciones comparativas de Trust Score y una cultura de responsabilidad compartida en materia de seguridad.
Modelado de amenazas con IA: convertir a cada desarrollador en un modelador de amenazas
Saldrá mejor equipado para ayudar a los desarrolladores a combinar ideas y técnicas de modelado de amenazas con las herramientas de IA que ya utilizan para reforzar la seguridad, mejorar la colaboración y crear software más resistente desde el principio.
Recursos para ayudarle a empezar
Cybermon ha vuelto: la misión de derrotar al jefe IA ya está disponible bajo demanda.
Cybermon 2025 ya está disponible en SCW durante todo el año. Guerra de seguridad de IA/LLM de alto nivel de la tribu, desarrollo de IA de seguridad reforzada con modelos de gran escala.
Interpretación de la Ley de Resiliencia de la Red: ¿Qué significa lograr la seguridad mediante el diseño del desarrollo de software?
Comprenda los requisitos de la Ley de Resiliencia de las Redes de la Unión Europea (CRA), a quiénes se aplica y cómo los equipos de ingeniería pueden prepararse mediante prácticas de diseño, prevención de vulnerabilidades y desarrollo de capacidades de los desarrolladores.
Factor impulsor 1: Criterios de éxito claros y medibles
El facilitador 1 es el preludio de nuestra serie de 10 partes sobre los impulsores del éxito, que muestra cómo vincular la codificación segura con los resultados empresariales, como la reducción del riesgo y el aumento de la velocidad de maduración de los planes a largo plazo.



%20(1).avif)
.avif)
