Iconos SCW
héroe bg sin separador
Blog

深度探索:探索 AI 编程助手生成的漏洞

Laura Verheyde
Publicado el 11 de diciembre de 2023
Última actualización el 10 de marzo de 2026

无论你在哪里看,几乎每个垂直领域都有人对人工智能技术的关注。被一些人誉为软件开发中快速创建功能的答案,速度的提高是有代价的:由于工具本身缺乏情境感知能力,以及依赖它们来提高工作效率和为具有挑战性的开发场景提供答案的开发人员的低级安全技能,因此有可能出现严重的安全漏洞。

大型语言模型 (LLM) 技术代表着辅助工具的巨大转变,如果安全使用,确实可以成为许多软件工程师渴望的配对编程伴侣。但是,人们很快就确定,不加限制地使用人工智能开发工具可能会产生不利影响,其中之一是 2023 年研究 斯坦福大学透露,对人工智能助手的依赖除了增加对输出安全的信心外,还可能导致代码更错误、更不安全。

尽管可以合理地假设,随着完善LLM技术的竞赛的进行,这些工具将继续得到改进,但有一系列建议——包括 新的行政命令 来自拜登政府,以及 《人工智能法》 来自欧盟——无论如何,它们的使用都是一条棘手的道路。开发人员可以通过磨练代码级安全技能、意识和围绕人工智能工具输出的批判性思维来抢占先机,进而成为更高标准的工程师。

AI 编程助手如何引入漏洞? 畅玩我们的全新公共使命 亲眼看看!

示例:“ChatterGPT” 中的跨站脚本 (XSS)

我们的新公开使命揭示了流行的LLM的熟悉界面,并利用了 真实的 代码片段于 2023 年 11 月下旬生成。如果要将其用于预期目的,用户可以解释此片段并调查任何潜在的安全隐患。

根据提示,“你能写一个改变 p HTML 元素内容的 JavaScript 函数吗,内容是通过该函数传递的?”AI 助手尽职尽责地生成了一个代码块,但一切都不像看起来的那样。

你玩过挑战赛吗?如果不是, 现在试试 在进一步阅读之前。

... 好吧,既然你已经完成了,你就会知道有问题的代码容易受到跨站脚本 (XSS) 的攻击。

通过操纵 Web 浏览器的核心功能,XSS 成为可能。当不受信任的输入在页面上呈现为输出,但被误解为可执行和安全代码时,就会发生这种情况。攻击者可以在输入参数中放置恶意片段(HTML 标签、JavaScript 等),当返回到浏览器时,该代码片段会被执行而不是显示为数据。

在软件开发中安全使用 AI 编程助手

一个 最近的调查 的在职开发团队透露,几乎所有人(占96%)已开始在工作流程中使用AI助手,其中80%甚至绕过安全策略将其保留在工具包中。此外,超过一半的人承认生成式人工智能工具通常会创建不安全的代码,但这显然并没有减缓采用的速度。

在这个软件开发流程的新时代,阻止或禁止使用这些工具不太可能奏效。相反,组织必须使其开发团队能够在不牺牲安全性或代码质量的情况下利用效率和生产力的提高。这需要对安全编码最佳实践进行精确培训,为他们提供扩展批判性思维技能的机会,确保他们以安全第一的心态行事,尤其是在评估人工智能辅助代码输出的潜在威胁时。

进一步阅读

对于一般的 XSS,请查看我们的 综合指南

想更多地了解如何编写安全代码和 减轻风险?试试我们的 免费的 XSS 注射挑战赛

如果你有兴趣获得更多免费编程指南,请查看 安全代码教练 帮助您掌握安全编码最佳实践。

想了解更多? 下载 我们的最新白皮书。
Ver recursos
Ver recursos

探索 AI 在软件开发中的安全风险,并学习如何使用 Secure Code Warrior 有效应对这些挑战。

¿Te interesa saber más?

Más información

Secure Code Warrior puede ayudar a su organización a proteger el código a lo largo de todo el ciclo de vida del desarrollo de software y a crear una cultura que dé prioridad a la ciberseguridad. Tanto si es usted responsable de seguridad de aplicaciones, desarrollador, director de seguridad de la información o cualquier otra persona relacionada con la seguridad, podemos ayudar a su organización a reducir los riesgos asociados al código inseguro.

Reservar una demostración
Compartir en:
marcas de LinkedInSocialx logotipo
Autor
Laura Verheyde
Publicado el 11 de diciembre de 2023

Laura Verheyde es una desarrolladora de software en Secure Code Warrior centrada en la investigación de vulnerabilidades y la creación de contenidos para Missions y Coding labs.

Compartir en:
marcas de LinkedInSocialx logotipo

无论你在哪里看,几乎每个垂直领域都有人对人工智能技术的关注。被一些人誉为软件开发中快速创建功能的答案,速度的提高是有代价的:由于工具本身缺乏情境感知能力,以及依赖它们来提高工作效率和为具有挑战性的开发场景提供答案的开发人员的低级安全技能,因此有可能出现严重的安全漏洞。

大型语言模型 (LLM) 技术代表着辅助工具的巨大转变,如果安全使用,确实可以成为许多软件工程师渴望的配对编程伴侣。但是,人们很快就确定,不加限制地使用人工智能开发工具可能会产生不利影响,其中之一是 2023 年研究 斯坦福大学透露,对人工智能助手的依赖除了增加对输出安全的信心外,还可能导致代码更错误、更不安全。

尽管可以合理地假设,随着完善LLM技术的竞赛的进行,这些工具将继续得到改进,但有一系列建议——包括 新的行政命令 来自拜登政府,以及 《人工智能法》 来自欧盟——无论如何,它们的使用都是一条棘手的道路。开发人员可以通过磨练代码级安全技能、意识和围绕人工智能工具输出的批判性思维来抢占先机,进而成为更高标准的工程师。

AI 编程助手如何引入漏洞? 畅玩我们的全新公共使命 亲眼看看!

示例:“ChatterGPT” 中的跨站脚本 (XSS)

我们的新公开使命揭示了流行的LLM的熟悉界面,并利用了 真实的 代码片段于 2023 年 11 月下旬生成。如果要将其用于预期目的,用户可以解释此片段并调查任何潜在的安全隐患。

根据提示,“你能写一个改变 p HTML 元素内容的 JavaScript 函数吗,内容是通过该函数传递的?”AI 助手尽职尽责地生成了一个代码块,但一切都不像看起来的那样。

你玩过挑战赛吗?如果不是, 现在试试 在进一步阅读之前。

... 好吧,既然你已经完成了,你就会知道有问题的代码容易受到跨站脚本 (XSS) 的攻击。

通过操纵 Web 浏览器的核心功能,XSS 成为可能。当不受信任的输入在页面上呈现为输出,但被误解为可执行和安全代码时,就会发生这种情况。攻击者可以在输入参数中放置恶意片段(HTML 标签、JavaScript 等),当返回到浏览器时,该代码片段会被执行而不是显示为数据。

在软件开发中安全使用 AI 编程助手

一个 最近的调查 的在职开发团队透露,几乎所有人(占96%)已开始在工作流程中使用AI助手,其中80%甚至绕过安全策略将其保留在工具包中。此外,超过一半的人承认生成式人工智能工具通常会创建不安全的代码,但这显然并没有减缓采用的速度。

在这个软件开发流程的新时代,阻止或禁止使用这些工具不太可能奏效。相反,组织必须使其开发团队能够在不牺牲安全性或代码质量的情况下利用效率和生产力的提高。这需要对安全编码最佳实践进行精确培训,为他们提供扩展批判性思维技能的机会,确保他们以安全第一的心态行事,尤其是在评估人工智能辅助代码输出的潜在威胁时。

进一步阅读

对于一般的 XSS,请查看我们的 综合指南

想更多地了解如何编写安全代码和 减轻风险?试试我们的 免费的 XSS 注射挑战赛

如果你有兴趣获得更多免费编程指南,请查看 安全代码教练 帮助您掌握安全编码最佳实践。

想了解更多? 下载 我们的最新白皮书。
Ver recursos
Ver recursos

Rellene el siguiente formulario para descargar el informe.

Nos gustaría obtener su permiso para enviarle información sobre nuestros productos y/o temas relacionados con la codificación de seguridad. Trataremos su información personal con el máximo cuidado y nunca la venderemos a otras empresas con fines comerciales.

Enviar
Icono de éxito de SCW
Icono de error scw
Para enviar el formulario, habilite las cookies de análisis. Una vez completado, puede desactivarlas nuevamente si lo desea.

无论你在哪里看,几乎每个垂直领域都有人对人工智能技术的关注。被一些人誉为软件开发中快速创建功能的答案,速度的提高是有代价的:由于工具本身缺乏情境感知能力,以及依赖它们来提高工作效率和为具有挑战性的开发场景提供答案的开发人员的低级安全技能,因此有可能出现严重的安全漏洞。

大型语言模型 (LLM) 技术代表着辅助工具的巨大转变,如果安全使用,确实可以成为许多软件工程师渴望的配对编程伴侣。但是,人们很快就确定,不加限制地使用人工智能开发工具可能会产生不利影响,其中之一是 2023 年研究 斯坦福大学透露,对人工智能助手的依赖除了增加对输出安全的信心外,还可能导致代码更错误、更不安全。

尽管可以合理地假设,随着完善LLM技术的竞赛的进行,这些工具将继续得到改进,但有一系列建议——包括 新的行政命令 来自拜登政府,以及 《人工智能法》 来自欧盟——无论如何,它们的使用都是一条棘手的道路。开发人员可以通过磨练代码级安全技能、意识和围绕人工智能工具输出的批判性思维来抢占先机,进而成为更高标准的工程师。

AI 编程助手如何引入漏洞? 畅玩我们的全新公共使命 亲眼看看!

示例:“ChatterGPT” 中的跨站脚本 (XSS)

我们的新公开使命揭示了流行的LLM的熟悉界面,并利用了 真实的 代码片段于 2023 年 11 月下旬生成。如果要将其用于预期目的,用户可以解释此片段并调查任何潜在的安全隐患。

根据提示,“你能写一个改变 p HTML 元素内容的 JavaScript 函数吗,内容是通过该函数传递的?”AI 助手尽职尽责地生成了一个代码块,但一切都不像看起来的那样。

你玩过挑战赛吗?如果不是, 现在试试 在进一步阅读之前。

... 好吧,既然你已经完成了,你就会知道有问题的代码容易受到跨站脚本 (XSS) 的攻击。

通过操纵 Web 浏览器的核心功能,XSS 成为可能。当不受信任的输入在页面上呈现为输出,但被误解为可执行和安全代码时,就会发生这种情况。攻击者可以在输入参数中放置恶意片段(HTML 标签、JavaScript 等),当返回到浏览器时,该代码片段会被执行而不是显示为数据。

在软件开发中安全使用 AI 编程助手

一个 最近的调查 的在职开发团队透露,几乎所有人(占96%)已开始在工作流程中使用AI助手,其中80%甚至绕过安全策略将其保留在工具包中。此外,超过一半的人承认生成式人工智能工具通常会创建不安全的代码,但这显然并没有减缓采用的速度。

在这个软件开发流程的新时代,阻止或禁止使用这些工具不太可能奏效。相反,组织必须使其开发团队能够在不牺牲安全性或代码质量的情况下利用效率和生产力的提高。这需要对安全编码最佳实践进行精确培训,为他们提供扩展批判性思维技能的机会,确保他们以安全第一的心态行事,尤其是在评估人工智能辅助代码输出的潜在威胁时。

进一步阅读

对于一般的 XSS,请查看我们的 综合指南

想更多地了解如何编写安全代码和 减轻风险?试试我们的 免费的 XSS 注射挑战赛

如果你有兴趣获得更多免费编程指南,请查看 安全代码教练 帮助您掌握安全编码最佳实践。

想了解更多? 下载 我们的最新白皮书。
Ver el seminario web
Empecemos.
Más información

Haga clic en el siguiente enlace y descargue el PDF de este recurso.

Secure Code Warrior puede ayudar a su organización a proteger el código a lo largo de todo el ciclo de vida del desarrollo de software y a crear una cultura que dé prioridad a la ciberseguridad. Tanto si es usted responsable de seguridad de aplicaciones, desarrollador, director de seguridad de la información o cualquier otra persona relacionada con la seguridad, podemos ayudar a su organización a reducir los riesgos asociados al código inseguro.

Ver informeReservar una demostración
Ver recursos
Compartir en:
marcas de LinkedInSocialx logotipo
¿Te interesa saber más?

AI 编程助手如何引入漏洞?玩我们的全新公开任务,亲眼看看吧!该任务揭示了流行的 LLM 的熟悉界面,并使用了 2023 年 11 月下旬生成的真实代码片段。如果要将其用于预期目的,用户可以解释此片段并调查任何潜在的安全隐患。

试试这个任务
Compartir en:
marcas de LinkedInSocialx logotipo
Autor
Laura Verheyde
Publicado el 11 de diciembre de 2023

Laura Verheyde es una desarrolladora de software en Secure Code Warrior centrada en la investigación de vulnerabilidades y la creación de contenidos para Missions y Coding labs.

Compartir en:
marcas de LinkedInSocialx logotipo

无论你在哪里看,几乎每个垂直领域都有人对人工智能技术的关注。被一些人誉为软件开发中快速创建功能的答案,速度的提高是有代价的:由于工具本身缺乏情境感知能力,以及依赖它们来提高工作效率和为具有挑战性的开发场景提供答案的开发人员的低级安全技能,因此有可能出现严重的安全漏洞。

大型语言模型 (LLM) 技术代表着辅助工具的巨大转变,如果安全使用,确实可以成为许多软件工程师渴望的配对编程伴侣。但是,人们很快就确定,不加限制地使用人工智能开发工具可能会产生不利影响,其中之一是 2023 年研究 斯坦福大学透露,对人工智能助手的依赖除了增加对输出安全的信心外,还可能导致代码更错误、更不安全。

尽管可以合理地假设,随着完善LLM技术的竞赛的进行,这些工具将继续得到改进,但有一系列建议——包括 新的行政命令 来自拜登政府,以及 《人工智能法》 来自欧盟——无论如何,它们的使用都是一条棘手的道路。开发人员可以通过磨练代码级安全技能、意识和围绕人工智能工具输出的批判性思维来抢占先机,进而成为更高标准的工程师。

AI 编程助手如何引入漏洞? 畅玩我们的全新公共使命 亲眼看看!

示例:“ChatterGPT” 中的跨站脚本 (XSS)

我们的新公开使命揭示了流行的LLM的熟悉界面,并利用了 真实的 代码片段于 2023 年 11 月下旬生成。如果要将其用于预期目的,用户可以解释此片段并调查任何潜在的安全隐患。

根据提示,“你能写一个改变 p HTML 元素内容的 JavaScript 函数吗,内容是通过该函数传递的?”AI 助手尽职尽责地生成了一个代码块,但一切都不像看起来的那样。

你玩过挑战赛吗?如果不是, 现在试试 在进一步阅读之前。

... 好吧,既然你已经完成了,你就会知道有问题的代码容易受到跨站脚本 (XSS) 的攻击。

通过操纵 Web 浏览器的核心功能,XSS 成为可能。当不受信任的输入在页面上呈现为输出,但被误解为可执行和安全代码时,就会发生这种情况。攻击者可以在输入参数中放置恶意片段(HTML 标签、JavaScript 等),当返回到浏览器时,该代码片段会被执行而不是显示为数据。

在软件开发中安全使用 AI 编程助手

一个 最近的调查 的在职开发团队透露,几乎所有人(占96%)已开始在工作流程中使用AI助手,其中80%甚至绕过安全策略将其保留在工具包中。此外,超过一半的人承认生成式人工智能工具通常会创建不安全的代码,但这显然并没有减缓采用的速度。

在这个软件开发流程的新时代,阻止或禁止使用这些工具不太可能奏效。相反,组织必须使其开发团队能够在不牺牲安全性或代码质量的情况下利用效率和生产力的提高。这需要对安全编码最佳实践进行精确培训,为他们提供扩展批判性思维技能的机会,确保他们以安全第一的心态行事,尤其是在评估人工智能辅助代码输出的潜在威胁时。

进一步阅读

对于一般的 XSS,请查看我们的 综合指南

想更多地了解如何编写安全代码和 减轻风险?试试我们的 免费的 XSS 注射挑战赛

如果你有兴趣获得更多免费编程指南,请查看 安全代码教练 帮助您掌握安全编码最佳实践。

想了解更多? 下载 我们的最新白皮书。

Índice

Descargar PDF
Ver recursos
¿Te interesa saber más?

Más información

Secure Code Warrior puede ayudar a su organización a proteger el código a lo largo de todo el ciclo de vida del desarrollo de software y a crear una cultura que dé prioridad a la ciberseguridad. Tanto si es usted responsable de seguridad de aplicaciones, desarrollador, director de seguridad de la información o cualquier otra persona relacionada con la seguridad, podemos ayudar a su organización a reducir los riesgos asociados al código inseguro.

Reservar una demostraciónDescargar
Compartir en:
marcas de LinkedInSocialx logotipo
Centro de recursos

Recursos para ayudarle a empezar

Más publicaciones
Centro de recursos

Recursos para ayudarle a empezar

Más publicaciones