OWASP LLM 应用程序前 10 名：新增内容、变化以及如何保持安全

Adoptar un enfoque proactivo para proteger su software requiere que se mantenga a la vanguardia de las últimas normas y requisitos de cumplimiento. Después de todo, el panorama de la ciberseguridad está en constante movimiento con nuevas amenazas y vulnerabilidades, especialmente a medida que surgen nuevas tecnologías. Nunca ha sido esto más cierto que hoy, cuando nos encontramos colectivamente en un punto de inflexión de la IA en el que parecen surgir nuevas evoluciones y casos de uso cada día. 

Para hacer frente a estos retos, la Fundación OWASP ha publicado recientemente su versión actualizada del OWASP Top 10 for Large Language Model (LLM) Applications, que pretende informar a los desarrolladores, arquitectos y otros contribuyentes a la entrega de software de los riesgos potenciales a la hora de desplegar LLMs y aplicaciones de IA Generativa. Y en Secure Code Warrior nos complace anunciar que los cambios y actualizaciones de esta última versión ya están implementados y disponibles en nuestro código seguro learning platform. Con estos nuevos materiales disponibles y actualizados, todos nuestros usuarios pueden mantenerse a la vanguardia de la mitigación de riesgos al utilizar LLMs.

Novedades de esta actualización

OWASP ha eliminado dos elementos de su anterior Top 10:

• Diseño inseguro de plugins - que se refiere a cómo los LLM interactúan con los plugins y cómo los plugins interactúan con el almacenamiento externo o los servicios. 
• Robo de modelos: se refiere a la reproducción o adquisición no autorizada de modelos de aprendizaje automático o sistemas de IA.

De acuerdo con las versiones anteriores del Top 10 de OWASP, Secure Code Warrior tenía directrices asociadas a estas vulnerabilidades como parte de nuestro curso Top 10 de LLM. Estas Guías, que proveen información digerible sobre vulnerabilidades y conceptos de seguridad en un formato fácil de entender y leer, han sido removidas del currículum del Curso. Sin embargo, las directrices siguen estando disponibles en Explore, junto con el resto del material didáctico que ofrecemos. 

Manteniendo su Top 10 en un 10 oficial, OWASP ha añadido dos nuevos elementos:

• Filtración de avisos del sistema : cuando los avisos que guían el comportamiento de un modelo, normalmente ocultos, quedan expuestos a los usuarios.
• Vectorización e incrustación : pueden exponer información específica, exclusiva o en tiempo real que no está disponible públicamente.

Las directrices para estas vulnerabilidades han sido añadidas al Curso LLM Top 10, y al igual que las directrices que fueron eliminadas, estas dos también están accesibles en Explore para los usuarios que quieran aprovechar el aprendizaje a su propio ritmo.

Por último, OWASP también ha realizado algunos cambios en las categorías de vulnerabilidades existentes en su lista, renombrando algunas categorías para que sean más amplias o específicas, y modificando sus definiciones. Nuestras directrices sobre estos temas se han actualizado para reflejar tanto los cambios menores de la guía de OWASP como las nuevas convenciones de nomenclatura. Adicionalmente su listado en orden de prioridad ha sido actualizado para coincidir con el orden establecido en el Top 10 de OWASP LLM.

En Secure Code Warrior, nos comprometemos a ayudar a nuestros usuarios a mantenerse a la vanguardia. Con las últimas actualizaciones de OWASP ya reflejadas en nuestro ágil learning platform, hemos facilitado a nuestros usuarios el acceso a materiales de formación actualizados que cubren las vulnerabilidades más actuales y mitigan el riesgo al desplegar tecnologías LLM y Generative AI. Ya sea que esté navegando por las amenazas recientemente introducidas de System Prompt Leakage o Vector and Embedding, o actualizando su comprensión de Misinformation y Unbounded Consumption, nuestra plataforma proporciona los recursos que necesita para dominar estos conceptos críticos mejorando su postura de seguridad.