OWASP 大语言模型应用程序十大风险
《OWASP 大语言模型应用程序十大风险》项目旨在向开发人员、设计人员、架构师、管理人员和组织介绍部署和管理大语言模型 （LLM）应用程序时的潜在安全风险。该项目主要基于漏洞的潜在影响，可利用性以及在实际应用程序中的普遍性，整理出包括提示注入、数据泄漏、沙盒不足和未经授权的代码执行等LLM应用程序中常见的10大最关键风险的列表。
本项目旨在提高对这些风险以及相关漏洞的认识，提供修正策略的建议，并最终改善LLM应用程序的安全状况。
项目组长：Steve Wilson
中文翻译人员：肖文棣、周乐坤
十大风险列表
|
LLM01:2023 |
提示词注入 Prompt Injections |
绕过过滤器或使用精心制作的提示操作LLM，使模型忽略先前的指令或执行非计划的操作。 |
|
LLM02:2023 |
数据泄漏 Data Leakage |
通过LLM的回复意外泄露敏感信息、专有算法或其他机密细节。 |
|
LLM03:2023 |
不完善的沙盒隔离 Inadequate Sandboxing |
当LLM可以访问外部资源或敏感系统时，未能正确隔离LLM，从而允许潜在的利用和未经授权的访问。 |
|
LLM04:2023 |
非授权代码执行 Unauthorized Code Execution |
利用LLM通过自然语言提示在底层系统上执行恶意代码、命令或操作。 |
|
LLM05:2023 |
SSRF漏洞 SSRF Vulnerabilities |
利用LLM执行意外请求或访问受限制的资源，如内部服务、API或数据存储。 |
|
LLM06:2023 |
过度依赖大语言模型生成的内容 Overreliance on LLM-generated Content |
在没有人为监督的情况下过度依赖法LLM生成的内容可能会导致不良后果。 |
|
LLM07:2023 |
人工智能未充分对齐 Inadequate AI Alignment |
未能确保LLM的目标和行为与预期用例保持一致，从而导致不良后果或漏洞。 |
|
LLM08:2023 |
访问控制不足 Controls Insufficient Access |
未正确实现访问控制或身份验证，将允许未经授权的用户与LLM交互，并可能导致漏洞被利用。 |
|
LLM09:2023 |
错误处置不当 Improper Error Handling |
暴露错误消息或调试信息，将导致敏感信息、系统详细信息或潜在攻击向量的泄露。 |
|
LLM10:2023 |
训练数据投毒 Training Data Poisoning |
恶意操纵训练数据或微调程序，将漏洞或后门引入LLM。 |
文档下载：
英文项目：
https://owasp.org/www-project-top-10-for-large-language-model-applications/
