安全部署LLMS与OWAS需要注意的10个要点

生成人工智能的采用正在加快步伐。仅仅10个月前相比,执行率翻了一番,65%的受访者说他们的公司经常使用AI。对现有企业产生破坏性影响的承诺--或以新的和更有利可图的方式向市场提供服务--正在推动这方面的许多兴趣。然而,许多采用者还没有意识到眼前的安全风险。

为了向软件开发人员和安全架构师提供实际操作指导,OWASP前10指南列出了安全实施依赖LLMS的GEI应用程序的最佳做法。通过明确指出迄今为止在LLMS中看到的最关键的弱点,预防成为一项简单的任务。

然而,围绕安全AI开发的最大挑战不仅仅是知道可能存在问题--在任何大型软件部署中都是如此。相反,它涉及的是如何帮助弥合跨功能团队中存在的跨越开发、安全和业务团队的差距。使用owasp前10名,开发人员和安全专业人员可以协作绘制出他们在整个AI应用程序中的职责,然后与业务团队一致,说明这些控件的重要性。

从技术安全角度来看,Cisos也可以更好地了解与AI应用程序相关的潜在业务风险以及对其基础设施的攻击。这些攻击有的是利用"传统"软件缺陷,而这些缺陷必须加以补救,有的则是劫持和滥用LLS服务帐户,这可能使组织每天损失数万美元。对于CISO,当如此多的眼睛注视着这些潜在的变革项目时,向董事会和企业解释风险是至关重要的。实际上,交付的压力很大,风险越来越大;从一开始就应涉及安全问题。

今天面临风险的10强是什么?

1. 即时注射: 攻击者如何操纵LLM来执行影响输出安全性的意外或危险行为

2. 不安全输出处理: 类似于更传统的安全故障,如跨站点脚本(XSS)、跨站点请求伪造(csrf)和代码执行,这些故障发生在LLS对后端系统没有适当的安全性时

3. 培训数据中毒: 当用于培训LLM的数据集包括可利用的漏洞时

4. 拒绝服务的模式: 当攻击者采取的行动是资源密集型的,导致业绩不佳或对受害者组织造成重大损失时

5. 供应链脆弱性: 在更传统的软件组件或服务中出现并可在攻击中加以利用的脆弱性;LLS应用程序越复杂,它越有可能随着时间的推移而修复弱点

6. 敏感信息披露: 法律管理人可能披露不应公开的信息的事件;为防止这种情况,确保在使用培训和生产数据之前对其进行消毒

7. 不安全插件设计: 可能的问题是插件不能保护LLM不受未经授权的访问或不安全的输入的影响,这可能导致远程代码执行等问题

8. 过多的代理: 当LML可以执行更多的操作或拥有更多的权限时,它就会执行不允许执行的任务

9. 过度依赖: 如果使用者依靠法律信息管理,而没有对内容进行适当检查;这可能导致幻觉、潜在的错误信息,甚至法律问题

10. 模型盗窃: 当攻击者访问、复制或窃取专有LOM模型时

为了执行适当的安全措施,为执行热奈应用程序,开发人员应该与安全团队接触,并进行威胁模型演习,以更好地了解所涉及的潜在风险。

增加AI的安全性

要部署GEAI,开发人员有两个选择:他们可以采用一个服务来填补他们应用程序中的空白,或者他们可以选择特定的组件并构建一个完整的AI管道。对于那些希望使用自己的数据来通知自己的AI应用程序的企业来说,运行一堆人工智能组件,使它们能够更容易地个性化他们的应用程序将是一个优势。这些组件通常是云型的,在集装箱化体系结构上运行,因为它们可能需要大量的计算实例和存储来操作。

通常情况下,AI部署使用像库伯内特斯这样的协调工具来有效地管理工作负载。库伯内特斯使得部署和扩展杰奈变得更容易,但它也带来了组织必须考虑的更复杂的安全风险。在云平台上运行的集装箱化AI模型与传统的现场部署甚至其他云化的集装箱化环境有着非常不同的安全问题。由于管道中涉及如此多的移动部件,而且这些元素中的许多相对较新且发展较快,从一开始就有正确的安全洞察力是至关重要的。

安全团队的第一步是了解每个AI应用程序中包含哪些组件，同时覆盖数据、应用程序组件和基础设施。这应该是他们整体IT资产库存的一部分，这样他们就可以将任何现有的AI服务、工具和所有者分类在一个地方，并保持最新的记录。这种方法也可以用于为其人工智能系统创建一个软件材料清单(SBOM)，其中包括所有相关的组件。一个AISbom生成了一个完整的清单,列出了所有的软件组件、依赖项和元数据,这些都与一个GEAI工作负载相关,然后他们可以跟踪这个列表来跟踪随着时间的推移而需要的任何更改。基于人工智能数据源所包含的数据的敏感性,他们也可以对其人工智能数据源采用同样的方法。对于一般数据--比如产品目录、网站页面或标准支持材料--信息可以被评为公共信息,并被任何人使用。对于包括知识产权、个人可识别信息(PII)或其他必须保持安全的更敏感数据,它们可以分配不同级别的安全访问。这将有助于团队根据其风险严重程度以及这些工作负载可能使用的数据,对其AI工作量的安全性进行优先排序。

态势管理

虽然实现人工智能的安全性至关重要,但为了遵守和报告,也必须有实施的证据。确保系统符合OWASP前10是应该定期确认的事情,这样部署就可以在一段时间内保持安全。这包括定期审计概述的技术各个方面,并检查是否遵循了共同的安全任务,但也涉及业务流程和工作流方面。

安全和开发团队可以通过将其组织的LLM安全战略与人工智能系统的对抗性威胁环境相结合来实现这一点框架。这将有助于团队从其他应用程序和软件安全需求(如API周围的需求)以及可能存在的其他安全漏洞的上下文中查看它们的热奈安全性。虽然LLMS的OWASP前10提供了在哪些地方加强热奈应用程序和LLM系统抵御攻击的指导,但是米特尔阿特拉斯可以用来理解攻击者在他们的侦察或攻击过程中可能创建的标志。通过寻找威胁行为者的策略、技术和程序的证据,组织可以更积极主动地采取行动。

硬化系统涉及提前思考

像热奈这样的新系统需要新的安全模型和关于如何在攻击者面前保持领先的新思维。然而,在急于实现这些新应用程序所设定的业务目标时,很容易忽略安全应该发挥的作用。

像OWASP的LLMS前10这样的框架帮助每个人了解存在的潜在风险,并将这些准则应用于特定的应用。然而,AI的工作负载并不是单独运行的--它们可能存在于由Kubernets精心设计并在云上运行的软件容器中。库伯内特斯面临着类似于热奈的问题,因为它仍然是一种非常新的技术,而且整个行业的安全最佳做法还不完善。对这些平台中的每个平台使用OWASP的指导可以更容易地建模潜在的威胁并保护所涉及的每一层基础设施。

清晰和可审计的安全性流程可以改进合规性报告、减少威胁和围绕应用程序更新的工作流程。它们还改进了部署应用程序的更广泛方法,确保云安全控制、流程和程序减少了对不断变化的威胁的潜在暴露。