10 月 28 日消息: Google 宣布,将扩展其漏洞奖励计划(VRP),以奖励研究人员寻找针对生成式人工智能(AI)系统的攻击方案,以增强 AI 的安全性和安全性。
Google 的 Laurie Richardson 和 Royal Hansen 表示:「生成式 AI 带来了与传统数字安全不同的新问题,例如可能存在的不公平偏见、模型操作或数据误解(幻觉)。」
适用范围内的一些类别包括提示注入、训练数据集中敏感数据的泄露、模型操纵、触发误分类的对抗性扰动攻击和模型盗窃。
值得注意的是,Google 在今年 7 月早些时候成立了一个 AI 红队,以帮助解决 AI 系统的威胁,作为其安全 AI 框架(SAIF)的一部分。
同时,作为致力于保障 AI 的承诺的一部分,Google 还宣布了通过现有的开源安全倡议,如软件的供应链级别(SLSA)和 Sigstore 来加强 AI 供应链的努力。
Google 表示:「数字签名,如来自 Sigstore 的签名,允许用户验证软件是否被篡改或替换。」
「诸如 SLSA Provenance 之类的元数据告诉我们软件中有什么以及它是如何构建的,允许消费者确保许可兼容性,识别已知的漏洞,并检测更高级的威胁。」
此项发展是在 OpenAI 揭幕了一个新的内部准备团队,以「跟踪、评估、预测和保护」针对跨越网络安全、化学、生物、放射性和核(CBRN)威胁的生成式 AI 的灾难性风险之际发生的。
两家公司,连同 Anthropic 和微软,还宣布了创建一个 1000 万美元的 AI 安全基金,专注于推动 AI 安全领域的研究。