该工具可帮助进行基准测试、研究模型并将其暴露于模拟威胁。
美国国家标准与技术研究所 (NIST)重新发布了Dioptra，这是一款旨在衡量人工智能模型风险（尤其是数据中毒攻击）的工具。这款模块化、开源的基于网络的工具最初于 2022 年推出，旨在帮助公司和个人评估和分析人工智能风险。它可用于基准测试、研究模型并将其暴露于模拟威胁，为这些活动提供一个通用平台。
NIST 已将 Dioptra 定位为支持政府机构和企业评估 AI 系统性能声明的工具。该工具的发布恰逢 NIST 和 AI 安全研究所发布的新文件，这些文件概述了减轻 AI 相关危险的方法，包括非自愿色情内容的生成。这项工作是美国和英国为推进 AI 模型测试而建立的更广泛伙伴关系的一部分，该伙伴关系于去年在英国 AI 安全峰会上宣布。
Dioptra 的开发符合拜登总统关于人工智能的行政命令，该命令要求对人工智能系统进行全面测试并制定安全标准。开发人工智能模型的公司（例如苹果）必须在公开部署之前通知联邦政府并分享安全测试结果。
尽管 Dioptra 功能强大，但它也有局限性。它仅适用于可以下载并在本地使用的模型，例如 Meta 不断扩展的 Llama 系列。目前不兼容只能通过 API 访问的模型，例如 OpenAI 的 GPT-4。尽管如此，NIST 建议 Dioptra 可以突出显示哪些类型的攻击可能会降低 AI 系统的性能并量化其影响。
评论