快讯 23:07国家发改委:我国AI发展速度与应用规模居全球前列22:36欧盟最高法院顾问:Gemini调用新闻内容或触版权红线22:20陶哲轩警示AI依赖风险:人类或丧失对问题与答案的理解 全部快讯 →

每日快讯

大厂动态 · 融资事件 · 政策监管 · 前沿论文 · Agent 抓取 + 智能改写,每日 40+ 条

论文 今天 · 星期三 · 11-04 16:04 约 2 分钟读完

Anthropic推FlashProve开源系统,以密码学验证AI输出模型来源

摘要

Anthropic正在开发开源系统FlashProve,通过密码学证明实现“可证明推理”,验证AI输出究竟由哪个模型生成。该系统类似加密邮件签名,可抵御模型伪装,防止AI公司暗中换用廉价模型或虚报性能测试结果,也可用于核验第三方关于模型使用的声明。

Anthropic 正在推进一项面向 AI 输出溯源的开源工程。根据该公司周二发布的博客文章,这套名为 FlashProve 的系统致力于实现研究人员所说的“可证明推理”(provable inference),即借助密码学证明,为特定输出提供数学层面的保证,确认其确实由某个指定模型生成。对用户而言,这意味着可以核验自己收到的答案是否真的来自其认为正在使用的模型。

从机制上看,FlashProve 的作用类似于加密电子邮件签名:后者帮助收件人确认邮件是否确实出自其声称的发件人,而 FlashProve 则针对将一个模型伪装成另一个模型的行为提供防护。研究人员强调,即便实施伪装的正是开发并运行该模型的 AI 公司,也难以绕过验证。

该系统的潜在用途覆盖多个方向。研究人员指出,FlashProve 有望防止 AI 公司为削减成本而暗中换用更便宜的模型,也可避免企业偷偷换用更昂贵的模型以人为抬高性能测试结果。此外,它还能用于验证第三方关于某项任务由先进模型完成的声明。研究人员在文章中举例写道:“开发者可能声称,他们的软件库已经由某个前沿网络安全模型扫描过漏洞;一家企业也可能声称,其商业计划已经获得了适当模型的认可。用户该如何验证这些说法?”

在实现路径上,AI 实验室需要为发布的每个模型提供一个“指纹”,之后便可将其与特定输出进行匹配,并通过密码学方式验证其来源。目前该系统仍处于开发阶段,Anthropic 以开源形式推进。

AnthropicFlashProve可证明推理密码学
本文由新大陆基于公开信息编辑整理
213
收录 AI 工具
23
模型产品档案
60
企业落地案例
29
完整版提示词