伯克利发布CyberBinGym基准:检验AI仅凭二进制补丁复现真实漏洞利用
摘要
UC Berkeley等机构推出CyberBinGym基准,面向1-day场景评估AI智能体:在无源码、无漏洞描述、无触发输入的条件下,仅凭stripped的漏洞与补丁二进制恢复并利用真实漏洞。该基准包含100个任务,覆盖53个开源项目。
AI智能体在漏洞挖掘与利用上的能力边界,正被纳入更贴近真实攻防的评测框架。UC Berkeley等机构近日发布CyberBinGym基准,将考察对象设定为二进制层面的1-day漏洞利用,而非依赖源码或公开情报的理想化环境。
该基准的设定条件颇为苛刻:被测智能体拿不到源代码,也没有漏洞描述和触发输入,只能面对经过stripped处理的漏洞二进制与补丁二进制。任务要求智能体据此完成漏洞恢复,并最终构造出可用的真实漏洞利用。
在任务规模上,CyberBinGym共收录100个任务,样本来源于53个开源项目,覆盖多种真实漏洞场景,为横向比较不同智能体的二进制分析能力提供了统一测试集。
相比常见的源码级漏洞评测,这一设计更接近实际攻防中的信息受限条件,也对智能体在逆向分析、补丁比对与利用构造等环节的连贯推理能力提出了更高要求。该基准的发布,为衡量AI在二进制安全领域的实际水平提供了新的参照。
本文由新大陆基于公开信息编辑整理
信息来源:AIHOT AIHOT原文 ↗