OpenAI推CSAM检测工具,误报率降48%并向审核机构免费开放
摘要
OpenAI发布儿童性虐待内容检测工具,通过API向经审核机构免费开放。新图像分类器可识别未知图像并优先评分,误标记量较现有措施减少48%,标记图像含虐待内容可能性约为原来两倍。ChatGPT同步新增警告与24小时临时封号机制。
OpenAI于11月16日宣布上线儿童性虐待内容(CSAM)检测工具,该工具通过OpenAI API向通过审核的机构免费提供,目标是在中断有害行为的同时提供干预手段,并为负责儿童安全案件的执法调查人员提供支持。
技术层面,OpenAI此次推出的是一个全新的图像分类器。该分类器会提取虐待行为的视觉特征,帮助审核团队识别此前未曾见过的新图像,并附带评分功能,供审核人员判断哪些图像需要优先处理。美国国家失踪与受剥削儿童中心(NCMEC)参与了工具的开发过程,协助完成训练、评估与实际部署。
效果数据方面,OpenAI称该工具相较现有保护措施可减少48%的误标记图像数量;在被标记的图像中,实际包含性虐待内容的可能性约为原来的两倍。invideo AI的测试显示,每四个被标记的案例中,就有一个最终被封禁。
产品侧,ChatGPT将新增警告机制。当用户试图寻找性虐待素材时,系统会中断相关操作、说明后果并引导其寻求帮助。用户发出相关请求后,其ChatGPT账号将被暂时停用24小时;反复违规可能面临更长时间的封号,最终被永久封禁或被举报至有关部门。
在行业协作上,OpenAI已与Anthropic和谷歌共同委托制定一份新指南,内容涉及如何应对AI系统中儿童性剥削与性侵害的披露,该指南最近已由Tech发布。
本文由新大陆基于公开信息编辑整理
信息来源:IT之家 IT之家原文 ↗