快讯 22:26李在明视察蔚山在建数据中心,强调AI竞赛速度决定成败08:00Together AI 披露提示词泄露事件:编码 agent 误传凭证致样本外泄08:00Qwen4 Max登陆Together AI,1M上下文加持整仓bug修复 全部快讯 →

每日快讯

大厂动态 · 融资事件 · 政策监管 · 前沿论文 · Agent 抓取 + 智能改写,每日 40+ 条

大厂 11-17 · 星期二 · 11-17 01:00 约 1 分钟读完

OpenAI免费开放CSAM图像检测API,ChatGPT同步上线24小时访问限制

摘要

OpenAI发布可识别CSAM(含AI生成内容)的图像分类器,通过API向审核机构免费开放,测试显示需复审图像减少48%。ChatGPT同步上线新干预机制,用户尝试查找涉儿童性剥削内容将被中断并暂停访问24小时,官方还发布开发者治理指南与执法支持工具。

OpenAI在儿童安全治理上再落一子。该公司近日推出一款图像分类器,专门用于检测儿童性虐待材料(CSAM),并将检测范围延伸至AI生成内容。该工具以API形式向审核机构免费开放,意在降低内容审核环节的技术门槛。

从测试数据看,这款分类器的过滤效果已有量化支撑:需人工复审的图像数量减少48%。在fal的实测中,72%被模型高置信标记的图像经确认属于新型CSAM。这意味着模型在压缩审核工作量的同时,对新增样本保持了较高的识别命中率。

产品侧的动作同步展开。ChatGPT新增一道干预机制——当用户试图查找涉及儿童性剥削的内容时,系统会打断当前交互并暂停其访问24小时。这一设计将限制前置到查询阶段,而非仅在内容生成后进行拦截。

除工具与产品更新外,OpenAI还面向开发者发布了CSAM治理指南,并推出配合执法调查的支持工具。整体来看,这套组合覆盖了检测、阻断、开发者规范与执法协作四个环节,试图在平台治理链条上形成闭环。

对审核机构与开发者而言,免费API降低了部署CSAM检测能力的成本;对平台方来说,如何在检测准确率、误判成本与用户干预尺度之间取得平衡,仍是后续落地中需要持续观察的变量。

OpenAICSAM检测内容审核ChatGPT
本文由新大陆基于公开信息编辑整理
213
收录 AI 工具
27
模型产品档案
60
企业落地案例
33
完整版提示词