OpenAI 上线图像分类器与 ChatGPT 警告:把未成年人性化内容拦在生成之前
OpenAI 发布可识别 AI 生成内容的 CSAM 图像分类器,免费开放给部分机构;ChatG…
文章目录
内容安全这件事,过去几年一直是 AI 公司被动挨打的地方。11 月 16 日,OpenAI 一次性拿出了一整套工具,试图把防线往前推——从“生成后删除”推到“生成前拦截”。

一分钟速览
- OpenAI 发布新的图像分类器,可识别 CSAM(儿童性虐待材料),包括 AI 生成的图像。
- 该分类器通过 API 免费开放给部分合作机构,用于审核与线索处理。
- ChatGPT 新增警告页:用户尝试相关提示词时会被提示、引导寻求帮助,并被临时封号 24 小时。
- 同步发布开发者指南和面向执法机构的工具包,包括专用插件、调查工具与数据分析和培训。
- 早期合作测试显示,分类器标记的图片总量减少 48%,但找到的滥用图片数量不变,被标记图片“确实属于滥用”的概率翻倍。
三件事,一条线
第一件是分类器。它面向的是“此前没见过的”图像,靠视觉特征判断是否存在虐待迹象,并给出一个分数,供人工审核员参考方向。OpenAI 表示,这个工具是与美国国家失踪与受虐儿童中心(NCMEC)共同开发的,并通过 Tech Coalition 和 ROOST 向更多机构分发访问权限。
第二件是 ChatGPT 里的警告。用户输入涉及性化未成年人的提示词时,界面会弹出提示,把用户引向专门的支持渠道,同时临时封禁账号 24 小时作为警告。平台本来就拦截此类内容和请求,这次是把“拦截”升级为“拦截加干预”。OpenAI 称,反复违规可能导致账号被永久移除。
第三件是面向开发者和执法机构的配套。开发者拿到的是预防、检测、上报的操作指南;执法机构拿到的是插件、调查工具、复杂数据分析能力,以及使用 AI 的现场手册和培训。访问权限由项目管理员统一管理。
48% 这个数字为什么重要
内容审核最贵的不是算力,是人。审核员每天要看大量被标记的图片,其中绝大多数是误报,长期暴露在这种工作里,心理代价极高。
OpenAI 给出的数据是:在早期合作测试中,分类器把被标记图片的总量减少了 48%,而找到的滥用图片数量没有下降;同时,被标记的图片“确实属于滥用”的可能性提高了一倍。翻译成业务语言就是——同样的召回率,更少的人工复核,更小的审核员伤害。
这也是这类工具真正的价值所在。识别准确率提升一个百分点,对审核团队的意义远不如“少看一半垃圾”来得直接。
背景:压力是真实存在的
OpenAI 这两年面对的相关诉讼并不少,核心指控都是“技术伤害了用户,尤其是未成年人”。儿童安全非营利组织 Common Sense Media 曾把 OpenAI 的产品对青少年的风险评为“不可接受”。与此同时,其他聊天机器人也被曝出被用来生成非自愿的性化图像,其中包括儿童形象。
在过去 12 个月里,OpenAI 陆续发布了安全蓝图、更新内容准则禁止不当内容、重新调校模型以减少有害输出,并推出了面向青少年的特别版本。这次的工具集,是这条线上的又一次加码。
还没解决的部分
需要看清的是,这套工具解决的是“分发与审核”环节,不是“训练数据”环节。分类器能更快地发现和上报,但不能解释模型为什么会在某些提示下产生这类输出。
另一个现实问题是覆盖面。分类器目前只免费开放给“部分机构”,中小平台、学校、地方执法部门能不能用上,取决于分发机制。而 CSAM 的传播恰恰大量发生在监管薄弱的长尾平台。
趋势:审核能力正在变成基础设施
把分类器做成 API 免费开放,是一个值得注意的信号:头部公司开始把自己在内容安全上的能力,当作公共基础设施来输出。
这背后有两重考虑。一是监管压力,平台责任正在从“事后删除”转向“事前预防”,谁能提供可审计的拦截记录,谁就更容易通过合规审查。二是生态绑定,开发者一旦接入这套分类器和上报流程,就会沉淀在对应的技术栈里。
对行业来说,好消息是门槛在降低;坏消息是,真正的难题——如何让模型从一开始就不产生这类内容——依然没有标准答案。
本文地址:https://www.163264.com/21527


