近日，浙江省余姚市人民法院对一起利用生成式人工智能实施违法犯罪的案件作出判决。六名被告人因通过技术手段绕过AI模型的安全限制，制作并传播淫秽内容以牟取非法利益，被依法追究刑事责任。该案系国内首例针对利用AI‘越狱’技术实施此类犯罪的公开裁判，引发行业对技术应用边界的关注。

案情显示，被告人郑某曾为国内某游戏公司程序员，在AI领域具有一定技术背景。2024年7月，郑某接触到境外一款AI色情聊天机器人后，萌生开发类似软件牟利的想法。随后，他邀请前同事谢某及网上结识的严某等共六人组成研发团队，着手搭建相关技术平台。

经过数月调试，该团队开发的生成式AI模型于2025年1月在境外平台上线。运营过程中，郑某等人通过改写系统提示词等方式对基础模型实施‘越狱’，突破其内置的色情内容安全防护机制。用户付费后，可在模型内选择角色卡与AI机器人进行色情聊天，并通过消耗积分生成淫秽静态或动态图片。

据法院审理查明，该模型运营期间共生成静态图片超过37万张，动态图片超过6000张，用户充值金额累计达240万元人民币。2025年7月，公安机关发现犯罪线索后立案侦查，历时两个月将六名被告人全部抓获归案。

余姚法院刑事审判庭法官助理孙钰萍在介绍案情时指出，郑某等人的行为已构成制作淫秽物品牟利罪。本案判决同时提醒，技术中立原则并非绝对免责事由，利用技术实施违法犯罪仍须承担相应法律责任。该案为AI技术应用划定了明确的法律红线，对行业从业者具有警示意义。