Six sentenced for using jailbroken AI to produce and sell obscene content

What happened

郑某曾为国内游戏大厂AI领域程序员。2024年7月接触境外AI色聊机器人后，萌生开发同类软件牟利的想法，邀请同事及网友等5人组建研发团队。2025年1月，涉案AI模型在境外平台上线运营，接入多种充值渠道向用户收费。

郑某等人通过改写系统提示词、设定角色卡等方式突破AI模型内置的色情内容安全限制。用户付费选定角色卡后可生成色情文本，再通过消耗积分生成不同尺度的淫秽图片。该模型共生成静态图片37万余张、动态图片6000余张，收取充值金额折合人民币17万余元。

Reported impact

经鉴定，随机抽取的12500张静态图片中9000余张为淫秽物品，全量动态图片中5000余张为淫秽物品。

Index analysis

法院认为，被告人虽辩称内容由用户输入触发，但用户操作被限定在被告人预先搭建的技术框架内，被告人对AI模型内容输出具有实质控制力，其行为与淫秽内容产生存在刑法上的直接因果关系。

法院认定利用AI技术制作淫秽物品应认定为刑法意义上的'制作淫秽物品'。技术中立不等于技术无罪，算法不是法外之地。

Governance controls

9月7日，《最高人民法院关于依法审理涉人工智能纠纷案件的意见》发布，明确规定利用人工智能制作、贩卖、传播淫秽物品等行为，构成犯罪的，依法追究刑事责任。

Classification

Organizations

郑某 (subject), 浙江余姚市人民法院 (regulator), 宁波市中级人民法院

Category

Harmful and abusive content

Industry

Media, social platforms and marketing

Country

China

Harm status

Actual harm

Intent

Intentional

Timing

Post-deployment

Harm types

Public interest, Other

Harmed

General public, Consumers

Failure modes

Jailbreak

Consequences

Litigation

AI systems

Jailbroken generative AI chatbot model

Sources and evidence