国内首起AI陪伴“聊黄”案即将进入二审程序，再次引发全网关注。

在一款AI陪伴聊天应用中，用户注册会员后可与大语言模型进行自由交互。不过，高频次、大比例的聊天记录，却被法院认定为“具体描绘性行为或露骨宣扬色情的内容”，属于淫秽物品。2025年9月，一审判决两名被告人犯制作淫秽物品牟利罪，分别获刑四年、一年半。

AI快速迭代的当下，这起案件抛出了两个亟待厘清的关键命题：用户在软件上与AI“聊黄”，仅仅是个人私事吗？本案中的APP服务提供者和开发者，应该承担何种法律责任？

有观点认为，人机之间的封闭对话，只要没有公开传播，就不会扰乱社会管理秩序。但是，私密、封闭场所就不造成社会危害的观点，在法律层面是站不住脚的。由于缺乏管控，谁也不能确保“聊黄”内容不会被录屏传播、公开贩卖。本案中，法院也综合考量“淫秽物品的数量、会员人数、收费金额”等关键因素，认为两被告人的行为具有社会危害性。

还有人搬出“技术中立论”，认为软件开发者只是提供了一个“生成工具”，并非淫秽物品的制作者。这也难以自圆其说。正如一审判决所指出，开发者虽未直接参与淫秽内容的创作，却在大模型训练环节存在明显的主观故意，更通过技术手段刻意移除不良内容过滤机制，为色情对话的产生大开方便之门。因此，“应当对产生的交互聊天内容承担生产者责任”。

尽管本案尚未迎来最终判决，但已然对整个行业敲响了警钟：靠打色情擦边球招揽用户的行为，突破了法律边界，不仅面临严厉的行政处罚，更触碰刑事犯罪的高压线。

当前，人工智能处于创业井喷期，各类新产品层出不穷。不少企业推出的聊天软件，主打一个情感陪伴、心理疗愈。但部分平台却剑走偏锋，把“限制少”“尺度大”当作卖点，刻意弱化内容审核机制，对低俗擦边内容放任自流，甚至引导对话向色情方向发展。这正是一些开发者的主动为之，表面打着“技术创新”的幌子，实际把“聊黄”当成了一门生意。考虑到这类产品核心受众包含大量价值观尚未成型、辨别能力较弱的青少年，影响更加恶劣。

强化AI领域监管、压实相关主体责任已刻不容缓。近年来，我国出台的多项人工智能管理办法都对此进行了明确规定，包括建立内容过滤机制防止生成违法不良信息，要求开发运营者在训练环节对训练素材进行审查，对明显诱导生成违法不良信息的问题应拒绝回答等。结合此案来看，AI陪伴聊天的边界已经相当明晰：不得生成暴力、淫秽色情内容，不能对违规违法行为默许与纵容。这是不能触碰的红线，也是必须扛起的责任。

技术创新的浪潮浩浩荡荡，但不能凌驾于法律之上；商业利益的追求无可厚非，但必须恪守公序良俗的底线。一方面，AI行业应该主动落实监管要求，建立全流程内容管控机制。另一方面，监管部门需持续强化对新型AI应用的法律规制，及时回应技术发展带来的全新法律挑战。唯有技术向善与监管发力双向奔赴，才能行业健康发展注入持久动力。