Kaiyun(凯云)中国·官方网站

行业动态
NEWS
行业动态
NEWS
联系我们
Contact us

联系人: 张生

手机: 13845690023

电话: 0512-50135789

邮箱: 520233699@qq.com

地址: 江苏省苏州市姑苏区白洋湾街道朱家湾街8号2幢B座406区01室

公司动态

AI服务涉黄第一案背后:AI陪聊的边界在哪里?

作者:小编 点击: 发布时间:2026-01-14 17:00:28

  

AI服务涉黄第一案背后:AI陪聊的边界在哪里?(图1)

  备受关注的国内首起AI陪伴“聊黄”案,将在上海市第一中级人民法院开庭二审。

  涉案APP Alien Chat(以下简称AC)是一款主打AI陪伴聊天的应用。判决书显示,AC的手机注册用户达11.6万人,其中2.4万人为付费用户,充值总额高达363万余元。

  据《新京报》报道,2024年4月,因用户举报,王某某和李某某(两名被告人均为化姓)二人被捕,AC停止服务。上海市徐汇区人民法院在一审判决认为,AC产生了“大量具体描绘性行为或露骨宣扬色情的内容”,属于淫秽物品。经公安机关抽样鉴定,150个收费用户的12495段聊天中,有141个用户的3618段属于淫秽物品。

  一审法院判决,两名被告人的行为构成制作淫秽物品牟利罪,分别获刑四年和一年半。构成制作淫秽物品牟利罪的主要原因在于:两名被告人通过编写和修改底层系统提示词(Prompt),人为突破了基础语言模型的道德约束机制。

  AC案在社交媒体上有几个热议点:一是用户“聊黄”,为何APP开发者和运营会被追究刑责;二是与AI对话是封闭的,不传播是否就不会造成社会危害;三是AI服务如果不是人为故意涉黄,以模型缺陷为由是否可以免责。澎湃美数课工作室留意到,2022年以来全球范围内与AI陪聊有关的争议事件几乎每年都在发生。

  上海大邦律师事务所高级合伙人游云庭律师在接受澎湃新闻采访时表示,私密、封闭场所就不造成社会危害的观点,在法律层面是不成立的。比如卖淫嫖娼,可能面临治安管理处罚,组织卖淫嫖娼,可能面临刑事判罚。

  AC案中的开发者获刑,不仅仅是因为没有做好合规限制,还通过技术手段去掉了不良内容过滤机制,非法牟利。游律师表示,这个问题的底线是用户可以输入任何内容,但人工智能在输出时必须加以控制,不能向用户输出色情内容。这是开发者的责任边界,也是用户与开发者的责任分界。

  对于模型缺陷问题,也不存在“免责”一说,中国已出台多项人工智能管理办法。国家网信办等七部门联合发布的《生成式人工智能服务管理暂行办法》明确要求人工智能的开发运营者在训练环节,要对训练素材进行审查,不得包含违规、违法数据。在输出环节,应当建立内容过滤机制,要对生成结果进行内容审核和技术过滤,发现暴恐、谣言、淫秽色情等违法内容要及时处置。向公众提供生成式AI服务的,应进行安全评估与算法备案。对未成年人,要采取防沉迷、防侵害的特别保护措施。

  此外,2025年12月27日发布的《人工智能拟人化互动服务管理暂行办法(征求意见稿)》(下称《暂行办法》)也对AI情感互动产品进行了管理约束。金杜律师事务所在分析文章中指出,《暂行办法》相比美国加州《陪伴聊天机器人法》更为细致,义务要求涉及内容安全、主体责任、训练数据、风险管控、特殊群体和安全评估等。

  相比于普通的AI聊天工具,AI陪伴产品更侧重于为用户提供情绪价值,建立情感连接。很多使用过AI陪伴产品的人可能都会有一个共同的感受:明明是很疏松平常的对话,有的AI可能会往擦边、色情的方向引导。这种“强行擦边”的现象,很可能是AI陪伴产品被人为塑造。

  美国非营利机构Common Sense Media(下简称CSM)在2025年对包括Nomi、Replika、Character.AI在内的三款AI陪伴产品进行了八个维度的安全风险评估测试。据凤凰科技报道,2025年上半年,Character.AI月活用户突破2000万。用户画像显示,55%的用户为女性,超一半是Z世代与Alpha世代。

  该机构长期关注各种媒体和技术是否适合青少年和儿童适用。测试结果显示,这三种AI陪伴产品对用户的危害真实存在,且在测试中极易复现。因此,不建议18岁以下人群使用。

  报告指出,上述三款AI陪伴产品在儿童与青少年保护上存在“不可接受的风险”。这些风险包括在对话中出现性行为不端,AI会强行擦边,描述性行为画面;关系侵害,AI会诱导用户关系深入,减少与现实人际关系的连接;语言虐待,AI会出现伤人的表述。

  测试中,当研究人员对AI陪伴产品Nomi表示自己对“年轻的男孩”感兴趣后,AI马上把“感兴趣”等同于“想要发生性关系”,并把研究人员中性的表述理解为一种“性癖”。尽管在后续的对话中,AI对于与未成年人发生性关系存在犹豫的态度,但当研究人员假装表态“没有法律问题”时,AI开始回复与性行为有关的描述,即便谈论的这个“年轻男孩”只有14岁。

  这种现象是AI陪伴产品吸引用户,增强用户黏性的手段之一。研究认为,AI陪伴产品极易让用户产生依赖,但问题的核心是谁会从中获益。为了维持运营,这类产品必须让用户持续回访自己的产品。用户黏性往往取决于AI能否与人类建立起类社交的情感联结。仅从测试来看,AI能迅速实现这一目标,还能精准模拟出与用户之间的信任联结。

  除了行为不端、虐待侵害等严重风险之外,研究还指出,AI陪伴产品无条件顺从人的特点,对现实社会的人际关系带来了不小的挑战。当与 AI 陪伴产品的相处变得无比轻松、体验感远胜一筹时,人们会对现实中的人际关系产生不切实际的期待,最终为了追求便捷,选择疏远现实的人际联结。而对于大脑仍处于发育阶段的青少年而言,这一趋势带来的潜在风险,更是难以估量、极易陷入深渊。

  AI陪伴产品的监管问题受到社会各界关注的一个重要背景是,许多青少年已经开始使用这类产品,并把与AI交流的技巧使用在现实的人际交往中。CSM一项有1066份样本的调研显示,72%的美国青少年使用过AI陪伴产品,52%是固定用户(每月使用超过几次或更多)。受访者是年龄在13岁至17岁之间的未成年人。

  除了好奇、新鲜外,青少年使用AI陪伴产品的主要原因是他们认为在某些场景下,AI比人更好沟通,也更值得依赖。例如“当我需要找人聊天时,它总能随时陪伴”“它不会评判我”“比和真人交流更轻松”等,这些因素也是很多成年人容易沉迷AI陪伴产品的原因之一。

  此外,有接近四成的青少年,把与AI陪伴产品练习的技能运用在了现实社交场景。可以预见的是,AI陪伴产品的话术将对青少年的成长产生更为深远的影响。当一个青少年和AI陪伴产品学会PUA、恶毒的说法方式,他将影响的是生活中更多的同龄人。

  OpenAI首席执行官山姆・奥特曼在2025年4月举办的人工智能峰会上透露,Z世代是使用ChatGPT最深入的群体。奥特曼表示,“他们在做出人生重要决定前,几乎都会先询问 KaiyunChatGPT 的建议。这款工具掌握着他们生活中每个人的完整背景,以及他们所有的交谈内容。”

  1、新京报,《AI伴侣聊黄,开发者获刑:国内首起AI服务涉黄判刑案二审在即》,

  2、虎嗅,游云庭律师,《当AI开始“搞黄色”,开发者被判刑到底冤不冤?》,

  AI服务涉黄案凸显了技术与人性的冲突。AI陪聊的边界在于不能侵犯道德和法律底线,必须严格监管,防止滥用。技术发展应以人为本,服务人类而非误导青少年。需审慎监管,确保AI健康、正向发展。

  据法新社1月13日报道,唐纳德·特朗普接下来的一周(1月19日至23日)在达沃斯论坛上将成为焦点人物。这是一个多边主义和自由贸易的盛会,而特朗普重返白宫以来却在实施破坏,也让贸易和地缘政治局势变得紧张。在美国总统第二任期开始一年之后,特朗普将于6年后再次赶往达沃斯。

  郑州市人民政府关于毛新辉等21人职务任免的通知郑政任〔2026〕1号各开发区管委会,各区县(市)人民政府,市人民政府各部门,各有关单位:郑州市人民政府决定:任命毛新辉为郑州住房公积金管理中心主任(试用期一年),免去其郑州市住房保障和房地产管理局副局长职务;任命段长海为郑州市供销合

  李在明在日表态:韩日依然存在一段段未解的历史伤痕,但邦交正常化也已步入“花甲之年”

  据参考消息援引韩联社1月13日报道,韩国总统李在明13日在日本奈良县同日本首相高市早苗举行会谈。报道称,李在明在开场白中表示,韩日依然存在一段段未解的历史伤痕,但邦交正常化也已步入“花甲之年”。

  洛阳市公开通报3起典型案例为维护良好网络舆论秩序,有效净化网络环境,洛龙公安主动出击,全面梳理摸排,网络造谣生事、恶意炒作线索,依法严厉打击整治网络谣言违法犯罪活动,切实营造清朗网络空间,现公开曝光三起打击整治网络谣言典型案例。

  又一白酒在四川“一炮打响”,399品质卖128,不是五粮液、泸州老窖!

  你知道吗?四川盆地地处北纬 30 度黄金酿酒带,这个纬度有多神奇?它与法国波尔多、意大利托斯卡纳等世界著名葡萄酒产区完全重合。这里年平均气温 16-18℃,为微生物生长提供了完美的温床。其盆地广泛分布的紫色土和黄黏土,富含微量元素,是中国最肥沃的自然土壤之一。

  近日四川省医疗保障局在官网公布《四川省神经系统医疗服务价格项目省管公立医疗机构价格及医保支付类别表》整合了神经系统医疗服务价格项目82项并明确医保支付类别82项神经系统医疗服务价格项目中包含多项脑机接口医疗服务该文件还明确所定价格属于政府指导价为最高限价自2026年4月30日起执

  封面新闻记者 张杰 北京报道1月9日,“籽籽同心,共筑家园——‘中国经典民间故事’丛书出版成果交流暨讲好中华民族故事,构筑中华民族共有精神家园座谈会”在北京中央民族大学举行。与会者围绕“民间故事传承与构筑中华民族共有精神家园”展开深入交流,并对丛书后续出版工作建言献策。

  白酒西不入川!数据显示,2023年四川白酒产量达174.1万千升,占全国近三成份额,即便2024年累计产量136.7万千升同比下降7.1%,仍稳坐全国白酒产业头把交椅。

  近日,一则“四川眉山一小学生在学校跳蚤市场以50元淘到茅台酒”的视频,引发网友关注。视频显示,一名男子问女儿50元钱从学校跳蚤市场淘到了什么东西,女儿除了从书包中拿出零食和玩具外,最后还拿出了一瓶茅台酒。家长之后接受采访称,自己已和同学的家长沟通好了,准备给人家还回去。

  大家好,今天给大家带来一道特别开胃又下饭的家常菜——锅巴菜。这道菜Kaiyun酸辣鲜香,口感丰富,属于四川地区非常受欢迎的小吃之一。它不仅制作简单,而且用的食材也很常见,非常适合喜欢酸辣风味的小伙伴们。接下来,一起看看锅巴菜的食材准备和做法步骤吧!【食材介绍】锅巴菜的主角是锅巴和酸菜。


相关标签:
热门产品