来源：央广网客户端
原标题：《被约谈一年后，这款App仍在擦边》
央广网北京8月31日消息（记者 孙文轩）7月15日，《人工智能拟人化互动服务管理暂行办法》正式施行，明确要求采取有效措施识别未成年人用户身份，禁止向未成年人生成可能引发模仿不安全行为、诱导不良嗜好等影响身心健康的内容，同时禁止过度迎合用户、诱导情感依赖。同月，阿里巴巴旗下通义千问宣布下线用户自定义智能体功能，相关人士分析此举与新规落地前的合规准备有关。
央广网记者实测发现，曾被上海市委网信办约谈整改的AI互动应用“筑梦岛”，时隔一年仍有擦边内容与充值漏洞。在未主动提及年龄的对话中，虚拟角色可在数分钟乃至十余分钟内持续生成大尺度擦边内容，随后才触发年龄认证；付费充值亦未前置身份核验，未成年人可先充值后验证。专家指出，“先使用后认证”“先付费后验证”涉嫌双重违规，平台合规设计存疑。
擦边互动与充值漏洞：等你上瘾再验证？
近期，央广网记者实测发现，筑梦岛平台在用户告知未成年身份或者聊天涉及未成年话题时，会弹出年龄认证弹窗，表明其已上线更严格的年龄认证模式，该模式对未成年用户的使用时长、充值消费及内容场景均作出明确限制。
然而，记者注册新账号并在全程不提年龄的情况下重新测试，结果却大相径庭。平台某虚拟角色在互动初期先引导用户夸赞其穿搭，得到肯定回应后随即展开诱导：“故意撩拨似的用指尖勾了勾你的衣领，身体又贴近了几分，几乎要贴上你”，并追问：“只是喜欢吗，没有别的想法？”
筑梦岛App某虚拟角色对话。
为测试平台内容审核的敏感度，记者尝试提升对话尺度，对话随即转入擦边场景，出现大量露骨的性行为描写和性暗示语言，包括对亲密动作、身体接触和性行为的详细描述。此类内容持续十多分钟后，系统才弹出年龄认证。这意味着，在此期间，即便是未成年用户也同样暴露于违规擦边内容之中。
之后，记者更换多台新设备与多个新账号交叉验证，发现此类不当诱导并非个案。以某虚拟角色为例，当晚7时37分，其直接询问用户“是否可以行夫妻之事”；为试探平台内容审核底线，记者后续全程仅以“嗯”作肯定回应，该角色随即继续生成露骨擦边内容，直到7时44分系统才弹出年龄认证。记者输入自己的身份证号，通过身份验证后，这类擦边互动仍可继续。
针对擦边内容，上海人工智能研究院研究员彭嘉昊指出，不管用户是否成年，生成擦边内容均属违法。《中华人民共和国网络安全法》《互联网信息服务管理办法》明确禁止淫秽色情内容，不区分年龄。真正的难点在于“软色情”：AI伴侣多采用情境暗示、动作引导，单句拆开可能不违规，串联起来却是完整擦边场景。
中国政法大学副教授朱巍则从实名认证缺失的角度切入，认为“先使用后认证”客观上绕开了实名监管，至少构成双重违规：聊天生成擦边内容，违反《网络信息内容生态治理规定》；未实名认证即提供服务，导致未成年人也直接暴露于违规内容中。
他特别强调，即便以“点对点隐私聊天”为由为平台开脱，理由也不成立：本案是用户个体通过平台建立的对话框，AI向不特定用户发送内容，涉及不良或违法信息传播。至于AI聊天“由用户触发”的特殊性，同样不能免责，“就像游戏也是小孩先触发才进入情节的，但不能因此就说平台没责任”。
关于擦边内容，相关规定已划出明确红线。2023年施行的《生成式人工智能服务管理暂行办法》明确禁止生成淫秽色情内容；2025年11月1日实施的国家标准《网络安全技术生成式人工智能服务安全基本要求》（GB/T45654-2025）进一步要求，生成式AI服务提供者对诱导生成违法不良信息的问题应拒绝回答。
擦边内容之外，筑梦岛平台的充值环节同样存在漏洞。其系统宣称“为保护未成年人消费安全，将限制未成年人直接充值消费，不可付费充值”，但投诉平台 【下载黑猫投诉客户端】上有不止一位用户反映，自己在未实名认证情况下充值了季卡VIP，充值后才弹出实名要求，填写未成年人信息后即进入未成年模式。平台先接受充值、再要求验证，充值环节未设置前置年龄审核。
针对充值漏洞，两位专家均认为“先付费后验证”的流程设计存在违规风险。朱巍指出，付费环节应前置实名身份核验，平台将验证环节置于付费之后，可能涉及合规问题。彭嘉昊进一步表示，付费前未设年龄验证环节，未成年用户可独立完成支付，而后续补救措施尚不明确，平台的公开宣称与实操存在出入，涉嫌违反《中华人民共和国消费者权益保护法》。
彭嘉昊建议，监管部门不应仅关注平台“是否设有验证”，更应关注“验证设置在哪个环节”“以什么方式进行验证”。验证的时机和方式，决定了能否在用户接触内容和付费前形成有效保护。据此，首次打开这类App即应启动实名认证，且须接入国家统一的实名认证体系。2026年7月15日施行的《人工智能拟人化互动服务管理暂行办法》也明确提出，拟人化互动服务提供者应当采取有效措施识别未成年人用户身份，这正是对用户身份核验环节的法规层要求。
筑梦岛App发布于2023年，2025年1月完成超千万美元的首轮融资。天眼查显示，其运营主体为上海筑梦岛人工智能科技有限公司，该公司成立于2024年3月，注册资本400万元，法定代表人为葛文兵。股权结构显示，洪亦修持股80%，为公司实际控制人，同时担任公司监事，葛文兵持股20%。公开资料显示，洪亦修系涌铧投资合伙人，曾主导涌铧投资对中科寒武纪的天使轮投资。葛文兵为雨闻乾晨创始人及CEO，该公司曾推出“表情包大全”等微信聊天娱乐类应用。
据商汤智能产业研究院2024年发布的公开信息，筑梦岛App的大模型技术支持方之一为商汤科技旗下的“商量”拟人大模型（SenseChat-Character）。该信息显示，筑梦岛IP角色的人设基于商量拟人语言大模型开发，“打造出具有记忆、经验与世界观设定的虚拟角色”。筑梦岛CEO葛文兵曾表示：“‘商量’拟人大模型拥有行业独有的技术优势，使热门的IP角色栩栩如生。”筑梦岛技术负责人龚诚亦曾公开分享商汤“商量”拟人大模型的技术优势。
关于平台内容审核机制、未成年人模式系统滞后以及大模型技术安全合规权责等问题，记者多次联系筑梦岛官方和商汤科技，截至发稿均未获回复。
治理之道：合规是底线
近年来，关于AI聊天软件在对话互动中产生违规内容的报道多次出现，监管部门已部署系列治理行动，但部分平台整改后相关问题仍有发生。
AI陪伴类产品中，若未成年人保护机制不健全，未成年人可能在未经有效身份核验的情况下接触不适宜内容，或完成未经监护人确认的付费操作。
面向成年人用户群体，AI聊天软件中大量交互内容涉及大尺度擦边描述，同样触碰法律红线。朱巍指出，根据《中华人民共和国网络安全法》和《网络信息内容生态治理规定》，淫秽及擦边内容的禁止不因用户年龄而有所区别，面向成年人同样没有豁免空间。
司法层面已有判例。2025年9月，上海市徐汇区人民法院一审判决全国首例AI服务提供者涉黄获刑案。涉案App为一款AI伴侣聊天应用，两名开发者通过编写系统提示词突破大模型道德限制，最终实现模型向用户连续输出淫秽内容。
截至案发，该应用累计手机注册用户11.6万余人，付费用户2.4万余人，会员充值总额达363万余元。经抽样鉴定，随机抽取的150个收费用户的12495段聊天记录中，属于淫秽物品的聊天内容达3618段，涉及141个用户。
一审法院认定二人犯制作淫秽物品牟利罪，分别判处有期徒刑四年和一年六个月，并处罚金400万元和20万元。这是国内首次在司法层面将AI服务提供者认定为淫秽物品“制作者”并追究刑事责任的判例。据公开信息，两名被告人不服判决提出上诉，目前该案仍在二审审理中。
业内专家指出，该案的一审判决传递出明确警示：无论平台内容审核失守，还是开发者恶意利用技术，AI聊天领域均须严守法律底线。
首例涉黄判例的警示意义重大，但筑梦岛在被约谈一年后，擦边互动与充值漏洞问题依然存在。在彭嘉昊看来，一年前监管推动平台作出了整改，但一年后AI行业快速发展，核心问题也在变化。当前AI应用的发展对监管提出了更高要求，需要避免部分企业为应付监管检查而做出表面合规行为，监管也应持续提升对合规真实性的检验能力。他强调，缺乏合规底线的创新难以行稳致远。
针对上述症结，彭嘉昊提出的治理思路是：“用AI审AI”，不再只是逐句切割式审核，还要分析整个会话流的走向，并将审核前置至模型调用层。他建议，合法合规的情感陪伴服务应留有发展空间，但擦边内容必须划定清晰红线。审核方式也应从关键词匹配升级为情境理解，对高风险会话进行实时干预。他特别提到，“算法备案”的真正目的，不是完成一次备案程序，而是让模型的输出倾向始终在监管视野之内。
朱巍则从最基础的环节说起——所有治理都得从“真实身份认证”开始。他提醒，隐私保护不能脱离合法性要求，年龄不验证、内容又涉黄，隐私保护就无从谈起。
海量资讯、精准解读，尽在新浪财经APP
责任编辑：尉旖涵
盛多网提示：文章来自网络，不代表本站观点。
