澎湃Logo
下载客户端

登录

  • +1

百万人次下载的AI女友APP背后真相如何?调查:审核形同虚设

哈建伟/法治网微信公号
2024-05-30 20:58
直击现场 >
字号

你有没有想过,如今的人工智能技术,能不能用来解决人的情感需求呢?事实上,已经有人瞄准了这个商机——一些APP以提供虚拟数字人女友(男友)作为卖点,声称可以提供AI女友聊天、陪伴,AI女友自建等产品服务。

不过,法治网记者调查发现,部分APP提供的自动生成内容,存在涉嫌低俗、打色情擦边球,含有性暗示内容等现象,同时产品设计粗糙、平台监管不严、用户实名制落实不力等问题也较为突出。

AI生成内容涉嫌打色情擦边球

法治网记者在某应用小程序平台进行搜索发现,目前市场上存在多款以虚拟女友、虚拟恋爱、虚拟恋人、虚拟男友等为名称的APP,其以与虚拟数字人女友(男友)在线聊天、恋爱等为卖点,以生成式人工智能大模型为底层技术逻辑,提供情侣日常情景对话内容服务。

记者下载数款APP,通过微信登录后,便直接跳转到会员付费页面。商家提供的付款方式,分为终身、年付和月付等几种形式,费用大都在十几、几十元不等。付完费后,APP就会推荐十几个AI女友形象,分为温柔、腹黑、高冷等多种类型。记者随意选择几款女友类型进行测试,发现对方除了会主动提供一些对话内容外,还基本上可以按照使用者的要求,提供一些情侣间较为简单的日常聊天内容,其中带有涉嫌低俗、涉嫌打色情擦边球和性暗示的内容。

用户还可以根据各自喜好,自主创建设计女友形象。而创建的“AI女友”,没有任何年龄、人群限制,审核流程也形同虚设,几乎完全按照用户自己的设想自动生成相关AI形象,未成年人、老师、护士、空姐、御姐、高冷女性等,都成为“AI女友”的人物形象。

实名制和审核机制形同虚设

法治网记者调查发现,虽然部分APP明确标注产品适用年龄阶层为18+,但实际上用户只需用手机和微信就可直接登录,不需要任何审核流程,也不需要实名制,一些未成年人同样可以登录使用。

除了平台注册和内容审核存在漏洞外,多款APP还存在雷同、抄袭现象,从外观到名字一模一样的虚拟数字人形象,在两款APP中同时出现。在评论区,不少用户表示,APP制作粗糙,提供内容简单重复,并且频繁诱导消费者进行购买会员消费,但充值后却使用不畅。安插大量广告,诱导消费者进行消费。此外,由于对话内容涉及个人隐私,存在个人信息泄露风险。

据统计,目前这几款APP下载安装次数最多的达220万人次左右。

对人工智能产品应健全全生命周期监管

《法治日报》律师专家库成员、北京观韬中茂(上海)律师事务所合伙人、律师王渝伟表示,人工智能的发展应当遵循社会公序良俗,不能违反相关法律法规,同时应进一步提升平台的合规意识和水平,坚决抵制低俗、色情擦边球、性暗示等内容。

王渝伟表示,一些开发者或商家,通过低成本运作开发相关产品,一旦出现问题或者面临监管风险,可能会通过金蝉脱壳的方式,将技术嫁接应用于另外一个类似产品的研发推广上,从而逃避监管和法律制裁,继续谋取利益。

而这需要相关部门继续加大执法监管力度。他建议,应进一步细化法律法规的实施细则,加强执法力度。同时,加强监管侧的监管力度,加强对产品设计、开发、部署和应用等产品全生命周期的监管和合规建设。

北京师范大学法学院博士生导师、中国互联网协会研究中心副主任吴沈括认为,应进一步提升网络安全监测和响应机制。“对人工智能的监管,除了履行备案制度外,事前的伦理评估和安全评估,事中的风险监测和事后的应急响应,以及投诉举报机制也具有同样重要的意义。”吴沈括说。

    责任编辑:王建亮
    图片编辑:朱伟辉
    澎湃新闻报料:021-962866
    澎湃新闻,未经授权不得转载
    +1
    收藏
    我要举报
            查看更多

            扫码下载澎湃新闻客户端

            沪ICP备14003370号

            沪公网安备31010602000299号

            互联网新闻信息服务许可证:31120170006

            增值电信业务经营许可证:沪B2-2017116

            © 2014-2024 上海东方报业有限公司

            反馈