澎湃Logo
下载客户端

登录

  • +1

AI技术泛滥,警惕和识别利用AI造谣行为

2024-11-15 11:43
来源:澎湃新闻·澎湃号·湃客
字号

11月14日,公安部网安局发布文章《听说过AI造谣吗?》,公布了AI造谣的典型案例、特点和危害,提醒大众谨防AI造谣。

近年来,AI技术的发展为生活带来了诸多便利,但滥用AI技术,尤其是AI语音合成技术,却引发了一系列质疑。利用AI语音合成技术,只需20秒就能生成一条高度逼真的音频。不少用户发布了相关视频的生成教程,而这些视频的配音大多源于某拟真语音大模型应用。用户只需上传任意人物的一段音频作为训练素材,AI通过学习便能克隆出一个声音角色,其他用户输入文本即可使用该声音生成内容。

一些短视频平台上涌现了大量利用AI软件采集公众人物原音生成的逼真配音视频,其中不乏恶搞、造谣内容,带来了恶劣的社会影响。

国外AI造谣演变为霸凌工具

14岁的西班牙女孩向母亲米丽亚姆·阿迪布透露自己遭受网络霸凌,她展示了一张包含自己脸部的露骨假照片,该照片在社交媒体上广泛传播。阿迪布作为妇科医生,初看几可乱真。类似事件近期也在英国和韩国发生,如韩国女孩Heejin发现自己的学生时期照片被用于制作假露骨照。

这些假照片由AI技术生成,称为Deepfakes,通过深度学习技术制作逼真的虚假图像、视频或音频。近年来,Deepfakes技术门槛不断降低,甚至不懂AI的人也能轻松制作。这种技术不仅用于娱乐,还引发了假新闻、金融欺诈及针对青少年、儿童和女性的恶意露骨照片事件。

国内AI造谣苗头日盛

检索AI造谣,检索结果都是今年被警方破获的新闻,潇湘晨报11月14日报道《AI洗稿生产假新闻博流量,长沙2人被行拘!》,封面新闻10月17日报道《用AI软件生成“成都大规模拆迁”等假消息!造谣者被处罚》厦门广电网9月18日报道《移花接木、AI加持,一男子网上造谣被依法采取刑事强制措施》等,利用AI生产博取关注的内容,赢得了流量,却搅乱了整个社会,严重损害了伪造事件中涉及的人员、机构声誉。

使用AI需要承担法律责任

滥用AI技术也带来了法律风险。今年4月,北京互联网法院宣判了全国首例AI生成声音人格权侵权案,判决原告获赔经济损失25万元。该案对于厘清和把握AI生成声音的边界具有指导意义。

受访专家表示,法律法规和治理手段要跟上科技发展的步伐,对AI技术的应用进行明确的约束。AI应用工具提供方应把好第一道关,强化对源头素材的把控和对生成内容的监管。同时,短视频等传播平台也应尽到相关义务,建立甄别和追踪机制,对涉嫌伪造的内容或接到相关投诉时,要求内容发布者及时标识或删除内容,并视情况采取禁言、封号等措施。

编辑:泽文

审核/策划:王子翼

三审:吴增辉

文章综合鸡西网警、封面新闻、环球网、厦门广电网等媒体,图片来源于网络

    本文为澎湃号作者或机构在澎湃新闻上传并发布,仅代表该作者或机构观点,不代表澎湃新闻的观点或立场,澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问http://renzheng.thepaper.cn。

    +1
    收藏
    我要举报
            查看更多

            扫码下载澎湃新闻客户端

            沪ICP备14003370号

            沪公网安备31010602000299号

            互联网新闻信息服务许可证:31120170006

            增值电信业务经营许可证:沪B2-2017116

            © 2014-2024 上海东方报业有限公司

            反馈