澎湃Logo
下载客户端

登录

  • +1

AI马斯克,1分钟骗走几十万

2024-08-17 18:23
来源:澎湃新闻·澎湃号·湃客
字号

原创 香草 智东西

深度调查:AI诈骗盯上马斯克,一年骗走400亿美元。

编译 | 香草

编辑 | 云鹏

试想一下,当一位顶级企业家向你抛出橄榄枝,“亲口”告诉你现在有一种无风险的方式快速致富,只要填个表就能赚100万美元,你会怎么做?

如果这个人是马斯克,并且还有BBC为其背书,告诉你这是“一场不为公众所知的技术革命”呢?

警惕性较高的人可能会立刻嗅到电信诈骗的气息,但对于不常接触互联网的人群,要识别出这样的伪造视频并不容易。

智东西8月16日消息,据报道,去年年底,82岁的退休人员Beauchamp看到马斯克宣传一项激进的投资机会,并承诺无风险、快速回报。他联系了视频中的公司,在随后几周的一系列交易中花光了退休金,累计“投资”超过69万美元。

接下来的事情可想而知,退休金和这家公司一起消失了。

随着名为Deepfake(深度伪造)的AI技术愈发成熟,类似的视频充斥在互联网上。据知名咨询机构德勤估算,深度伪造视频每年将造成数百亿美元的诈骗损失。

监测深度伪造视频的机构Sensity近日做了一项调查,通过分析2000多段深度伪造视频,发现马斯克已经成为这类视频中最常见的“发言人”。自去年年底以来,马斯克出现在近1/4的深度伪造诈骗视频中,其中针对加密货币的视频他的出现率更是达到90%。

其他常见的伪造对象,还有著名的投资人巴菲特、亚马逊创始人贝索斯等。

01.

每年诈骗上百亿美元

马斯克出现率1/4

为了制造这些视频,诈骗者首先会找到马斯克等人的真实采访视频。比如开篇视频的画面原本来自马斯克接受的一次采访,谈论的话题是如何利用AI等技术实现公司的高效管理。

诈骗者会利用唇形同步技术(Lip-synching),调整人物的口型,随后使用语音克隆工具添加一个AI复制的语音。

最后,部分视频还会添加模仿专业新闻机构的虚假图标,这对于普通互联网用户来说也许更有说服力。

究竟有多少这样的深度伪造视频正在网络上流传,已经很难准确量化。在Facebook的广告库中搜索这些骗局的常用宣传文案,会出现数十万条广告,其中有不少都是深度伪造视频。

YouTube也充斥着这类视频。如果在YouTube上搜索“埃隆比特币会议”(Elon Bitcoin conference),你会得到数十个标注着现场直播的视频,但实际上这些都是预先录制的深度伪造视频。

▲YouTube深度伪造视频(图源:YouTube)

这些“直播”的观看人数动辄数十万,但据YouTube证实,诈骗者可以使用“水军”刷人数,人为地夸大这个数字。

今年5月,知名咨询机构德勤发布关于生成式AI增加深度伪造欺诈风险的报告,其中提到2023年,金融科技领域的深度伪造事件增加了700%,并预测到2027年,AI将使美国的欺诈损失从2023年的123亿美元增加到400亿美元,复合年均增长率为32%。

▲生成式AI造成的欺诈损失增长预测(图源:德勤)

深度伪造视频的数量和影响力越来越大。据监测深度伪造视频的机构Sensity调查,在2000多段深度伪造视频中,马斯克已经成为最常见的“发言人”,出现在近1/4的深度伪造诈骗视频中,其中针对加密货币的视频他的出现率更是达到90%。

Sensity联合创始人Francesco Cavalli认为,这可能是有史以来最大的深度伪造骗局。

02.

成本不超10美元

几分钟伪造大量视频

实际上,制作这类视频的成本并不高,只需要不到10美元,就能在几分钟时间内制作出大量伪造视频。

这些AI生成的视频并不完美。马斯克在一些视频中听起来像机器人,他的口型也并不总是保持一致。但这些视频已经能骗过相当多的人,而且技术还一直在不断改进。

Sensity调查显示,这类诈骗者主要来自亚洲、东欧国家,使用免费和廉价的工具将视频翻译成多种语言,不断将骗局传播到更大范围。

其中一种常见的套路是宣传虚假的AI软件。诈骗者通过让“发言人”声称这些软件可以产生惊人的投资回报,鼓励目标首先交一小笔钱——一般是250美元左右,然后通过声称初始投资的价值正在增加等方式,慢慢引诱他们投资更多。

例如在下面这段来自特斯拉股东大会的视频中,马斯克“展示”了一款由AI驱动的自动交易产品,该产品每天可以使特定投资翻倍,“只需投资4500兰特,您就能获得每天8000兰特的稳定利润”。(注:兰特是南非的货币单位)

这些AI诈骗者通常瞄准年龄较大的互联网用户,他们可能熟悉加密货币、AI等话题,以及马斯克、巴菲特这些人,但不熟悉安全的投资方式。

“老年人是一个非常有钱且容易上当的群体。”加州大学戴维斯分校科技研究教授、加密货币市场专家Finn Brunton说,“即使没有社交媒体平台,老年人也一直是诈骗的目标。”

而之所以瞄准马斯克,则是因为马斯克拥有独特的全球“粉丝”群体。研究加密货币社区的专家称,这些人通常由保守派、反建制派和加密货币爱好者组成,他们经常被新奇的赚钱途径所吸引——这使他们成为骗局的完美目标。

加密货币社区研究员Molly White称,这群人总是认为,财富的秘密对他们是隐藏的,而一旦他们“发现”了这一秘密,他们就会认为这是其所需的一切。

开头提到的退休人员Beauchamp,在75岁之前是一家加拿大公司的销售代表。他在去年刚开始使用Facebook,随后看到了一则马斯克在CNN上接受采访的广告。

虽然他坚称自己在CNN官方上也看过这段视频,但据CNN发言人称,马斯克已经很多年没接受过他们的采访了。

根据Beauchamp先生与视频中提到的公司之间的电子邮件来往记录,去年12月,他向这家名为Magna-FX的公司汇款27216美元。

Magna-FX让他的投资看起来似乎在增值,甚至让一名销售代理使用软件远程控制了Beauchamp的电脑,假装转移资金用来投资。

为了提取增值的资金,Beauchamp被告知要支付3500美元的管理费和3500美元佣金。他把钱汇出去后,又被告知还需要支付2万美元,才能提取其中大约20万美元。他再次支付了这笔钱。

最后,Beauchamp用完了退休储蓄,刷爆了信用卡,动用了信用额度,还从姐姐那里借钱来投资和支付费用。但骗子仍一再要求他支付更多笔费用。Beauchamp这才联系了警方。

遗憾的是,这个案件尚未取得任何进展。

03.

平台监管面临挑战

删视频治标不治本

虚假广告之所以盛行,和平台的监管疏忽也脱不开关系。

一些被伪造视频的人拿起了法律武器。澳大利亚亿万富翁Andrew Forrest对Facebook的母公司Meta提起民事诉讼,指控其在广告业务运营方面存在疏忽。他的深度伪造视频被用在了Facebook广告投放中,他认为这将引诱“无辜用户进行不良投资”。

Meta回应道,公司正在训练自动检测系统,以捕捉其平台上的欺诈行为,但同时也称这是一场“猫捉老鼠”的游戏,诈骗者会不断改变策略以逃避检测。

YouTube也在采取一些措施来对应深度伪造视频。今年3月,YouTube更新了政策,要求创作者披露他们是否使用了AI进行创作,并禁止欺诈和篡改视频。

YouTube在一份声明中提到,今年1-3月期间,公司删除了超过1570万个频道和超过820万个违反内容政策的视频。但只是删除视频仍是指标不治本的行为,平台需要重新审视自己的审核制度,从根源处解决问题。

04.

结语:深度伪造视频污染互联网

数字诈骗的历史,就像互联网一样悠久。但随着AI技术越来越成熟、AI工具的使用成本越来越低,利用该技术进行诈骗的时间和金钱成本也大幅压缩。以马斯克等名人为主角的新一波深度伪造视频正在污染互联网。

随着技术的不断发展,深度伪造技术或许会变得更加难以分辨,这对平台、监管机构、法律都提出新的要求。

    本文为澎湃号作者或机构在澎湃新闻上传并发布,仅代表该作者或机构观点,不代表澎湃新闻的观点或立场,澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问http://renzheng.thepaper.cn。

    +1
    收藏
    我要举报
            查看更多

            扫码下载澎湃新闻客户端

            沪ICP备14003370号

            沪公网安备31010602000299号

            互联网新闻信息服务许可证:31120170006

            增值电信业务经营许可证:沪B2-2017116

            © 2014-2024 上海东方报业有限公司

            反馈