当AI开始谋财害命:从骗钱到卖假药,人类该如何防范?

article/2025/5/5 8:04:22

不是,现在AI造假都这么离谱了嘛?

前几天央视曝光了“苗古金贴”骗局,这款产品宣传的名头可不小,号称由传承“千年秘方”的非遗传承人制作,而且还有模有样晒出了“非遗传承人”证书跟“非遗传承人”照片,这下子销量猛涨,登上了电商畅销榜,总销量几十万,当真是恐怖。

图片来源:央视新闻

结果媒体深挖下去,传承人的照片实际上是AI生成的,脸部表情僵硬、手掌有六指、光线美颜到离谱、一眼假。

而所谓的“非遗传承人”证书乃是机构非法制作,花两三千块钱就能够买到;“苗古金贴”则是由第三方代工厂贴牌生产,成本不到10块钱。“千年秘方”、“专治颈椎问题”只不过是借助AI来割韭菜的骗局。

图片来源:央视新闻

AI生成的人物、伪造的品牌证书、贴牌生产的产品,整个事件就魔幻起来了。最后有关部门介入,对相关企业和涉案人立案调查,这波卖假药的就等着法律的审判吧。

图片来源:央视新闻

这件事也让小雷想起以前电视上那位“做出违背祖宗决定”的“神医”,同样是各种光环加身,家族传承得到的药方,也是公然兜售假药。

只不过以前的“神医”是出现在电视,还是真人,现在的“神医”是出现再互联网,还是AI生成的,真“查无此人”。

但电视上的“神医”起码起码还有真人出镜扮演“神医”,这点“情绪价值”多多少少增加点可信度。

图片来源:

哪像“苗古金贴”这么离谱,直接AI生成人物图片就出来骗,偏偏还有这么多人上当,整个事件都让小雷觉得不可思议却又真实发生了,只能说世界就是个草台班子。

“失控”的AI技术

今年是AI技术蓬勃发展的年份,AI生成图片、AI生成视频、AI生成代码这样的功能也都被AI企业开发出来了,可以说现阶段的AI技术已经进入了一个新阶段,

此前央视315晚会就曝光了AI诈骗的违法行为,目前比较常见的主要有AI声音合成AI换脸两种,而且随着AI技术的不断进步,成本越来越低,只需花费几十元,就可定制AI深度合成名人音频视频。

图片来源:央视财经

而且围绕AI技术还形成了外呼产业链,外呼公司使用人工智能机器人拨打营销电话,机器人不知疲倦,不管白天黑夜都可以拨打营销电话;而且外呼公司事先用真人录音进行AI克隆复制成机器人的声音,这样一来使得接听者根本难以分辨电话那头的究竟是人,还是机器人。

小雷就曾接到这样的外呼AI电话,两三分钟里确实很难听出来是真人还是AI,后面是发现对面没有换气声,所以才判断出来是AI,但足以迷惑他人了。

此外据新京报报道,现今围绕AI技术也形成了一条完整的黑色产业链:上游技术负责兜售“AI换脸套餐”,中游则利用非法获取的个人信息来投放诈骗信息,下游则通过虚拟货币、跑分平台等渠道转移资金。技术、数据、资金”三位一体“,织了一张AI诈骗的大网,让许多用户深陷其中。

这两年利用AI技术冒充名人实施不法行为事件时有发生,张文宏、靳东、雷军等名人都深受其害:骗子用“AI靳东”实施诈骗,许多女性消费者上当;张文宏医生“带货”冲上热搜,但这是AI换脸之后的“张文宏”,稍微懂点AI的小伙伴一眼就能看出来是假的,可还是有不少老年人上当,在“AI张文宏”处买了产品。

此事也让张文宏医生无奈,他也曾向媒体透露自己投诉无门,不胜其扰。

图片来源:央视新闻

雷军的遭遇更离谱,2024年国庆节期间“雷军语音包”引热议,许多以“雷军”声音为配音的内容在社交平台迅速传播,“锐评”假期堵车、游戏等话题,这其中也出现了不少污言秽语。以至于出现了”国庆7天,被AI雷军骂了8天”的调侃。

雷军本人还专门为此发了个视频,呼吁大家不要再用自己的声音恶搞。

靳东、雷军等名人的遭遇也让我们看到了AI技术滥用的后果,以前讲究耳听为实、眼见为实,但在互联网AI时代,耳朵听到的有可能是假的,眼睛看到的也不一定是真实的。

并且利用AI技术围猎的不仅仅是老年人,即便是年轻人也会掉进坑中。据东南早报报道,福建一公司老板郭某接到了“好友”的视频通话,对方向郭某借钱,不到十分钟的时间里郭某就被骗走430万元,事后才发现电话那头是好友的“数字替身”——脸是直接AI换的,声音也是用AI拟声技术合成的。问题是受害者对此一点警觉都没有,这就有点可怕了。

难怪有人会担心,以前还可以通过观察眼睛、头发、手指等来辨别是否是AI生成,现在这些伎俩都不太好使了。若是AI再发现下去,怕是真可以达到以假乱真的效果。

给AI技术戴上“紧箍咒”

小雷很喜欢一句话,技术本无善恶之分,有善恶之分的是使用技术的人,这句话就是对AI最好、最准确的描述。AI用得好可以帮助人类提高效率、更好地处理复杂繁多的事务;而当AI技术被用于误导消费者、实施不法行为之时,平台与监管者就成为帮凶。

像前面提到的“苗古金贴”骗局,靠着AI生成的图片就可以堂而皇之出来卖假货,这其中暴露的正是电商平台审核制度的缺陷。像电商畅销榜等榜单,平台是否有审核过登上榜单的相关店铺的资质?是否有对店铺投放的广告进行排查?如果平台不重视起来,加强对内容的审核,像“苗古金贴”这种AI生成的假人都能过审的离谱事件,以后只怕会越来越多。

图片来源:中国质量报

想要斩断“苗古金贴”、“AI雷军”等AI技术“恶之花”,还需要监管部门的介入,尽快制订AI技术行业的统一规范,明确AI生成技术、数字人使用的使用范围和条件,让技术能更好地为人类服务。

而对于消费者来说,要懂得保护自己的个人信息,像面部识别、指纹等个人生物信息,能不录就不录;身份证号码、银行卡号、手机验证码等敏感信息也不要随意泄露给他人,免得悔之晚矣。

此外在涉及到资金、关键信息等方面的沟通,还是要留个心眼,通过多种方式来核实对方的真实身份。

毕竟这年头大家赚钱都不容易,要是被AI技术骗走了,那可真是得不偿失了。

总结

还记得几年前AI技术刚飞速发展的时候,有不少人视AI技术如洪水猛兽,觉得应该将AI扼杀在摇篮里。

小雷看来这种想法还是有失偏颇的,新事物的诞生往往都要经历一番曲折的发展,才能够逐渐为世人所接受。

AI也是如此,人类要做的就是引导AI健康发展,让AI真正为我们所用。而不是在技术泛滥的时代里,还要用AI给人类添堵。

像AI换脸诈骗、AI图片谋取不当收益等行为肯定是要制止的,除了严厉打击之外,还需要一套全面、完整的行业标准,将AI技术关进笼子里,才能让AI更好为人类服务。

    本文为澎湃号作者或机构在上传并发布,仅代表该作者或机构观点,不代表的观点或立场,仅提供信息发布平台。申请澎湃号请用电脑访问http://renzheng.thepaper.cn。


    http://news.xdnf.cn/yRNMuPymIZ

    相关文章

    上海成五一国内最热门的入境游目的地,国际消费明显提升

    今年“五一”假期,携程平台入境游订单同比增加173%,而上海则是国内最热门的入境游目的地。与此同时,上海国际消费数据也明显提升。5月3日,美国游客安迪在打卡陆家嘴、豫园、外滩等上海标志性景点后,特地要求导游带他去南京路步行街。此前,他在豫园已经购买了筷子、扇子等…

    农村青年寻路纪|劳动者的书信⑤

    【编者按】历史的魅力,也许也藏匿于一摞摞尘封书信的褶皱之中。上世纪八九十年代,双手和土地的联系逐渐松动,人们扔掉锄头、走出村落,跨进流动的世界。复旦大学社会发展与公共政策学院教授张乐天收集整理了大量劳动者的书信,它们来自乡镇工厂、民营企业、少女心房,也来自…

    一周观展|上海浦东美术馆透纳展还剩最后5天

    五一小长假即将结束,一系列重磅展览仍在持续,但也一些特展迎来闭幕倒计时,如浦东美术馆特展“对话透纳:崇高的回响”还有五天即将落幕。在上海,黄浦江两岸隔江同展“贝聿铭:人生如建筑”(上海当代艺术博物馆)与上海浦东美术馆“陈逸飞回顾展”,成为城中热事;在杭州,…

    中小企业数字化转型的破局之道何在?

    在全球经济迈向数字化的浪潮中,中小企业既迎来了前所未有的发展机遇,也面临着严峻挑战。数字技术可以显著提升企业效率、优化资源配置、拓展市场空间,但实施过程中的复杂性、高昂成本与人才短缺,却让许多中小企业望而却步。如何破解中小企业数字化转型的重重困局,正成为政…

    AI世界的年轻人|横跨教育与产业,他说攻克前沿问题是研究者的使命

    【编者按】“青年之于社会,犹新鲜活泼细胞之在人身。”百余年前,《新青年》以纸笔为新世界呐喊。今时今日,新青年以算法为笔,算力为墨,在划时代的人工智能新世界作答未来。4月29日,习近平总书记在上海考察,他来到位于徐汇区的“模速空间”大模型创新生态社区调研,并鼓励…

    人民日报今日谈:坚决克服麻痹思想,狠抓工作落实

    5月4日,贵州毕节市黔西市一景区发生游船倾覆事故。习近平总书记高度重视并作出重要指示:“要千方百计搜救落水人员,全力救治伤员”“坚决克服麻痹思想”“强化安全措施,狠抓工作落实,坚决遏制重特大安全事故多发势头”。安全问题,任何时候都不能疏忽。事故的发生,往往跟…

    特朗普关税风暴中的“稳”与“变”:新加坡国会选举观察

    当地时间2025年5月3日,新加坡总理、人民行动党秘书长黄循财(右二)在竞选集会上感谢支持者和选民。 视觉中国 图5月3日,新加坡举行第14届国会选举,来自11个政党的204名候选人和两名无党籍人士争夺32个选区的92个席位(另有5席为人民行动党无对手当选),这也是1963年以来候…

    中国驻美大使谢锋:经贸关系不是零和游戏,滥施关税损人害己

    2025年5月3日,中国驻美国大使馆举办开放日暨甘肃省推介活动,谢锋大使出席并致辞。谢锋指出,人类社会发展的历史告诉我们,开放带来进步,封闭必然落后。经济全球化已从涓涓细流汇聚成滚滚浪潮,各国优势互补是生产力发展的客观要求,经贸关系不是零和游戏,贸易壁垒如同抽刀…

    蓝佛安主持东盟与中日韩财长和央行行长系列会议并举行多场双边会见

    2025年5月4日,第28届东盟与中日韩(10+3)财长和央行行长会议在意大利米兰举行。会议主要讨论了全球和区域宏观经济形势、10+3区域财金合作等议题,并发表了联合声明。财政部部长蓝佛安出席并作为联合主席主持会议部分议题,副部长廖岷陪同参会。蓝佛安表示,当前世界经济格局…

    黎巴嫩9年来首次举行地方选举

    黎巴嫩地方选举当地时间5月4日在黎巴嫩山省启动,这是该国自2016年以来首次举行地方选举。根据安排,本次选举将分4个阶段在不同地区进行,黎巴嫩山省4日举行投票,黎巴嫩北部省份11日举行投票,贝鲁特省、贝卡省和巴尔贝克-希尔米勒省18日举行投票,黎巴嫩南部省份24日举行投…

    伊朗公布新型弹道导弹,“萨德”系统无法拦截

    当地时间5月4日晚,伊朗国防部公布一款新型弹道导弹,该导弹名为“卡西姆巴西尔”,射程为1200千米,可以抵御电子战系统,并能突破反弹道导弹系统。该导弹的最后一次作战测试在4月17日成功进行。伊朗国防部长指出,“萨德”系统无法拦截伊朗的该新型导弹,并表示如果伊朗遭到攻…

    热点问答丨新加坡人民行动党缘何再赢议会选举

    5月4日,新加坡现任总理黄循财(右二)在新加坡向人民行动党支持者致谢。新华社发(邓智炜 摄)新加坡议会选举于5月3日举行,执政的人民行动党再次以显著优势赢得多数议席。这是现任总理黄循财自2024年接棒以来首次领导执政党赢得全国大选。缘何再次胜选据新加坡选举局4日公布…

    国际观察丨澳大利亚新一届政府面临系列挑战

    澳大利亚总理阿尔巴尼斯5月3日率领执政党工党以“压倒性”优势赢得2025年联邦选举,将以多数党身份组建政府。阿尔巴尼斯也将成为澳大利亚过去21年来首位连任总理。分析人士指出,工党能在与反对党联盟党的对决中胜出,主要得益于推出的经济、民生等政策获得选民认可,同时也关…

    伊朗港口爆炸事故遇难人数最终确定为57人

    当地时间5月4日,伊朗霍尔木兹甘省首席法官宣布,此前在该省沙希德拉贾伊港口爆炸事件中公布的遇难者人数为70人,但经询问亲属及根据化验结果,确定爆炸事件的遇难人数共计57人,其中已确认身份的遇难者为46人。当地时间4月26日,位于伊朗南部霍尔木兹甘省沙希德拉贾伊港口发生…

    贵州游船侧翻248名消防员已在搜救

    2025年5月4日下午,贵州省黔西市新仁苗族乡六冲河东风库区附近发生载人游船侧翻事故,贵州省消防救援总队已调派8个支队,共84车,248人(其中潜水员83人),16台水下机器人,24艘舟艇赶赴现场进行救援。责任编辑:张珺图片编辑:蒋立冬澎湃新闻报料:021-962866澎湃新闻,未经…

    魔都眼|上海环球马术冠军赛收官,英国骑手夺冠

    奔跑、起跳、跨越……时隔一年,“上海之跃”如约而至。5月2日至4日,2025上海浪琴环球马术冠军赛再次在久事国际马术中心拉开帷幕,为观众带来“跃上海,越精彩”的优雅体验。这不仅是一场体育盛宴,更是一场文旅消费的狂欢。2025年5月4日,上海久事国际马术中心,冠军英国选手…

    岳伟华任北京大学第六医院院长,陆林院士卸任

    据北京大学第六医院微信公众号5月4日消息,2025年4月30日下午,北京大学第六医院召开新一届行政班子任命宣布会。会上宣布任命医院新一届行政领导班子人选,任命岳伟华为北京大学第六医院(精神卫生研究所)院长(所长),司天梅、董问天、石川为副院长(副所长),李秀华为总会…

    申活观察|演出场次破纪录、入境游导游档期忙,上海文旅商“热力”拉满

    一场沉浸式演出单日演出场次破纪录,百年商业地标精准链接年轻消费圈层,入境团队导游预约已排至6月下旬……这个“五一”假期,你有没有出门感受“人人人”模式?5月4日,澎湃新闻记者多方采访发现,小长假的上海,文旅商“热力值”拉满。这个假期,百年商业地标上海悦荟广场迎…

    解锁川北底色密码,“文化三地”志愿宣讲员招募计划启动报名

    “建筑可阅读,街区能漫步,文化有温度”。行走在上海市虹口区四川北路街头,鲁迅存书室墨香犹在,石库门低语着民国往事,今潮8弄为老街区注入现代活力……这里是海派文化的“基因库”,红色历史的“活教材”,更是当代青年的“文化秀场”。作为虹口区“文化三地”的重要承载区…

    深入景区、文化街区及消费一线,多地省委书记调研文旅市场

    五一假期,多地省委书记深入景区、文化街区及消费一线,实地调研文旅市场消费情况。据新湖南客户端消息,5月4日,湖南省委书记沈晓明在长沙调研新消费,强调要深入学习贯彻习近平总书记关于促进消费的重要论述以及关于湖南工作的重要讲话和指示批示精神,打造具有特色的消费新…