新华社关注AI造假:“一本正经胡说八道”,AI幻觉为何会发生

article/2025/9/24 13:30:19

当前,AI正赋能千行百业,为人们的工作、学习、生活带来极大便利。与此同时,不少人发现,用AI搜索数据,给出的内容查无实据;用AI辅助诊疗,出现误判干扰正常治疗……AI频频上演“一本正经胡说八道”。社交平台上,AI幻觉引发热议。

AI好用但不时像是“中邪”了

用AI检索海量信息、让AI辅助查看三维病灶、打造AI互动课堂……如今,AI已深度融入现代生活,“人工智能+”产品赋能各行各业,从多个维度提供便利。

作为AI深度使用者,“95后”女生瑞希坦言,AI好用,但不时像“中邪”了一样胡说八道。“我让AI推荐10本高分小说,结果一多半都是它编的。反复确认后,它承认虚构了答案。”

现实生活中,不少人遇到相似情况。业内人士表示,这是由于AI幻觉导致。“AI可以快速给出答案,但生成内容可能与可验证事实不符,即凭空捏造;或生成内容与上下文缺乏关联,即‘答非所问’。”一名主流人工智能厂商技术人员说。

记者使用一款AI软件,让其给出某行业未来市场规模及信源,AI迅速回答称某投资机构预测2028年该行业的市场规模将达到5万亿美元,并提供相关链接,但链接页面找不到上述信息。记者看到,页面内容虽然包含该投资机构名称和5万亿美元表述,但预测数据并非该机构作出,且不存在2028年时间节点。

社交平台上,AI幻觉相关话题浏览量达数百万,网友吐槽涉及金融、法律、医疗、学术等多个领域。

第三方咨询公司麦可思研究院近期发布的2025年高校师生AI应用及素养研究显示,四千余名受访高校师生中,近八成遇到过AI幻觉。今年2月,清华大学新媒沈阳团队发布的报告指出,市场上多个热门大模型在事实性幻觉评测中幻觉率超过19%。

AI幻觉已经影响了人们的生活与工作。

近期,一名国外男子被诊断出溴中毒。他此前询问AI,过量食用食盐不利于身体健康,有无食盐替代品,AI回答称可以用溴化钠代替。但溴化钠存在一定毒性,需要严格遵医嘱服用。该男子用溴化钠代替食盐三个月后出现精神错乱等症状。

这几年,美国多起案件中的律师因在法律文件中使用AI生成的虚假信息,被法院警告或处分。

AI幻觉为什么会发生?

受访专家认为,AI幻觉的背后存在多重因素。

——数据污染。AI“养成”过程中,数据“投喂”是关键环节。研究显示,当训练数据中仅有0.01%的虚假文本时,模型输出的有害内容会增加11.2%;即使是0.001%的虚假文本,其有害输出也会相应上升7.2%。

奇安信集团行业安全研究中心主任裴智勇解释说,人工智能大模型需要海量数据,训练数据来自开源网络,难免会错误学习一些虚假、谬误数据,还有一些不法分子会恶意进行“数据投毒”。

“如果把AI比作一个学生,数据污染就像是给学生看了错误的教科书,自然会导致‘胡说八道’。”暨南大学网络空间安全学院教授翁健说。

——AI本身“认知边界模糊”。翁健认为,人类智能的一个重要特征是“元认知”能力——知道自己懂什么、不懂什么,而当前AI技术架构缺乏这种自我认知机制。

翁健解释称,AI可以博览群书,但并不一定理解书里的内容,只是根据统计规律把最有可能的词语组合在一起,在准确评估自身输出的可信度方面尚存盲点。

——人为调校和干预。在中国通信学会数据安全专业委员会副主任委员左晓栋看来,相较于事实真相,AI更在意自己的回答是否契合用户需求,从而导致AI有时为了“讨好”用户而编造答案。

“针对不同需求,AI的训练、打分方式也不同。”一位从事大模型训练的技术人员说,当面对写作等创意性需求时,偏理性的事实严谨在打分系统中占比相对较低,偏感性的词语优美、富有感情色彩等占比更高。“所以可能会出现一篇辞藻华丽但词不达意的文章,里面内容甚至与事实相悖。”

多方合力减少AI幻觉

第55次《中国互联网络发展状况统计报告》显示,截至去年12月,有2.49亿人使用过生成式人工智能产品,占整体人口的17.7%。受访专家表示,应通过多方合力应对AI幻觉带来的风险挑战。

今年4月,中央网信办印发通知,在全国范围内部署开展“清朗·整治AI技术滥用”专项行动,训练语料管理不严、未落实内容标识要求、利用AI制作发布谣言等均为整治重点。

“可靠、可信、高质量的数据对降低AI幻觉非常重要,应优化人工智能的训练语料,用‘好数据’生成‘优质内容’。”左晓栋认为,可以加快推动线下数据电子化,增加“投喂”的数据量;同时探索建立具有权威性的公共数据共享平台,“各大厂商也应加强优质数据筛选,提升训练准确性”。

多家主流人工智能厂商已经采取措施,从技术层面减少AI幻觉发生。

豆包升级深度思考功能,由先搜后想变为边想边搜,思考过程中可以基于推理多次调用工具、搜索信息,回复质量明显提升;通义千问在20多个通用任务上应用强化学习,增强通用能力的同时纠正不良行为;元宝持续扩充引入各领域的权威信源,在回答时交叉校验相关信息,提高生成内容的可靠性。

翁健建议,建立国家级人工智能安全评测平台,就像生物医药新药上市前要做临床试验一样,大模型也应该经过严格测试;同时,相关平台加强AI生成内容审核,提升检测鉴伪能力。

“AI可能‘欺骗’用户,公众应客观认识人工智能的局限性。”左晓栋等专家提示,可以通过改进使用方式,如给出更加明确的提示词、限定范围等避免AI幻觉。“无论是工作、学习还是生活,现阶段的人工智能还不能全面替代人类的认知和创造能力,大家在使用AI时要保持怀疑态度和批判思维,不过度依赖AI给出的回答,多渠道验证核查。”

    责任编辑:张珺
    图片编辑:金洁

    http://news.xdnf.cn/AccEFsbViK

    相关文章

    腾讯企鹅被风吹走?史上最强台风?最新回应

    近日,随着超强台风“桦加沙”逐渐逼近,谣言比风雨跑得更快。AI合成的图片,穿越去年的视频,史上最强台风的夸张标题……“史上最强台风”?夸张标题党9月22日,自媒体“空警世界”发微博称,“广东或遭遇人类最大的台风灾害”,其在微博中提到,“超强台风‘桦加沙’达到新的…

    第1现场|风王“桦加沙”来袭,港澳挂“十号风球”

    超强台风“桦加沙”正逼近珠江口,港澳两地悬挂最高级别风球,华南沿海严阵以待。目前中心附近最大风力16级,以每小时20公里速度向西偏北移动。预计今日在香港南面100公里左右掠过,并于今日在广东珠海到湛江一带沿海登陆,可能成为今年登陆我国的最强台风,同时也将是影响最严…

    第1现场|“风王”桦加沙来袭,港澳挂“十号风球”

    超强台风“桦加沙”正逼近珠江口,港澳两地悬挂最高级别风球,华南沿海严阵以待。目前中心附近最大风力16级,以每小时20公里速度向西偏北移动。预计今日在香港南面100公里左右掠过,并于今日在广东珠海到湛江一带沿海登陆,可能成为今年登陆我国的最强台风,同时也将是影响最严…

    武汉盘龙城遗址博物院特展160件文物,讲述长江文脉

    奔腾不息的长江水,孕育了源远流长、博大精深的长江文明。历经时光沉淀,玉器、漆器、青铜器、金银器、陶瓷器等无数文化瑰宝璀璨夺目,既是长江文明发展历程的生动见证,也共同勾勒出中华文明多元一体的壮阔图景。澎湃新闻获悉,9月23日,大型特展“江流万古——长江流域古代文…

    武汉盘龙城遗址博物院开放,160件文物特展讲述长江文脉

    奔腾不息的长江水,孕育了源远流长、博大精深的长江文明。历经时光沉淀,玉器、漆器、青铜器、金银器、陶瓷器等无数文化瑰宝璀璨夺目,既是长江文明发展历程的生动见证,也共同勾勒出中华文明多元一体的壮阔图景。澎湃新闻获悉,9月23日,大型特展“江流万古——长江流域古代文…

    工博会观察:上海智能工厂赋能制造业跃迁

    在全球工业智能化与数字化转型的浪潮中,智能工厂作为制造业高质量发展的核心载体,正以颠覆性速度重塑全球生产力格局与生产组织形态。中国如何通过智能工厂建设,推动"中国制造"向"中国智造"跃迁?第二十五届中国国际工业博览会正成为这一命题的重要注脚…

    失败者们去散步

    一切都是从罗伯特瓦尔泽开始的。他死于一次散步。“一天上午,天高气爽,我说不上来确切是几点钟,因为我散步的热情空前高涨。于是,我戴上礼帽,离开那神圣的写字台和我的精神世界,从楼上逐级而下,来到大街上。”散步成了瓦尔泽写作甚至其本人的意象,从柏林回到比尔,又溜…

    吉林银行信贷管理部总经理李研履新白山市副市长

    据微信公众号“吉林发布”消息,9月23日,“诗情秋意 遇见白山”2025白山市“十一”黄金周文旅活动新闻发布会举行,白山市政府副市长李研出席并介绍相关工作情况。上述信息显示,此前在吉林银行任职的李研,现已履新白山市副市长。李研,男,汉族,1982年10月生,在职研究生学…

    用演唱会的形式打开音乐剧,一夜听完经典金曲

    由百老汇与法语乐剧原版卡司联袂出演的星耀音乐剧明星演唱会Radiant Star Gala,继9月5日在广州首演后已走过深圳、佛山、珠海、上海等多座城市。9月23日至9月25日,星耀音乐剧明星演唱会来到北京,在北京世纪剧院演出3场。星耀音乐剧明星演唱会Radiant Star Gala这一演唱会汇聚…

    千万关庙的根之所系:探秘运城关公故里

    9月23日,第36届关公文化旅游节将在山西省运城市开幕,向全世界展示古老河东厚重的文化底蕴。借此机会,澎湃新闻(www.thepaper.cn)探访了此次活动的重要举办地——运城关公故里文化旅游景区。这里是全球千万关庙的“根”之所在,为擦亮关公文化的金字招牌,近些年,这里在保…

    言短意长|“三班班长”投票究竟是何事,腾讯应尽快说明

    9月24日一早,一则有关“三班班长”投票的传闻传遍整个舆论场尤其是微信生态。网络投票截图。与相关网络投票截图一起传播的,还有一张所谓“给予李姓同学校内处分”的微信群聊截图与这则“三班班长”投票传闻本身“携手”传播。网传所谓“给予李姓同学校内处分”的群聊截图。令…

    特朗普态度又变:称乌克兰边界有望“恢复原状”,支持北约盟国击落俄战机

    据新华社报道,美国总统特朗普9月23日称,他现在认为乌克兰在欧盟和北约支持下,有望“赢回全部乌克兰,恢复原状”。当天,特朗普还在讲话中将俄罗斯称为“纸老虎”,同时表示支持欧洲国家在俄罗斯战机侵犯北约领空时将其击落。特朗普的此番言论再次逆转了他先前就结束俄乌冲突…

    马上评|质疑救人者“发视频”完全没必要

    “我现在在14楼,哪个看到微信帮我找个人来救一下”……9月16日,湖南娄底冷水江某小区惊险一幕上演:家住14楼的吴女士,正在准备晚饭时,突然听到阳台异响,推开窗一看,竟见一名女童悬在窗外。原来一名4岁女童不慎从20楼坠落,所幸落在13楼雨棚上。吴女士毫不犹豫伸手紧紧拉…

    阿里盘中涨超6%!吴泳铭:积极推进3800亿元AI基础建设,计划追加更大投入

    阿里巴巴CEO吴泳铭。 资料图阿里将在此前宣布的云和AI(人工智能)硬件投资基础上增加更多投入。9月24日,阿里巴巴集团CEO、阿里云智能集团董事长兼CEO吴泳铭在云栖大会上表示,资本支出方面,阿里正在积极推进今年2月宣布的3800亿元AI基础设施的建设,并计划在此基础上追加更…

    2025南昌飞行大会下月举行,空军“天之翼”和俄“勇士”飞行表演队将参加

    2025南昌飞行大会暨航空产业博览会将于10月31日~11月2日在江西南昌举行。2025南昌飞行大会暨航空产业博览会新闻发布会现场。实习生 黄嘉欣 摄据了解,本届南昌飞行大会暨航空产业博览会,为期三天,共安排了开幕式、动态飞行展示、民用航空展、航空航天科普展及产业对接等五大…

    从“云”端到太空:云栖“二次飞天”记

    9月24日,杭州西湖区云栖小镇再度被全球目光聚焦——又一年云栖大会如期启幕。来自50多个国家的科技嘉宾将齐聚于此,展开110余场聚合话题;总面积4万平方米的展区,500余家企业带来3500款展品参展;数万名参会者,将蜂拥而至。这是澎湃新闻(www.thepaper.cn)记者第12年采访云…

    《731:医学的沦陷》:来自历史的真相和个体的血泪证言

    “1932年2月5日,农历辛未年的最后一天——除夕,对哈尔滨人来说,注定是一个永远不能忘记的日子。这一天本应是团圆的日子,彼此祝福的家人一起吃年夜饭,在噼里啪啦的鞭炮声中辞别旧岁。每家门柱上都张贴着象征祝福的春联,门面上粘贴尉迟恭和秦琼画像,他们被称为‘门神’,…

    有一种字体叫“上海摩登体”,全套字体均可下载应用

    9月23日,中国首款以城市文化为源流的中西文字体——“上海摩登体”(Shanghai Modeng)正式发布。全套字体库向社会开源共享,公众可登录官方网站(www.shanghaimodeng.com)进行下载应用。澎湃新闻获悉,基于“上海摩登体”的艺术海报展览也于当天在上海“外滩源壹号”开幕,…

    长假前调研旅游工作:多处出行目的地主官聚焦“场景消费”

    旅游消费集中释放的国庆、中秋双节将至,全国多个出游目的地的主要领导连日来调研长假文旅工作准备情况,要求面对加速转型的市场,进一步丰富特色内涵和消费场景,打造高品质文旅消费承载地。9月23日,湖北省委常委、武汉市委书记郭元强到东湖风景区调研文旅融合发展工作并召开…

    行以致远|上海长宁:如何让企业“走出去”、把人“留下来”?

    2025年是“十四五”规划收官之年,9月23日,上海“十四五”规划成果系列主题新闻发布会第五场举行,围绕“迈向具有世界影响力的国际精品城区”主题,长宁区介绍了“十四五”期间在经济发展、城市建设、民生保障等多个领域的发展成果。2024年,长宁地区生产总值达到2789亿元,是…