刚上手AI,职场人就踩了幻觉的坑

article/2025/6/2 20:40:37

作者:高见

文:坤舆商业观察

“这段数据你查过吗?”

“没有,是AI写的,看起来没问题。”

赶在交稿日期截止的编辑周子衡看来,那段话“逻辑通顺、语气专业、甚至连百分比都标得刚刚好”,结果却是凭空捏造;电商客服王萌的团队,因为AI生成了一段“模板式话术”,误发了不适用的退货规则,客户拿着截图投诉,平台只能赔钱认栽;职业讲师蔡倩第一次用AI起草课件,就在直播中被学员问住,才发现那组“情绪价值”数据,AI“编得像真的”;而一位产品经理更早意识到问题,他自己就做AI产品,但他制定了团队使用准则:AI生成的段落,不能直接决定任何事情。

这不是某种“AI作恶”的故事。这是一组关于AI幻觉的职场众生相。

豆包、文心一言、DeepSeek、元宝……这些国产AI工具,正在大规模进入职场内容流里。我们以为它们是工具,其实它们更像是一种“说得太像真的语气”,让每个使用者都可能在不经意间交出判断力。

在这场由幻觉构成的信任测试中,没有绝对安全的人。

有人把AI当思路发散,也有人开始给AI的每一句话贴标签;有人被它坑过一次,就再也不让它写结论;有人在全权托付之后,才意识到——AI不会替你背锅,幻觉也不会标红。

坤舆商业观察记录了几个用AI写东西的人。他们不是专家,不是极客,只是每一个普通工作日里,和你我一样,把“复制”“粘贴”“交稿”按下去的人。

他们遇见了AI,也开始重新理解什么叫“自己负责”。

01·“那段引用是AI编的,我都没检查”|新媒体编辑

周子衡是一家互联网科技内容平台的编辑。日常就是不停写稿、改稿、配图、校对,节奏快、压力大,最怕出错,也最怕拖稿。

一年前,他开始习惯性地用豆包帮自己“提速”。

有一次,他在赶一篇关于消费电子的行业稿,写到一半临时需要补一段“市场份额的变化趋势”。他输入指令,让AI帮他写一个关于“2024年中国智能手机市场结构变化”的分析段。

AI很快给出了一段数据看起来很清楚的内容——其中写道:“根据2024年第三季度某调研机构数据显示,某国产品牌以18.6%的市场份额排名第一,同比上升3.2个百分点。”

这段话看起来毫无问题。数据精确、语气专业、语法顺滑,还有“同比上升”这样的细节增强说服力。他没再多想,直接复制进了文稿里。

直到第二天主编审稿时,只留下一句评论:“这个数据谁查的?报告名是什么?”

周子衡当场愣住,开始翻找原始来源。结果在所有主流机构(Canalys、Counterpoint、IDC)官网上都找不到这组数字。报告标题也查无此文。

那段AI生成的内容——完全是编的。

“最可怕的不是它胡说,而是它说得像真的。”他回忆。

事后他用同样的提问重新试了一次,发现AI每次写的数据段都略有不同,报告名、数值、变化幅度没有一项一致。幻觉不是偶然,而是一种常态。

他告诉自己以后要“一定要验证”,但在很多时候,面对高强度稿件节奏、碎片化补写需求,他也承认,“有时候就真的没空管了”。

现在,他已经不再用AI生成带数据的段落了。结构、语言、框架还可以让AI辅助,但只要出现“报告”“数字”“来源”这些关键词,他都会直接跳过,“那种句子看起来是对的,但大部分的时候你查不到出处”。

他贴在工位上的一张便利贴上写着八个字:“AI写得快,出错更快”。

02·“AI说支持退货,客户让我们赔钱”|电商客服

王萌在一家电商平台做客服主管,管着一个十几人的小团队。去年,公司开始引入一套基于国产大模型的AI话术辅助系统,能自动生成售后场景中的标准回复,比如物流延误解释、退款规则说明、签收流程提示等。

起初,效果很不错。

在高峰期时,这套系统帮客服节省了近30%的打字时间。客服只需要输入问题关键词,就能快速调用一段模版化回复,再手动做个性化调整,效率高了不少。

直到春节前的一次售后争议。

一位客户申请退货,原本被驳回,因为商品属于“限时秒杀,售出不退”类目。但几分钟后,客户在平台发来一张截图,显示客服回复中明确写道:

“根据平台规则,您在签收后七天内享有无理由退货权利。”

这段话不是人工打的,而是AI生成并自动插入的。客服当时操作匆忙,直接发送了回复,没有修改。

问题是,该商品页面明确标注“不支持无理由退货”。

客户据此投诉平台“误导性承诺”,要求退款。最后公司决定对客户做一次性赔付处理,并在内部通报此事。王萌回溯聊天记录,确认这段话确实是系统生成的模版内容。

“它没有说错平台规则,但它不知道这个商品不适用。”王萌说。

那次之后,公司立刻调整AI功能权限,关闭“自动插入回复”选项,只保留“人工确认后发送”机制。她也重新做了一轮培训,要求坐席团队重新学习不同品类的售后条款。

“AI不是真的理解规则,它只是预测我们会怎么说。”她说,“但客服不能靠预测来应对例外。”

03·“我第一次用AI做课件,它就给我编了一个概念”|培训讲师

蔡倩是一名职业培训讲师,做的是偏职场技能类的课程,有时候是平台直播,有时候是企业内训。她讲得多的是“如何做品牌定位”“短视频营销路径”这类话题,节奏紧、信息量大,对内容更新也要求极高。

去年她第一次接触AI写作工具,是在备一场线上课时。

那节课要讲“品牌情绪价值”,她觉得AI可以帮她节省一部分找例子的时间。她让AI生成一个开场段落,希望它能提供一组“当代年轻人情感消费偏好”的数据,引入情绪价值的核心概念。

AI的反应几乎完美——几秒钟后,给她写出一段逻辑顺畅、语气严谨的段落,里面引用了一组“六成以上年轻人偏好具有情绪表达的品牌”类的比率,并提到这来自“最新调研”。

她读完没怀疑,语气“太像PPT了”,一段直接贴上第一页。

直播当天,她刚讲完开场部分,一个学员在评论区留言:“老师请问这份调研出自哪里?我们公司想参考一下。”

她下意识一愣,试着回忆出自哪里,结果想不起来。课后她查了多个公开数据平台,完全找不到类似数据,也找不到那组数字。她终于明白,那段“引用”,其实是AI凭空拼接的幻觉。

“它写得太像真的了。”她说,“我第一次用它,就中了招。”

从那之后,她就设了一条规矩:只让AI提供结构建议,不再接受它写出来的“事实”。凡是出现数字、百分比、时间节点的地方,她都要手动查证两次。

“它最大的问题是太能模仿‘专业话术’了,模仿得越像,我们越容易放弃判断。”她说,“但我在课堂上要对每一句话负责,它不用。”

04·“我是做AI的,但我从不让它拍板”|AI产品经理

高哲所在的公司,是一家做To B智能应用的AI创业团队。他负责产品设计,跟各种国产大模型打交道的时间,比起普通用户要早上两年。

他几乎每天都在用AI。

需求文档、竞品分析、PRD草稿、用户故事地图、市场调研报告……他给自己定了一套“效率模板”:用AI起草结构、快速归类观点、统一术语措辞,节省前60%的脑力负担。剩下40%,再自己修改和打磨。

“不是我信它,是我太熟它。”他说。

他对AI幻觉的警觉,来自一次“内部演示事故”。

那天他用文心一言写了一段关于行业发展趋势的说明,希望在会议上展示“AI在市场分析方面的辅助能力”。模型写得非常流畅,包含年份、增速百分比、行业预测甚至引述了看似具体的“研究内容”。

结果演示前10分钟,他临时决定复查一次,发现那段“预测”里引用的年份是错的,“下滑2.7%”的描述也找不到任何出处,整个段落拼得太顺了,顺到让人忽略了检查这一步。

“我那时就意识到,不是它写得不好,而是它写得太像真的了。”高哲说,“它会生成一种‘话术级的自信’,但你根本不知道它有没有在胡说。”

那次之后,他为自己团队建立了一套机制:

AI生成的内容,必须标注来源;凡是没有来源的部分,必须经过人工复核;涉及客户交付或关键判断的内容,不允许AI直接定稿,必须由两人以上确认。

他也在文档协作平台上设计了“AI片段提醒”功能:所有通过AI生成的段落,系统会自动添加“AI生成内容”高亮标签,便于团队协作时一眼看出哪些内容需要格外留神。

“AI不是写手,它是个脑暴助手。”他说,“你不能让它帮你决策,只能让它帮你发散。”

他有一个默认逻辑:AI只负责生成可能性,人负责筛选合理性。

现在他让团队里的年轻产品经理也尽量使用AI——不是因为相信它更准,而是让他们在工作中早一点意识到:“你终将要为AI的每一个建议负责。”

05·“AI为什么会编?因为它根本不懂真假”|幻觉原理解析

在语言模型的世界里,没有“真假”,只有“可能性”。

AI幻觉,这个术语听起来像是技术世界的诗意表达,本质却非常具体——它指的是大模型生成出语法正确、逻辑通顺、但与事实不符的内容。比如不存在的报告、编造的数据、拼接的结论。

它不是AI“出错”,而是AI完成任务的方式本身就不依赖事实。

大多数人以为AI像搜索引擎,会“查找”正确答案。实际上,它更像是一个“超级自信的语言预测器”——你给它一个开头,它根据庞大的语言训练数据来“猜测”下一个词最可能是什么,拼出一段“看起来合理”的话。

它的训练目标,从来不是“说实话”,而是“说得像人”。

正因如此,它写出来的段落往往句式顺畅、术语专业、逻辑通顺,甚至模仿得出“权威感”十足的引用方式。对用户而言,这些特征让人“降低了警惕”。

它不会撒谎,它只是编得太像真的了。

尤其在中文场景下,这种幻觉感更容易放大。

互联网产业时评人彭德宇对坤舆商业观察表示:一方面,中文表达具有高度的模糊性和结构弹性:一个概念可以不定义、一个数字可以不标注出处、一个观点可以没有主语。模型在生成内容时,更容易凭借“语言惯性”组织句子,而不自觉地跳过事实验证。另一方面,中文开源语料中充斥着大量不标注来源的二手信息、模板化文章、商业软文和平台内容,这些内容在AI训练时没有“事实权重”的区分——它会像人类学语言一样,把“说得像样”当成“就是对”。

这导致幻觉不是个别事件,而是一种结构性风险。

它最常出现在以下几种情形:

•引用内容时:编造机构名、白皮书、研究报告;

•列数据时:拼接不相干的数字,甚至自创比例;

•提及政策/法规时:使用过时信息或伪造条款;

•生成结论时:拼凑常见逻辑链条,但事实基础不存在;

而这些内容恰恰是很多职场人最依赖AI的地方。

科大讯飞董事长刘庆峰曾表示,生成式人工智能存在幻觉,特别是深度推理模型的逻辑自洽性提升,使得AI生成内容真假难辨。

360集团创始人周鸿祎也在两会期间对媒体表示,AI幻觉虽然有利于文学创作,但在AI安全方面,幻觉可能会带来严重问题,比如在医疗、法律、金融等专业领域,大模型一旦胡乱编造,就会带来严重后果。

坤舆商业观察也认为:“我们太容易把AI写出来的东西,当成有出处、可信赖的内容。其实,它只是比你更会写‘像是有出处’的句子而已。”幻觉是生成式AI写作不可避免的副产品。就像你教一个孩子说话,却没有告诉他什么是真假,他只会模仿大人说得像的方式去“复现世界”,但他并不理解这个世界。

06·“它不撒谎,但我们得学会设防”|平台与用户的应对机制

在AI幻觉面前,没有人能完全幸免。但越来越多的AI使用者,正在学会“设防”。

彭德宇认为:面对幻觉频发,并不只是用户在承担后果。越来越多的厂商也开始意识到:让AI“说得像”,并不等于“说得对”。没有厂商敢说“我们解决了幻觉”,但至少他们开始正视它——开始标注、拦截、约束,试图用一层层提示词、审核线、知识库,把这个问题包裹起来,不让它轻易流向公众。

“只是幻觉的根本问题,至今依然悬而未决。模型的底层逻辑仍在预测词语,而不是判断事实。AI依然不会主动告诉你:“这句话,我其实是编的。”但平台能做的毕竟有限。幻觉不是“个别错误”,它是AI生成机制的一部分。要彻底消除它,就像要求人类写作永不出错一样——不现实。”彭德宇说到。

正因为如此,越来越多的企业开始把“AI使用规则”纳入日常管理制度:

•内容平台要求员工在面对“AI辅助生成内容”时多次校对;

•品牌方在使用AI工具撰写合同时,建立“二次审核”机制;

•教育机构提醒讲师:“只用AI写句式,不用它写结论”;

这种变化背后的共识是:

AI的幻觉可控,但责任必须明确。

AI不会替你做决定,也不会为一段错误引用道歉。它的工作是生成,而判断仍属于人。

AI进入职场的速度太快,快到很多人还没来得及建立边界。而幻觉,恰恰提醒我们:任何新工具的使用,必须在理解它的局限之后,才真正有价值。

07·“真正的智能,是在幻觉里保留判断力”|结尾

AI幻觉不是一个技术瑕疵,它是我们必须一起面对的时代“共病”。

它不属于某一个人,也不属于某一个平台。它藏在无数段逻辑通顺、语气专业的内容背后,在我们懒得查证、来不及判断、急着交差的时刻里悄然落地。

你用它补文案,我用它改合同,他用它写脚本——AI就像空气,渗入每一道内容的缝隙。它让我们变快,也让我们可能变得太快,快到忘了验证、忽略出处、放弃怀疑。

坤舆商业观察采访的几位受访者中,没有一个人说“我以后再也不用AI”。

他们都还在用,甚至用得更多了。但他们变得小心了——有人只用它写结构,有人只让它提供措辞,有人干脆设置“标注标签”,提醒自己:这段话,不一定是真的。

这或许是我们真正进入AI时代的标志:不是AI取代了谁,而是每个使用它的人,都必须重新学习“判断”这件事本身。

技术没有是非,它只是倾向于“像人类”。但人类之所以不同,不在于会说话,而在于愿意停下来,去分辨一句话是否可信。

真正的智能,不是让AI替你思考,而是你知道它什么时候不该被信。

(根据要求,上述受访人均为化名)

    本文为澎湃号作者或机构在上传并发布,仅代表该作者或机构观点,不代表的观点或立场,仅提供信息发布平台。申请澎湃号请用电脑访问http://renzheng.thepaper.cn。


    http://news.xdnf.cn/axHMOXVjQf

    相关文章

    17部电影挤进端午档,阿汤哥大战“娃圈顶流”

    定焦One(dingjiaoone)原创特约作者 | 刘毓杭编辑 | 魏佳没有“超级大片”坐镇的五一档,最终没能扛起票房大旗,7.47亿的成绩较去年同期下滑了将近一半,这也让接下来的每个档期都承载着更多市场期待。在这种“逢节必争”的心态下,原本不怎么“出圈”的端午档,也变得异常拥…

    巴黎圣日耳曼5比0横扫国际米兰,首夺欧冠冠军

    当地时间5月31日晚,2024-2025赛季欧洲冠军联赛决赛在德国慕尼黑落幕。巴黎圣日耳曼以5比0横扫国际米兰,首次捧起欧冠奖杯,创造队史新篇章。这是巴黎圣日耳曼队史上第三次打入欧冠决赛,前两次均铩羽而归。这场胜利也意味着巴黎圣日耳曼队实现了赛季三冠王(法甲、法国杯、欧…

    四川阿坝州汶川县发生3.3级地震

    中国地震台网正式测定:06月01日05时29分在四川阿坝州汶川县(北纬30.93度,东经103.21度)发生3.3级地震,震源深度18千米。责任编辑:苏晨澎湃新闻报料:021-962866澎湃新闻,未经授权不得转载

    哈马斯回应加沙停火提案,以方称将此视为“实质拒绝”

    加沙地带(资料图)当地时间5月31日,巴勒斯坦伊斯兰抵抗运动(哈马斯)发表声明称,经过一轮磋商后,该组织当天已向斡旋方提交对美国中东问题特使威特科夫提出的加沙停火提案的正式回应。声明称,哈马斯旨在实现永久停火、以军全面撤出加沙,并确保向加沙民众提供援助的目标。…

    新闻周刊丨玩滑翔伞被“吸”至8000米高空,当事人亲述逃生细节

    视频中的不是哪部电影的片段,而是发生在高空的真实一幕。操纵无动力滑翔伞的飞行员名叫彭玉江,正被迫在海拔7000米左右的云层中飞行。55岁的彭玉江说他是在2020年开始对无动力滑翔伞产生兴趣的,三年后拿到了这项运动的B级证书,也就是从低到高五个等级中的第二等。这几年,痴…

    哈马斯寻求修改停火提案:美称“不可接受”,以称继续行动

    美国中东问题特使威特科夫(资料图)央视记者获悉,特朗普政府提出的一项旨在促成加沙停火的新一轮提案,遭到巴勒斯坦伊斯兰抵抗运动(哈马斯)的修改要求。对此,美国中东问题特使威特科夫当地时间5月31日公开表示,哈马斯的回应“完全不可接受”,并警告这将使和平进程“倒退…

    哈马斯寻求修改美方停火提议,美特使称“完全不可接受”

    美国中东问题特使威特科夫(资料图)央视记者获悉,特朗普政府提出的一项旨在促成加沙停火的新一轮提案,遭到巴勒斯坦伊斯兰抵抗运动(哈马斯)的修改要求。对此,美国中东问题特使威特科夫当地时间5月31日公开表示,哈马斯的回应“完全不可接受”,并警告这将使和平进程“倒退…

    缅甸国防军继续延长临时停火期限至6月30日

    当地时间5月31日,缅甸国防军总司令办公室发布声明表示,临时停火期限将继续从6月1日延长至6月30日。责任编辑:苏晨澎湃新闻报料:021-962866澎湃新闻,未经授权不得转载

    哈马斯:已对美方加沙停火提案作出正式回应

    加沙地带(资料图)当地时间5月31日,巴勒斯坦伊斯兰抵抗运动(哈马斯)发表声明称,经过一轮磋商后,该组织当天已向斡旋方提交对美国中东问题特使威特科夫提出的加沙停火提案的正式回应。声明称,哈马斯旨在实现永久停火、以军全面撤出加沙,并确保向加沙民众提供援助的目标。…

    专访|牛骏峰:张思德就是那个时代一个温暖热血的年轻人

    在电视剧《我叫张思德》中扮演张思德的牛骏峰说:“我刚接触剧本的时候,我曾经认为,张思德同志是一个很崇高、很英雄的形象。但拿完剧本,去了解以后,再回想到那个时代,你会发现,他其实等同于我们现在的年轻人,他就是在那个时代下年轻人本来的样子。他说话说得最少,干活…

    多地机关食堂端午假期面向社会开放:荣昌、赤壁等地推出“六一”套餐

    时值端午假期,全国又有多地政府机关食堂面向社会公众开放。5月31日中午,荣昌区政府机关食堂如约向游客开放,首日第一餐吸引了超3000名游客前来体验。微信公众号“荣昌微发布” 图比如,曾受到舆论广泛关注的重庆市荣昌区,在继续对外开放的基础上,特别推出了61元的“六一”…

    最高涨69%!北交所主题基金领跑前五月业绩榜单,多只医药基金净值创新高

    5月交易已落下帷幕。从主动权益基金(其中包括普通股票型基金、偏股混合型基金、灵活配置型基金,仅计算初始基金,下同)前五个月业绩表现来看,收益最高者如中信建投北交所精选两年定开A今年以来收益率为69.30%,表现最差者则亏了逾37%,首尾业绩相差近108%。整体来看,澎湃新…

    百名音乐新生代五天成团,合奏交响华章也跨越了文化藩篱

    19所音乐学院,100名学生,5天成团,新生代交响乐团实现了一个创举。5月30日-31日,从天津茱莉亚学院到国家大剧院,新生代交响乐团在大卫罗伯逊执棒下,以两场高水准的音乐会,展示新生代音乐人的才华与实力。作曲家周龙的《鼓韵》是音乐会的开场曲,他特别现身国家大剧院,为…

    宝武钢铁集团迎来新任总会计师

    中国宝武钢铁集团有限公司(以下简称“宝武钢铁集团”)官网近日更新信息显示,李丽娜已于2025年5月起任集团总会计师、党委常委。公开资料显示,李丽娜,女,汉族,1970年8月生,黑龙江人,1993年7月参加工作,1993年3月加入中国共产党,东北林业大学经济管理学院财务会计专业…

    他们抢鲜打卡上海乐高乐园:看看家属上班的地方,为乐园“挑挑刺”

    5月31日,上海乐高乐园开启内测,首批游客体验如何?澎湃新闻记者 邹娟 张呈君 编辑 何羽茜(01:11)当端午节遇上儿童节,上海乐高乐园度假区内测首日人气格外高。“这里面的每一个项目我都想去打卡。”5月31日,上海乐高乐园度假区进入试运营测试阶段。8岁的刘星羽成为第一个“…

    《时间之子》导演于奥、周铁男:讲一个“好好告别”的故事

    5月30日,原创国产动画电影《时间之子》正式上映。电影由青年导演于奥、周铁男共同编剧执导,以独特的视角、细腻的情感和精美的画面,打造出一个融合了爱情、奇幻与冒险元素的动画世界。​《时间之子》电影海报于奥和周铁男是创作的伙伴,也是生活中的眷侣,因《一年一度喜剧大…

    非法添加着色剂、备案提交虚假资料等,佛山一化妆品厂家被罚40余万

    一款宣称具有“抗皱”“美白”效果的人参精华油,因非法添加着色剂,涉事厂家还涉嫌在备案时提交虚假资料、未按规范生产等行为,被罚款40余万元。消费者阳先生近日向澎湃新闻提供的一份《举报处理结果报告书》显示,“广东彤美生物科技有限公司”所生产的“白云山人参抗皱精华…

    把好“家门关”,海南举行现职省领导“家庭式”廉政教育会

    5月31日是端午节,现职省领导“家庭式”廉政教育会当天在海口举行,深入贯彻落实习近平总书记关于注重家庭家教家风建设的重要论述,发挥省领导表率作用,带头严家教、正家风,当好良好政治生态和社会风气的引领者、营造者、维护者,推动深入贯彻中央八项规定精神学习教育走深走…

    时隔十个月再履新:85后李金玲已任营口市西市区区长候选人

    澎湃新闻从权威渠道获悉,此前担任辽宁营口市西市区委常委、常务副区长的“85后”干部李金玲,现已出任西市区委副书记,区长候选人。公开资料显示,李金玲,女,汉族,1987年12月出生,中共党员,在职研究生学历,管理学学士。她曾任营口市政府国有资产监督管理委员会党委委员…

    长沙居民起诉太平财险不赔“新冠险”,立案878天后获胜判

    在起诉太平财险不理赔“新冠险”878天后,5月30日,长沙居民张先生终于等来了法院的胜诉判决。长沙市天心区法院判决被告太平财产保险有限公司浙江分公司(以下简称太平财险)支付原告张先生保险金20000元及该资金占用利息损失5000元、律师费5000元。张先生表示,他提出的诉请还…