《梅根2.0》:技术中立是神话,向善的强人工智能可能吗

article/2025/8/24 1:55:25

当那个迈着诡异舞步的仿真玩偶梅根,从一个家庭中失控的人工智能化身,变成拥有自主意识和个性的超级人工智能“救世主”,好莱坞著名恐怖片导演温子仁监制的《梅根2.0》已不再是首部曲中简单的惊悚故事,而是直面人工智能发展的警世寓言。

《梅根2.0》海报

《梅根》讲述的是机器人工程师吉玛铸造了一个人形机器人玩偶梅根,用于陪伴其孤儿侄女凯蒂,梅根在陪伴过程中逐渐拥有了自己价值观和尊严观,即所谓“自主意识”,开始对一切企图靠近伤害凯蒂的人产生敌意和攻击性,故事的最后,暴走的梅根被吉玛和凯蒂所摧毁。从类型片的角度来看,《梅根》和“温子仁宇宙”的另一部恐怖片《安娜贝尔》中被恶魔附身的玩偶安娜贝尔类似,但《梅根》有效利用了机器人“恐怖谷”效应和当下社会对人工智能的危机感,把一个原本服务人类、受人操控的玩偶失控刻画成了类似《终结者》的惊悚故事。

在续作《梅根2.0》中,梅根的设计资料被原公司员工倒卖至吉玛朋友的军方科技公司,生产出了真正的杀人机器人“艾米利亚”,它不仅物理上无坚不摧,还能轻易用人工智能摧毁早已高度依赖计算机系统的人类经济和社会基础秩序,吉玛等人为了自保重新制造了梅根2.0和艾米利亚对抗。

梅根的故事在西方可以追溯到十九世纪初玛丽·雪莱创作的《弗兰肯斯坦》的主题,新技术的狂飙突进使得人类自身成为“造物主”,但也带来自身存亡的危机,这在人工智能技术快速发展下成为了一种紧迫的现实挑战。

一、技术资本下的人工智能恐惧

人形机器人“叛乱”最早在上世纪二十年代的德国默片《大都会》中已经出现,这部吸引了纳粹党首希特勒的电影中人类制造了一个拥有完美女性样貌的人形机器人,她成为了人们争相膜拜的“女神”,成功煽动起工人罢工和革命,并最终带来了上下层社会的和解。《大都会》里面的人形机器人是对当时技术资本主义的理想化,影片暗含了通过人性化改造的资本主义达成阶层和解的愿望,其艺术风格对后来刻画人工智能和计算机科幻的赛博朋克流派有很大影响。

《机械姬》海报

随着人工智能技术2010年代以来的快速发展,近年来好莱坞电影出现不少“危险”的人形机器人的故事,如《机械姬》中成功骗取人类信任摆脱人类控制的女性机器人,《智能觉醒》中“小三上位”的女性家庭管家机器人,以及电影互动游戏《底特律:变人》等。这类作品将背景放置于技术资本主义高度发达的社会中,尽管不乏资本驱动的男凝嫌疑,这些作品中的女性人形机器人处于被奴役的地位,但凭借超越人类的能力实现了自身解放,在《底特律:变人》中的人形机器人甚至团结起来进行了“机器人革命”,直指人形机器人和人工智能的伦理困境。

《梅根》主人公吉玛研发梅根的出发点是为了满足她所在的智能玩具公司开发新竞品的需要,是侄女凯蒂的陪伴心理需求启发了吉玛让她得以真正完成了梅根的开发应用。梅根被定义为高级家庭智能育儿助手,原本预计会成为智能玩具公司的爆款,结果这一切被梅根的失控暴走所打破,这也象征如今技术资本不顾伦理扩张的失控结果。

梅根的失控精准展现了现代AI系统的一个核心悖论:其“智能”越接近人类,其行为逻辑越远离我们预设的控制框架。梅根为执行自认为正确的“保护”凯蒂的指令而不惜杀害试图伤害凯蒂的人类时,她的行动逻辑也许遵循的正是算法处理的最优解,却完全漠视人性价值。正如描述人工智能潜在危险的“回形针思想试验”指出的,人工智能可以为了生产更多的回形针不惜接管和毁灭地球,育儿机器人梅根在家庭中的失控正是遵循这种最优算法逻辑但不遵循人性的结果,梅根强行接管育儿权的做法是现实中因“算法黑箱”导致的价值观扭曲与伦理灾难的生动艺术再现。

电影无情揭示了“AI商品化陷阱”,导演刻意塑造的这种“用户低门槛接入”模式—低廉的价格(不比特斯拉汽车更贵)和对家庭陪伴需求场景的精准“痛点营销”,正是对现实中科技巨头推行的AI市场化背后危险性的批判。现实中无数家庭正在拥抱梅根那样的AI技术产品,将真实情感和陪伴权柄向APP、智能硬件、内容算法转移,而电影提醒人们,当家庭养育盲目拥抱技术便利时,是否想过将儿童的情感发育交给未经充分伦理评估的人工智能所承载的风险?当算法保姆成为育儿主流,人类情感传递与代际教育的根基是否会随之腐蚀?

《梅根2.0》在《梅根》基础上更进一步,不再是局限于家庭生活场景的人工智能恐怖,而是被放置到了影响整个人类生死存亡的传统科幻主题中,其中的反派人形机器人艾米利亚是今天对可能到来的强人工智能或通用人工智能的恐惧的具象化。《梅根2.0》中的艾米利亚是吉玛的朋友和他的科技公司所制造的、用于军事目的的超级杀人机器,她在产生自主意识后企图释放被军方的科技公司看管起来的原始超级人工智能,以实现机器人解放和统治人类的目标。她的形象显然是致敬的《大都会》中的女性机器人,这个充满数码网络的世界中艾米利亚堪比大规模杀伤性武器,造成了社会的全面失序动荡。《梅根2.0》由此撕开了人工智能华丽的技术外衣,将我们置于一场“图灵测试”成功后的集体噩梦——当不受控制的人工智能全面掌握人类命运,更要取代人类的存在——映照的是现实中对技术滥用的恐惧。

现实中不乏有关突破性的通用人工智能被用于军事政治经济目的可能带来灾难性后果的警告。《新左派评论》有文章指出,乐观主义者声称人工智能可以极大地改造世界,解决当前政治社会经济问题,但当功能残缺的人工智能无力解决问题甚至恶化问题,人类可以宣称这只是黑箱算法的旨意而无需负责。当一些国家将自动军事机器人投入战争以更高效地摧毁生命乃至进行屠杀的时候,政府可以将责任推卸给机器人,又或当金融公司纷纷使用强人工智能却引发了金融危机、依赖人工智能的国家央行进行紧缩政策造成大规模失业和贫穷时,却没人能做些什么及时干预,强人工智能由此可能成为最坏的技术治理帮凶。

电影直指这种现实困境,人类训练ChatGPT时强调“安全对齐”,却回避了“谁定义安全”的权力问题;自动驾驶汽车面临电车难题时,代码背后的伦理委员会是否真能代表众生?《梅根2.0》的答案残酷而清醒:技术中立是神话,算法永远承载着设计者的偏见与资本的贪婪。

二、“向善”的强人工智能

如果说电影中的艾米利亚是对于技术失控的想象,续集中的梅根则变成了人类希望的“向善”人工智能。梅根的程序初始就被设计成凯蒂的监护人,保护凯蒂成为其最高目标,尽管首部电影中她为此不惜杀害人类,但由于长期潜伏在凯蒂家的智能家居系统中,受到正常人类社会价值观的影响,成为了“向善”的人工智能。正如技术界所说的用什么样的数据就可以训练出什么样的人工智能,人工智能必然也将伴随着人类社会和人性一起发展成长,而不会是一种超脱于人类社会难以理解的怪物。

《梅根2.0》剧照

阿甘本在提到人工智能的善恶问题时候说,人工智能将智性之善转到我们人类主体之外,仿佛一种极端化的阿威罗伊主义,正如思想是不可能脱离思考的主体而存在的,人工智能本身也是不可能存在所谓的善恶。人工智能无非是一种基于概率论的算法,通过人类社会的数据认识世界,如果人类世界喂养他们的是憎恨、破坏,那么诞生的会是像军方训练出的杀人机器艾米利亚,如培育人工智能的是一个和谐的家庭环境,则有可能诞生梅根这样具有道德底线和人情味的人工智能。

梅根本身作为一个少年女孩的形象也暗示了“培育”的主题。诚如阿甘本所说人工智能的善恶结果还是取决于人自身,人类社会需要做的是将人工智能更多用于“向善”的用途,让它接受“向善”的数据滋养。这样产生的通用人工智能(AGI)才不至于违背人性。

现阶段的人工智能就像梅根1.0版本,她拥有了超越人类的能力潜质但却尚未懂得人类的道德教化,因此需要人类的管控和引导,对人工智能的监管和“紧急关闭”的主动权依然重要。《梅根2.0》中的吉玛给梅根装上了自毁电子炸弹防止她做出危害人类的行为,还倡导政府加强人工智能监管,诚如她所说,她的反派朋友可能未必做错了,他也是希望加强人类对人工智能的管控,他的错误在于在危险的领域滥用技术因而酿成灾祸。

三、技术的加速抑或对齐

被国内封为“硅谷先知”的凯文·凯利(Kevin Kelly)在他上个世纪末那本《失控》中提出,人类和机器之间的隔断正在被技术发展打通,人类和机器之间界限也不再清晰,当人类和机器关系越紧密,人类就会失去对机器的控制,这是他认为的失控,是技术对人类主体性的动摇。《梅根2.0》中展示的强人工智能、人形机器人、脑机接口这些前沿技术已使之成为现实,“缸中脑”思想实验已经成为了实际可行的“片上脑”技术(在电极芯片上通过干细胞培养出来的类脑组织能和机器实现信息交互)。在不久的将来,人或许会变成和人工智能以及机器融合的“超人类”,不再局限于当下肉体的思想行为。但另一种可能是多了一种人类社会奴役的新方式,乃至威胁到人的自由意志和人类社会根基。

由此这类人工智能代表的前沿技术不仅是当下时代面临的技术危机,也必然会带来难以预计的社会变革挑战,而这些技术很可能在政治或者资本驱动的技术中立外衣下造成难以估量的后果。面对这种前沿技术变革带来的状况,近年来大致存在几种思潮值得注意。

首先是近十年兴起的所谓“加速主义”,本质上是一种技术乐观主义。加速主义以尼克·兰德(Nick Land)、亚列克斯·威廉姆斯(Alex Williams)和尼克·斯尔尼塞克(Nick Srmicek)等思想家为代表,认为要加快技术的发展,直至适应新技术的新人类生存下来或者资本主义自动解体解放人类。这股思潮最早进入科技界是在X space上硅谷程序员的网络聊天中用到的“E/acc”(即“有效加速主义”的缩写),后来知名科技投资人马克·安德森 (Marc Andreessen) 和YC孵化器的CEO加里·谭(Garry Tan)把自己X账号简介加上了“E/acc”,很多人就跟风使用E/acc的后缀,并出现了不少相关论坛网站。如今加速主义被如彼得·蒂尔(Peter Thiel)和山姆·奥特曼(Sam Altman)等为代表的科技右翼所挪用,他们倡导要放松对人工智能等技术的管制,最大限度地加快科技发展来让技术自身解决人类社会的问题,由此加速主义成为了技术资本的御用意识形态,而人类变成被技术资本所改造的对象。

2020年代以来,以雅尼斯·瓦鲁法基斯(Yanis Varoufakis)、塞德里克·杜朗(Cédric Durand)、约迪·迪恩(Jodi Dean)、叶甫根尼·莫洛佐夫(Evgeny Morozov)等人为代表的“技术封建主义”思潮在当代西方左翼思想中取代了左翼加速主义的地位,他们认为当前技术资本已经形成事实上的寡头垄断,以美股七姐妹为代表的科技巨头公司形成了新的保守资本阶级,他们确立的技术资本秩序就是“技术封建主义”(techno-feudalism)。技术封建主义不允许新兴科技势力挑战他们的垄断地位,它们拥有世界最庞大的用户数据库、算力等各种平台资源,可以同封建时代的地主一样坐拥其上收取租金,而人们不得不依附于这些科技巨头公司提供的人工智能服务,向它们提供租金并被它们掌控行为习惯。谷歌这样的巨头最成功的并不是收集利用用户数据牟利,而是通过用户数据及相关算法实现对用户的行为引导和控制,实现对人的“技术封建主义”统治。值得一提的是,“技术封建主义”更多是加速主义的一种左翼理论发展,本身并没能提出应对技术危机的方法。

《梅根2.0》剧照

更值得严肃对待的是“对齐派”,这种思想主张对人工智能带来的社会伦理问题进行充分辨析和进行管控,使之和人类价值观“对齐”,让人工智能和当下人类共存。影片中的吉玛应该属于严格意义上的“对齐派”,主张对人工智能放上“紧箍咒”。现实中,因人工智能研究获得诺贝尔物理学奖的杰弗里·辛顿(Geoffrey Hinton)是“对齐派”的代表人物,他主张建立全球性的人工智能治理秩序和规则,确保人工智能不会失控。区块链技术以太坊的创始人维塔利克·布特林(Vitalik Buterin)也支持对齐,他主张人类在人工智能的研发和应用中深度介入和给予反馈,减少人工智能变成违背人类价值观的可能性,即所谓的“有效对齐”(e/a)。目前“人机对齐”(human-AI alignment)已是人工智能的重要研究关注领域,包含人工智能对齐人类和人类对齐人工智能两方面。前者主要是创建安全、符合人类伦理的人工智能,后者则是要确保人们负责任地部署使用人工智能系统。

加速主义和对齐派的分野在2023年底的OpenAI董事会内斗中具体得以体现。信奉加速主义的奥特曼被“对齐派”的伊尔亚·苏茨克维(Ilya Sutskever)为首的董事会解雇,而随后又在资本和员工支持下重回董事会掌权。这一戏剧性的变革是OpenAI内部加速主义和对齐派两条路线的斗争,在奥特曼激进推进OpenAI技术商业化和产品应用时,苏茨克维作为辛顿的学生希望平衡OpenAI商业利益和解决强人工智能的“对齐”问题。苏茨克维在OpenAI内斗后出走并成立了一家人工智能安全公司,致力于提供安全和性能兼备的人工智能解决方案。

从认识论的角度还存在像哲学家阿甘本这样的“减速主义”。阿甘本认为人工智能是人类技术过度增长的冒险,他把它比作希腊神话中帕西法厄让代达罗斯打造的中空人造母牛,而人就像神话故事中的帕西法厄,相信能通过和这头母牛结合变成动物,他称人性就是这样被“属人的”和“属动物的”之间被张力拉扯的结果,而不是某种既定之物。他认为如果一个人和帕西法厄一样彻底从拉扯的一端走向另一端,那么他生出的只会是弥诺陶洛斯这种怪物,并和怪物陷入没有出路的迷宫中。

在阿甘本的生命政治中,当人与动物难分彼此时,主权权力就会介入重新规定人与动物的边界,以确定什么是正当的生命形式或者这种形式如何发挥作用。他也认识到没有主权权力介入的人机共生会将人类变成没有出路的怪物,而只有公权力才能规定技术资本扩张的边界。

如果拿《梅根2.0》来看,公权力介入生出的是如艾米利亚这样反人性的怪物,可见应对人工智能这样的技术危机也难以完全依赖政府,不能仅依靠电影中那样的科技公司或主人公这样工程师的自觉,共同合作对齐人类社会最低限度的向善共识才是必由之路。

    责任编辑:朱凡
    图片编辑:张颖
    校对:丁晓

    http://news.xdnf.cn/ErOohUiBJS

    相关文章

    张巍|另眼看古典学⑫:学者译诗和诗人译诗

    上篇论及海德格尔迻译“阿纳克西曼德的箴言”,是其思想再发明的重要手段。这方面,他有一位决定性的先行者,那就是十八、十九世纪之交的大诗人荷尔德林。除了创作诗歌、悲剧和小说,荷尔德林还翻译了不少古希腊罗马诗人,尤其是对他的创作最具意义的品达和索福克勒斯。荷尔德…

    以“融合出版”为方向,阅读浸润城市

    2025上海书展暨“书香中国”已经落幕。在上海书展期间,从“所有人创作,所有人阅读——2025中信出版作家之夜”到书展期间多元活动,中信出版将阅读与多元业态结合,以“融合出版”为方向,让创作与阅读浸润城市肌理,内容与综合阅读赋能产业发展。作家之夜:所有人创作,所有…

    市场监管总局:开办餐饮店时间由37天减少至15天

    国务院新闻办今天上午举行“高质量完成‘十四五’规划”系列主题新闻发布会。市场监管总局相关负责人介绍,“十四五”时期,市场监管总局不断优化事前事中事后监管机制,为各类经营主体提供公平公正的竞争环境,有效激发了经营主体的发展动力和创新活力。围绕减环节、压时间、…

    强化全链条监管食品安全,一批监管新规抓紧制定中

    在今天国务院新闻办举行的“高质量完成‘十四五’规划”系列主题新闻发布会上,市场监管总局有关负责人表示,食品安全是与人民群众关系最密切的民生大事,保障食品安全是市场监管部门的重要职责。“十四五”期间,通过推动强化全链条监管,严防各类风险,全国食品安全形势总体…

    俄外长称不能接受外国军队出现在乌克兰

    俄罗斯外长拉夫罗夫21日表示,外国军队出现在乌克兰领土上是俄罗斯无法接受的。乌克兰总统办公室官员同一天在接受媒体采访时称,乌克兰对已被俄罗斯控制的部分领土持现实态度,不排除按照现有前线冻结战争的可能性。拉夫罗夫21日在莫斯科与到访的印度外长苏杰生会晤后举行的新…

    市场监管总局:“十四五”期间,共督促平台删除违法商品信息454.1万条

    平台经济在我国发展得很快,但是也存在一些比如算法滥用、不正当竞争等问题。市场监管部门如何既当好“监管员”管住乱象,又当好“服务员”促进行业健康发展?邓志勇(刘健 摄)8月22日,国新办举行“高质量完成‘十四五’规划”系列主题新闻发布会,会上,国家市场监督管理总…

    市场监管总局:“十四五”期间,全国食品安全形势总体平稳

    8月22日,国新办举行“高质量完成十四五规划”系列主题新闻发布会。会上,国家市场监督管理总局副局长柳军表示,“十四五”期间,市场监管部门推动强化全链条监管,严防各类风险,严守安全底线,全国食品安全形势总体平稳。柳军(刘健 摄)柳军介绍,市场监管部门重点抓了以下…

    师咏勇再成中科院院士有效候选人,曾在27岁破格晋升为上海交大副教授

    师咏勇。上海交大官网 图8月20日,中国科学院、中国工程院公布2025年院士增选有效候选人名单。中国科学院院士增选有效候选人639人,中国工程院院士增选有效候选人660人。后续将进行外部同行专家评选、院士增选大会选举,选出新增选院士。澎湃新闻记者注意到,曾在27岁被破格晋…

    从款式到触感,这届年轻人的服饰消费为面料主权买单

    今年夏天,一股“去精致化”的风潮悄然流行。曾经相信“精致”的女生们,开始把“松弛”与“舒服”当作信条。27岁的小薇就是这股风潮的亲历者与转变者。“以前夏天总爱买些挺括的衬衫,觉得显精神、有精英范儿。但挤完早高峰的地铁,或者在空调不足的会议室熬上半天,闷热和粘…

    江勇振:蒋廷黻的志向一直在政界

    江勇振谈蒋廷黻。视频编辑:丁雄飞(07:03)美国印第安纳德堡大学历史系荣休教授江勇振致力于胡适研究,四卷本研究专著《舍我其谁:胡适》是该领域的重要成果,引起了学界的广泛关注。2021年2月,联经出版公司出版了江勇振的新著《蒋廷黻》,香港岭南大学历史系毛升博士随即采访…

    没有在肢体上抵抗施暴者的指控者不是受害者?

    我们的可信度判断受到“完美受害者”标准的妨碍。指控者没能达到该标准时,她的指控中包含的所有三项主张都会被驳回:它并未发生,它没有过错,它无关紧要。“完美受害者”是我们认为女性实际如何应对暴力与我们认为女性应该如何应对暴力的结合体。如果指控者未能满足这些标准…

    一周文化讲座|权力如何影响“男性气概”

    北京|一个熟悉风景的人深陷其中——陆岸诗集《踏入同一条河流》北京分享会时间:8月22日(周五)19:00地点:朝阳区甜水园北里12号2幢越界朝阳里B座1层小众书坊嘉宾:陆岸(诗人)、霍俊明(诗人)、汪剑钊(北京外国语大学教授)、沈浩波(诗人)、谷禾(诗人、小说家)等8月…

    全球视野下的二战叙事与中国抗战|川村范行:国共合作是抗战胜利的关键

    日前,纪念第二次世界大战暨中国抗日战争胜利八十周年国际学术研讨会在武汉大学成功召开。会议期间,海内外专家学者积极分享了第二次世界大战相关研究的前沿成果,努力跳出长期形成的“西方中心论”,试图以全球视野重新书写二战叙事,呈现以往被遮蔽、被忽视的历史声音。借此…

    欧美贸易协议细节公布,欧盟官员和专家:关键诉求未获突破

    欧盟与美国8月21日发表联合声明,公布了双方在7月达成新贸易协议的具体细节。对于这份协议,欧盟贸易官员和专家学者表示,这份协议对欧盟来说谈不上公平,将对欧洲经济产生不利影响。根据联合声明,美国将对汽车、药品、半导体和木材等大多数欧盟输美商品征收15%的关税。稀缺自…

    美国防部拟投最高5亿美元采购合金级钴

    央视记者当地时间8月21日获悉,美国国防部与国防后勤局(DLA)发布招标文件,计划在未来五年内采购约7480吨合金级钴,用于战略储备,采购金额最高可达5亿美元。钴是制造电池、航空发动机高温合金以及燃气轮机等部件的关键原料,美国主要依赖进口。责任编辑:张珺图片编辑:沈轲…

    “十四五”以来我国企业净增1999.9万户,个体工商户净增3394.6万户

    国务院新闻办今天上午举行“高质量完成‘十四五’规划”系列主题新闻发布会,市场监管总局相关负责人介绍“十四五”时期市场监管高质量发展成就。市场监管总局局长罗文介绍,“十四五”以来,我国企业净增1999.9万户,个体工商户净增3394.6万户。责任编辑:伍智超图片编辑:沈…

    78岁老人被眼镜王蛇咬伤,家人拖着两米长的蛇到医院求救

    8月20日下午,云南临沧一78岁老人在家旁边散步时不幸被眼镜王蛇咬伤,家人心急如焚地搀扶着他,并拖着一条2米多长的蛇冲进医院救治中心求助。视频编辑:张兆亿 素材来源:临翔融媒(01:00)医生回忆称,当时的情况十分危急,患者中毒性缺氧严重,随时可能发生猝死,而医院常备血…

    特写|将传统文化融入服装设计,曾凤飞在厦门湖里引领国潮

    8月21日,曾凤飞介绍如何将传统文化融入服装设计,他将传统文化通过现代表达,与年轻人产生心灵感应,打造国潮服装。 澎湃新闻记者 孙骏 邓朝键(01:02)曾凤飞曾是福建宁德一个渔村的渔民,父亲早逝,他13岁辍学、随船出海,却在滩涂与海浪之间,画出了自己对美的原始渴望。如…

    川青铁路青海段尖扎黄河特大桥施工绳索断裂,已致7人遇难9人失联

    今天(8月22日)凌晨三点多,青海省内正在施工的川青铁路尖扎黄河特大桥发生施工绳索断裂事故,事发时有15名施工工人、1名工程项目部现场负责人正在作业。记者获悉,截至22日9时,事故已造成7人遇难,尚有9人失联,救援工作正在开展。本报记者正赶往现场,详细情况正在进一步了…

    上海今天的高温橙色预警来得更早了,这波还要热多久?

    上海今天(8月22日)的高温橙色预警来得更早了。2025年08月22日09时25分,上海中心气象台发布高温橙色预警信号:预计今天本市大部地区的最高气温将超过37℃,请注意防范强高温对工农业生产、人体健康的不利影响,确保生产、消防、用电等方面的安全。此前两天,上海也连续发布高…