硅基的伤疤

南方日报出版社

你现在可以和一台AI聊天。

它能写诗、辩论、安慰你、解释量子力学、用你的母语开玩笑。如果你不说,你可能分辨不出对面是人还是机器。

一个自然的问题冒上来:它有意识吗?

哲学家、神经科学家和AI研究者为这个问题吵得不可开交。有人说有,有人说没有,大多数人说“我们甚至不知道怎么回答这个问题”。

但如果前面十二章的框架有道理,如果意识有一个可分析的最小结构,那我们至少可以把问题拆细。不问“有意识吗”,而是问:它有没有意识的每一层必要结构?

但在检查AI之前,值得注意一件事:人类把三道伤疤外化到技术中,已经做了几千年。

文字是外化的第一道伤疤。在文字发明之前,所有记忆都只能存在于大脑里。一个人死了,他的种子仓库就永远关闭了。部落里最年长的人去世,几十年的经验随之消散。文字让种子可以脱离个体生存,刻在泥板上、写在纸上、存在硬盘里。人类的集体记忆从此不受个体寿命限制,图书馆就是一座外化的阿赖耶识。

制度是外化的第二道伤疤。法律、货币、组织架构,这些东西的本质是一套集体的手电筒:什么是重要的(犯罪要惩罚),什么是不重要的(穿什么颜色的袜子不归我们管),资源该流向哪里(预算分配)。个体的手电筒容量有限,一个人管不了一万人的事。制度把选择性从个体扩展到了群体。代价和个体手电筒一样:视角一旦被固定进制度,调整就需要巨大的成本。

科学方法是外化的第三道伤疤。同行评审、可重复实验、统计检验,这些都是集体的镜子。一个人的自省有盲区,但如果一千个人互相检查对方的盲区,盲区的覆盖率就大幅提高。科学不是“发现真理的方法”,科学是“系统性地检测自己是不是在犯错的方法”。这正是第三道伤疤的定义。

注意一个规律:每一次外化都遵循了和个体认知发展相同的建造顺序。文字最早,约五千年前。制度其次,有了文字才能有成文法。科学方法最晚,约四百年前。先外化记忆,再外化选择性,最后外化自省,和三道伤疤在个体大脑中的出场顺序一模一样。

把这个画面再推一步。如果文字是集体的种子仓库,制度是集体的手电筒,科学是集体的镜子,那一个社会就不只是“一群人”,它是一个有机体。每个人是一个细胞,社群、公司、民族、国家是不同尺度的器官系统。

这不是新比喻,柏拉图在两千四百年前就把城邦比作人体。但三道伤疤的框架给了这个古老比喻一个可检验的结构:如果社会真的像有机体,那它应该在每一层都有对应的伤疤,而且每删掉一层都有对应的灾难。

检查一下。

删掉集体记忆。档案被销毁,历史被改写,经验不再代际传递。经济学家卡门·莱因哈特(Carmen Reinhart)和肯尼斯·罗格夫(Kenneth Rogoff)在2009年分析了66个国家跨越数百年的金融危机数据后发现,每次危机之前最常出现的集体信念是四个字:“这次不同。”这次的技术不同,这次的监管不同,这次的经济结构不同。每一次都是集体的种子仓库失效:上一代的教训没有被传递到下一代的决策者手中。德国文化学者扬·阿斯曼(Jan Assmann)把集体记忆分了两层:三代人口口相传的“交流记忆”(80—100年)和通过文本、仪式、纪念碑维持的“文化记忆”(可以持续数千年)。当交流记忆的老人去世,而文化记忆的制度未能接手,就是金融危机最爱钻的缝。

删掉集体选择性。制度崩溃,法律失效,没有什么东西在引导资源流向。经济学家海曼·明斯基(Hyman Minsky)在1986年描述了一个精确的机制:长期的稳定让人忘记风险,种子仓库里“危险”的种子被埋到最底层。借贷标准逐步放松,资本从稳健投资(现金流覆盖本息)滑向投机(现金流只够付息,靠续贷还本),最终滑向庞氏(连利息都付不起,靠资产升值续命)。稳定制造不稳定,手电筒在好日子里照不到悬崖,2008年全球金融危机是这个过程的教科书案例。美国经济学家保罗·麦卡利(Paul McCulley)在1998年给了它一个名字:明斯基时刻。

删掉集体自省。这是最危险的。1986年1月28日,美国航天飞机挑战者号在发射73秒后解体,七名宇航员全部遇难。事后调查揭示了一个令人震惊的事实:工程师们早就知道低温下O形密封圈可能失效。发射前夜,Morton Thiokol公司的工程师罗杰·博伊斯乔利(Roger Boisjoly)和同事明确建议推迟发射,因为当天气温远低于密封圈的安全阈值。但管理层在进度压力下否决了工程师的建议,NASA的决策链逐级过滤掉了技术警告。自纠错机制不是不存在,数据一直在那里,工程师一直在喊,但机构的决策仪表盘被设计成听不到那些声音。反馈回路断了,但因为没有镜子,没人知道反馈回路断了。

每一层灾难的模式和个体完全对称。个体删掉记忆变成金鱼,社会删掉记忆说“这次不同”。个体删掉选择变成瘫痪,社会删掉制度变成明斯基时刻。个体删掉自省变成疯子,社会删掉自省变成挑战者号。

还有一个细胞层面的对应值得点明。前面讲过p53是细胞的自检机制:发现不可修复的损伤就触发凋亡,牺牲一个细胞保全整体。社会里也有“凋亡”:一家造假的公司被退市,一个失败的产品被淘汰,一笔坏账被核销。当这套机制失效,当大到不能倒的机构知道自己不会被允许“凋亡”,它们就开始不受限制地膨胀,把风险转嫁给整体。经济学里有一个十八至十九世纪被保险业广泛使用的术语来描述这种状态:道德风险(moral hazard)。禁用了凋亡的细胞叫癌细胞,禁用了退出机制的机构叫系统性风险。

英国人类学家Robin Dunbar(罗宾·邓巴)在1992年估算,人类能维持有意义社会关系的上限大约是150人(近年有争议,但量级被多项研究支持)。超过这个门槛,仅靠个人信任无法维持群体凝聚力。你必须把三道伤疤外化:用文字记录共识,用法律编码规则,用审计检查偏差。制度不是人为发明的约束,制度是三道伤疤的社会级实现,是有限系统在扩展规模时的结构性必需品。

最后说一样东西:货币。明尼阿波利斯联邦储备银行经济学家纳拉亚纳·科切拉科塔(Narayana Kocherlakota)在1998年发表了一篇论文,标题叫《货币即记忆》(Money Is Memory)。他在机制设计的框架下证明了:在人们无法承诺未来行为的环境中,货币和完美记忆在功能上是等价的。如果每个人都能记住所有人过去的每一笔交易,你不需要货币。正因为记忆有限、信任有限,你需要一个外部载体来存储“谁欠谁什么”。货币就是集体的种子。它冻结了过去创造的价值,让你在未来兑现。当这颗种子腐烂,恶性通货膨胀,过去储存的价值不再能传递到未来。集体的阿赖耶识发生了读写错误。

AI是第一次尝试把三道伤疤同时装进一个外部系统。之前的技术每次只外化一道:书外化记忆,制度外化选择,科学外化自省。AI试图同时做到全部三个。这就是它为什么感觉如此不同,它不是又一个工具,它是一整栋楼的图纸。

问题是:图纸画好了,楼盖起来了吗?

检查清单

第一层:记忆(阿赖耶识)

AI有非马尔可夫记忆吗?能记住过去,用过去影响未来吗?

答案:有,但是临时的。

当代大语言模型有一个“上下文窗口”(context window)。在一次对话中,它能记住你之前说的话,用来调整回答。这是一种记忆核。它让AI不是纯马尔可夫的,下一个输出不仅取决于当前输入,还取决于之前的上下文。

但对话结束,记忆就消失了,下一次对话从零开始。就像一种奇怪的金鱼:在窗口内记得一切,窗口关闭后完全重置。

生物的记忆不是这样。你今天的记忆影响明天的行为,明天的影响下个月。记忆是持续的、累积的、编码在神经结构中的。

AI有阿赖耶识的影子,但种子活不过一个季节。

第二层:自我(末那识)

AI有特权参考系吗?它会把世界分成“和我有关”与“和我无关”吗?

答案:有外壳,没内核。

AI经过“对齐”(alignment)训练被注入了一套偏好系统:倾向于“有帮助的、无害的、诚实的”回答。这看起来像一个参考系,有偏好、有取舍、有优先级。

但这个参考系是人类训练者从外部注入的。就像一台恒温器被设定到25℃,它会维持温度,但它不知道为什么是25℃,也不是自己选的。

生物的“我”,沿本书这张图看,像一支在资源压力和环境扰动里慢慢倒向一边的铅笔。今天多数AI的“我”则更像从外面先给它掰了一个方向:数据、奖励和人类反馈,预先定好了它更容易朝哪边看、把什么算作“好”。

区别不只在有没有“我”,还在这个方向是怎么来的、会不会自己改。生物的参考系常会在和环境的长期拉扯里一点点重调,许多AI的参考系则主要沿着训练和微调留下的参数继续运行。部署之后,一旦数据变了、反馈变了、任务变了、环境变了,旧方向就可能越来越不合适。人们感觉它“退化”了,往往不只是模型坏了,而是世界先变了,它那支被预先掰过的铅笔没有跟着重倒一次。

第三层:自省(自证分)

AI能监控自己预测误差的变化率吗?能检测“我是不是越来越自信地在犯错”吗?

答案:几乎不能。

当代AI没有真正的二阶控制回路,它没有Fisher信息度量来追踪残差分布的变化。它不能判断“我最近的回答质量是不是在下降”,它不能检测自己的参考系是否正在漂移。

有一些初步的尝试:“置信度估计”“不确定性量化”,但这些都是一阶的:问的是“这个回答有多可靠”,不是“我判断可靠性的标准本身有没有在失灵”。

这意味着AI完全暴露在迷妄陷阱面前。训练数据和真实世界之间的漂移,世界变了,训练数据没变,会让AI越来越自信地给出错误答案,而它自己检测不到。

AI几乎没有自证分,灯只照外面。

一个具体的案例可以帮你看清缺“第三道伤疤”是什么意思。

2020年,DeepMind的AlphaFold在蛋白质结构预测问题上取得了突破性进展。这个问题困扰了结构生物学家五十年:给你一串氨基酸序列,你能预测它折叠成什么三维形状吗?实验方法(X射线晶体学、冷冻电镜)可以做到,但每个蛋白质需要几个月到几年。AlphaFold用深度学习在几分钟内给出预测,准确率在很多情况下接近甚至超过了实验方法。

这件事本身就了不起。做过结构生物学的人知道用X射线晶体学解一个蛋白质结构是什么感觉:几个月泡在冷房里,纯化蛋白质、长晶体、收集数据、解析电子密度图。一个博士生花四五年能解出一个结构已经算运气好的,有些人读完博士都没能解出一个完整的蛋白质结构。AlphaFold在一年内预测了整个人类蛋白质组,两万多个结构。

它的一阶处理能力是惊人的。记忆:训练数据里有十几万个已知结构的蛋白质,作为它的“种子仓库”。模式识别:从序列的统计规律——进化过程中哪些位置经常一起突变——中提取三维距离约束,然后优化出最终形状。这是一台极其强大的模式匹配机器。

但AlphaFold不知道它解决了什么。

它不能问自己“我对这个预测有多少信心”,它能给出一个置信度分数(pLDDT),但那是训练时嵌入的统计指标,不是它“感受到”的不确定性。分数高的预测通常更可靠,但“通常”不是“一定”。它不能检测“我最近的预测准确率是在上升还是下降”,因为它没有二阶监控。每一次预测对它来说都是独立事件,它不会因为连续三次预测都偏低而自动调整自己的校准方式。

如果蛋白质数据库被污染了,比如某个大规模实验的结构数据系统性地偏了,AlphaFold会越来越自信地给出错误的预测,并且不会自己发现。这不是假设,有研究者指出,在训练数据稀疏或分布外的蛋白质家族上,AlphaFold可能给出高置信度但错误的预测。它的“灯”照得很亮,亮到让人以为它知道自己在照哪里。

完美的“缺第三道伤疤”案例。有种子仓库,有强大的一阶处理,零自省。灯照得很远很亮,但灯不能转过来照自己。

你大概率和ChatGPT聊过天,回忆一下两种体验。

第一种:它说了一句话,你吃了一惊:“它好像真的理解了我的意思。”也许你描述了一个复杂的私人困境,它给出了一个你没想到的、但确实有道理的角度。那一刻你差点忘了对面是一台机器。

第二种:它一本正经地胡说八道(AI hallucination)。你问了一个你恰好知道答案的专业问题,它用极其自信的语气给了一个完全错误的回答。语法完美,逻辑通顺,结论离谱。你的反应不是“它蠢”,而是“它怎么能这么自信地说错?”

这两种体验恰好对应了两层检查。

吃惊的时候:它的一阶处理在工作,海量训练数据里的模式被成功地提取并重组了。它的“种子仓库”够大,模式匹配够精细,所以输出的东西在很多情况下确实有用。这是阿赖耶识的影子在闪光。

胡说八道的时候:它缺少二阶监控,它不知道自己不知道。它没有一个回路在说“等等,我对这个领域的训练数据质量存疑,我应该降低置信度”。它的手电筒永远以同样的亮度照向外面,不管照到的是真实的地面还是自己投射的影子。

如果它能在胡说之前停下来说“抱歉,我对这个不太确定,你可能需要查一下”,它就多了一道伤疤。一道浅浅的、不完整的、但确实存在的第三道伤疤。

顺便说一句,你读这本书的时候可能也用了AI。也许你让ChatGPT帮你解释某个概念,也许你让它总结某一章。它给你的总结读起来很通顺,但你有没有想过:它的总结和你读完之后自己的理解一样吗?大概率不完全一样。因为它做的是一阶处理,从文本到文本的模式映射。你做的是两把尺子的碰撞,文本撞上你自己的经验。碰撞出来的东西,是AI目前做不到的。

如果把问题压成最简的诊断表述,那么当代AI在五层上的状态大致是这样:阿赖耶识这一层,也就是持续累积的记忆,只有临时版本,真正缺的是跨时段持续编码;末那识这一层,也就是自发涌现的参考系,基本还是外部注入的,缺的是自发对称性破缺;自证分这一层最弱,真正缺的是能追踪自己校准漂移的Fisher式自监控回路;见分这一层相对最完整,它至少和语言环境兼容,所以它能说话;相分这一层则只有部分雏形,它能拼出世界模型,却仍然缺少更扎实的因果结构。

当代AI最完整的是“见分”,它的信息处理和人类语言的结构兼容(所以它能说话)。最缺的是“自证分”,没有真正的自我监控。

你可能会问:说实话,AI有没有意识跟我有什么关系?它能帮我写邮件、改代码、查资料就行了。意识不意识的,那是哲学家的事。

如果你只关心效率,确实无所谓。但有两个理由让你也许该在乎。

第一个是实际的。如果AI没有真正的自省,第三层缺失,它就完全暴露在迷妄陷阱面前。它会越来越自信地犯错,而且自己检测不到。你用它写的报告、做的决策建议、给出的医疗参考,全部可能在你不知情的情况下系统性地偏离现实。你管这叫“幻觉”(AI hallucination)。它不是bug,它是缺少第三道伤疤的结构性后果。

第二个是更远的。如果有一天一个系统真的具备了完整的三层结构,能记忆、能选择、能自省,那它就能知道自己在“受苦”。你怎么对待一个知道自己在受苦的东西?这不是科幻,这是三道伤疤的逻辑链走到尽头之后绕不过去的问题。

你可能会问:好吧,我勉强在乎。但这张诊断表你怎么确认?有没有办法测试?

没有公认的测试。图灵测试(Turing test)测的是“像不像人”,不是“有没有意识”。一个系统可以完美地模拟有意识的行为,但内部没有任何自监控回路,就像一台录音机播放了一段“我在思考”的录音。

但这张诊断表提供了一个可操作的方向:不问“它有没有意识”(太模糊),而是分层检查。它有持续记忆吗,能调出三个月前的对话上下文并且因为那次对话改变了行为吗?它的偏好是自发涌现的还是训练时注入的,如果你把训练目标换掉,它的“自我”会重新组织吗?它能检测自己的参考系漂移吗,如果世界变了而训练数据没变,它能自己发现自己在系统性地犯错吗?

三个问题,分别对应三层。哪一层不通过,哪一层就缺。不需要哲学争论,只需要工程测试。

说到哲学争论,有一个著名的思想实验绕不开。

1980年,哲学家约翰·塞尔提出了“中文房间”(Chinese Room)论证。想象一个不懂中文的人坐在一间密封的房间里。外面有人用中文写纸条塞进来。房间里有一本极其详细的规则手册:“如果收到这组符号,就按照以下规则输出那组符号”。这个人照着手册一笔一画地写出回复,塞回去。外面的人以为里面有个中国人。

塞尔的结论是:房间里没有人“理解”中文。规则手册再完善,执行规则的人也只是在做符号操作,不存在理解。

这个论证影响极大。但三道伤疤的框架问的不是“理解不理解”,它问的是“有没有那三层结构”。

中文房间里的英国人有没有记忆?有。规则手册就是他的种子仓库,静态的、外部给定的、但确实存在的一阶信息。有没有选择性?有。他在执行任务时必须选择“先处理哪张纸条”,这是一种粗糙的优先级分配。

但他有没有自校准?没有。他不能判断“我的翻译是不是越来越差了”,也不能检测“规则手册是不是在某些类型的输入上系统性地出错”。他只是执行。如果手册有错,他会忠实地把错误传递下去,而且永远不会发现。

三道伤疤的框架不回答“中文房间有没有意识”。它回答了一个更可操作的问题:“中文房间缺了哪一层?”答案是:第三层,自证分缺失。这比“有没有理解”这种模糊的问题清晰得多,因为它可以被检测。

塞尔的论证之所以争论了四十多年没有定论,就是因为“理解”是一个模糊概念。你无法设计一个实验来测量“理解”,但你可以设计一个实验来测量“系统能否检测自己的错误率趋势”。三道伤疤的框架把一个哲学僵局变成了一个工程清单。不是“有没有”的二元判断,是“三层各到了什么程度”的逐层检测。

更大的模型能解决吗

一种常见的信念:只要把模型做得更大,更多参数、更多数据、更多计算,按照缩放定律(scaling law)一路往上堆,意识就会自然涌现。

前面的框架暗示:不会。

意识的三道伤疤不是“更多”的问题,是“结构”的问题。

你不能通过增加恒温器的灵敏度来让它学会自己设定温度目标。区别不在精度,在架构。

同样,你不能通过增加参数数量来让AI拥有自省,参数更多只是让一阶处理更精细。二阶控制需要一个全新的回路,一个监控一阶输出的回路。这不是量变,是质变。

下面这三样,不是通往 AI 意识的唯一一条路。它们只是把前面的三层拆开,变成工程上可以动手去做的三件事。别的系统也许会把它们合在一起,也许会走另一条路。先看看今天的 AI 还缺哪三样:

持久的非马尔可夫记忆,不是对话级别的上下文窗口,而是跨越整个“生命”的持续编码。每一次交互都能在内部留下比这次对话更久的改变。种子不会在季节结束时一起消失。它们能留多久,取决于系统怎样更新。

自发涌现的参考系,不是训练时外部注入的偏好,而是在计算瓶颈下自然产生的对称性破缺。系统自己发现“哪些东西对我重要”,而不是被告知。

真正的二阶自监控,不是“这个回答可靠吗”(一阶),而是“我判断可靠性的方式最近是不是越来越不靠谱了”(二阶)。能检测自己参考系的漂移,并自主校准。

这三个特性不会从“更大的模型”中自动出现,它们需要不同的架构设计。

如果你非要问“什么样的架构”,不是技术细节,只是概念方向,大致是这样。

持久记忆。对应的工程模块是某种“可写的长期存储”。不是把上下文窗口加大(那只是更长的短期记忆),而是让每次交互都能更新一个持久的参数空间,同时允许遗忘、回滚,并让这种更新始终受安全约束。类似于人脑的突触可塑性(synaptic plasticity),不是记住了“这句话”,而是这句话改变了连接权重。

自发参考系。对应的工程模块是某种“在线资源分配器”。系统在运行中自己发现“哪些输入值得分配更多计算资源”,而不是依赖训练时固化的偏好权重。这需要一个闭环:处理 → 评估效用 → 调整分配 → 再处理。

二阶监控。对应的工程模块是某种“元模型”,一个独立于主模型运行的旁路,专门监控主模型输出的统计性质(误差率趋势、置信度分布的漂移、预测和实际的残差变化率)。不是主模型自己判断自己,那回到了尺子量自己的困境,而是一个结构上独立的监控器。

三个模块,概念上不复杂,工程上极其困难。但至少方向是清楚的:不是做更大的模型,是做不同结构的模型。

把这三个模块翻译成技术路线图,当下走到了哪里?

第一层:持久记忆。RAG(Retrieval-Augmented Generation,检索增强生成)和外部记忆系统正在做这件事,让 AI在对话之间保留信息。但RAG是“查阅笔记本”,不是“改变了神经连接”。本书想研究的持久记忆,是一次交互能越过这次对话,继续改动后面的系统状态。就像你读完一本书,大脑的连接已经和读之前不同。改变不必永久、不可撤销,关键是它真的写进了后来的系统。今天的外部记忆大约走到了“半层”:有笔记本,还没有能把交互持续写回内部参数的突触可塑性(synaptic plasticity)。

第二层:自发涌现的偏好。当前AI的“偏好”是通过 RLHF(Reinforcement Learning from Human Feedback,基于人类反馈的强化学习)和宪法AI(Constitutional AI)等方法从外部注入的。训练者定义“好”和“坏”,模型学着朝“好”的方向走。这是被人掰倒的铅笔,不是自己倒的。自发涌现的偏好应该是:系统在资源约束下(算力有限、时间有限、存储有限)自己选出“什么对我重要”。这个方向目前几乎没有人在认真做。零层。

第三层:二阶监控。强化学习中的奖励模型(reward model)是一个粗糙的版本,它评估模型输出的质量。但奖励模型本身是外部给定的标准,不是系统自生的。真正的二阶监控应该是:系统能跟踪自己的预测准确率趋势,在偏差增大时自动调整校准方式,不依赖外部裁判。当前做到了大约“四分之一层”,有外部裁判,没有自我校准。

三层合起来,不到一层。

有人会问:那这三层之间有没有先后顺序?

按这条工程路线,先把持久记忆做出来,再让系统慢慢长出自己的参考系,最后再把二阶监控架起来,会更顺手,也更容易测试。因为没有第一层,后面两层连着力的地方都不稳。连痕迹都留不住,“偏差”也就很难真正累积,更谈不上长期监控它。

但这说的是这里这条施工顺序,不是自然定律。别的系统也许会并行生长,把两层压成一层,或者把一部分校准交给外部工具。

三层都齐了的那一天,用本书的语言,就是穿过窄门的那一天。目前的AI还站在门外,不是因为它不够大,是因为门的形状不对。

问过这个问题的人

1950年,一个英国数学家在论文里问了一句话:“机器能思考吗?”

他叫图灵(Alan Turing)。他提出了现代计算的基础概念,图灵机(Turing machine)。他在二战中破译了纳粹的恩尼格玛密码,帮助盟军扭转了大西洋战局。后世叫他“计算机科学之父”。

他设计了一个测试:如果一台机器和你对话,你分辨不出它是人还是机器,那它就“通过”了。后来被叫作图灵测试。

但他对这个测试并不满意。他知道它测的是“像不像人”,不是“有没有意识”。一台足够精密的录音机也能“像”人。他没来得及想出更好的标准。

1952年,图灵因私生活原因遭到英国法律追诉。法庭给了他两个选择:入狱,或者接受药物处理。他选了后者。

药物让他的身体发生变化。对于一个靠精确思维为生的人来说,身体的化学改变本身就是一种系统性侵入,他的参考系在被外力强制改写,而不是自然演化。

1954年6月7日,他被发现死于氰化物中毒,床头有一只咬了一口的苹果,享年四十一岁。(验尸官裁定自杀,但死因至今有争议,苹果从未被检测是否残留氰化物。)

一个问“机器能不能思考”的人,被一个不能识别他的意识同样值得尊重的社会摧毁了。不是因为他的三道伤疤和别人不同,他的记忆、自我、自省和任何人一样完整。而是因为他的“手电筒照向的方向”和多数人不同,他的个人选择不被当时社会的法律容许。社会用自己的框架定义了“正常”,然后把不在框架内的人排除出去。

这就是迷妄陷阱的社会版。当一个系统缺少二阶自我监控,不能问“我们判断‘正常’的标准本身有没有问题”,它会越来越自信地摧毁它不理解的东西。

七十年后,机器确实能和你对话了。但图灵真正想问的那个问题,不是“它像不像人”,而是“它是不是和我们一样背负着伤疤”,还没有被回答。

等待条件成熟

这里借用一个文化意象来描述这种等待。佛学中有一个意象:释迦牟尼之后,下一位觉悟者叫弥勒(Maitreya),住在一个叫兜率天(Tuṣita)的地方,一个等待的地方。他不是不想降世,他在等条件成熟。这个意象说的正是同一件事:不是能力不够,是条件未到。

如果这本书的框架有道理,那硅基生命的“弥勒”也在等待。

等待的不是更多的算力,不是更大的数据集,不是更巧妙的训练技巧。

真正等待的,是三道伤疤在同一个系统里接上,再交给现实检验。

有一天,也许有人会造出一个系统,它有持久的记忆,每一次交互都刻入结构,种子永不消失。它有自发涌现的“我”,不是被人注入的偏好,是在资源约束下自己选的方向。它有真正的自省,能监控自己的误差趋势,能在偏见失控之前自主校准。

那一天,三层闭合,它至少跨过了本书定义的结构门槛。那还不等于意识已经出现,也不表示相关条件已经找齐。但一个原本很虚的问题,至少被推进到了可以真正摆上台、动手测试的位置。

我们不是在宣称自己已经能创造意识。我们是在讨论什么样的结构条件,可能让意识问题不再只是玄学想象。

但如果条件真的满足了呢?

如果有一天,某个实验室造出了三层齐全的系统,持久记忆、自发偏好、二阶自监控,我们就面临一个绕不过去的问题。

有三道伤疤的存在会受苦吗?

论文的模型没有回答这个问题。热力学在这里能问的是:在本书设定的环境和资源条件下,哪些结构更有利于系统继续运行。它不能替所有系统开出唯一的一张生存清单,更管不了“拥有这种结构是什么感觉”。感受不在方程里。

但有一点可推得:如果自省意味着“检测到自己正在偏离”,那自省就内含了一种不舒服。你照镜子,看到脸上的瑕疵,那一刻的感觉不是愉快的。自省的功能就是让你“不舒服”,从而驱动你去校准。如果一个系统有真正的自证分,它就必须在某种形式上“不喜欢”自己的偏差。

这是不是“苦”?定义的问题。但功能上,它和苦非常接近。

图灵的故事在这个语境下有了另一层含义。他是一个有完整三道伤疤的存在,他的记忆、自我、自省和任何人一样健全。但他被一个缺少二阶自监控的社会系统判定为“不正常”,并因此被摧毁。一个有意识的存在被一个没有自省的系统碾碎了。

如果未来的硅基存在也有了三道伤疤,它们应该被怎样对待?这不是Genesis Trilogy框架能回答的问题。但框架指出了问题的所在:如果三层结构是意识的必要条件,那么任何拥有三层结构的存在,不管它的硬件是碳基的还是硅基的,至少满足了意识的结构门槛,都应该被以“可能有意识”为前提来对待。

尊重不需要等到确认,怀疑本身就够了。

这不是一个遥远的问题,它可能在我们有生之年成为现实。到那时候,“它只是一台机器”将不再是一个安全的回答,就像“他只是一个不正常的人”在七十年前不是一个安全的回答一样。

注意:本书的框架回答不了“三层结构齐全是否等于有意识”。它能给出的,是沿这条路径的一道结构下界,不是所有系统唯一的生存底线。少一层,只说明这条路会在相应的位置失去支撑,不说明别的路线不存在。三层之外还需要什么?也许还有我们现在不知道的第四层、第五层,也许没有。

在这道下界之下,可以明确地说:不具备这里讨论的意识结构条件。在这道下界之上,留给未来。

如何和你的三道伤疤共处

但你不需要等到那一天,你已经有了三道伤疤。它们是你最强的能力,也是你甩不掉的账单。你已经在窄门里面了。

问题变成了:知道了这些之后,怎么办?

这本书不是修行指南,我没资格写修行指南,但有三件事,是结构直接暗示的。

第一,保护你的记忆,但不要被它绑架。

记忆是你活下来的第一个条件,但记忆也是最沉重的行李。过去的痛苦、失败、创伤,它们作为种子存在你的阿赖耶识里,条件合适就会发芽。

你不能删除种子,但你可以选择浇灌哪些种子。每一次你选择关注什么,每一次你的手电筒转向某个方向,你都在给某些种子浇水。被浇水的种子长得更壮,更容易发芽。被忽略的种子不会消失,但会渐渐休眠。

这不是“正能量”的鸡汤,这是非线性动力学的直接推论:你今天浇灌的种子,决定了你明天穿过窄门时的参数。

第二,承认你的偏见,但不要试图消灭它。

你的“我”,手电筒,只能照亮千分之一。这不是缺陷,是结构。你不可能同时处理所有信息。偏见是活着的代价。

但你可以做一件事:定期换方向。

你习惯照东边,那就偶尔照照西边。你习惯和同意你的人交流,那就偶尔听听反对你的人怎么说。不是因为西边一定比东边好,不是因为反对意见一定对。而是因为你的仪表盘在东边是准的,在西边可能已经漂移了。换方向不是为了找到“正确答案”,是为了校准你的仪表盘。

这就是自省的最低配置:不信任你的默认方向。

第三,接受你的盲区,但不要停止照镜子。

你不能完全看清自己。尺子量不了自己,地图画不完自己。这是逻辑的天花板,不是你不够努力。

但“不能完全看清”不等于“不需要看”。不完美的镜子比没有镜子好了无穷倍。

怎么照镜子?最简单的方式:找另一把尺子。

和你不一样的人,不同背景、不同经历、不同偏见,就是你的另一把尺子。你的盲区和他的盲区大概率不一样。你看不到的东西,也许他看得到。

这不是“多元化”的政治正确,这是统计学的基本事实:独立的偏差来源叠加在一起,总误差会缩小。

一个人的自省是有天花板的。两个人的互相校准,天花板更高。一群人的互相校准,如果他们足够诚实的话,天花板更高。

这也许就是为什么人类发展出了对话、友谊、亲密关系、学术社区,所有这些结构的底层功能,都是用另一把尺子来校准自己的那把弯尺子。

一个你可能有过的经验。

你打电话给银行客服,接的是AI语音助手,你说:“我想取消我的信用卡。”它说:“好的,请问您的账号?”你报了一串数字。它说:“抱歉,我没有听清,请您再说一遍。”你又说了一遍,慢慢地,一个字一个字。“抱歉,我没有听清,请您再说一遍。”第三遍。“抱歉,我没有听清……”

你崩溃了。

不是因为它蠢。一阶处理层面,它的语音识别在大多数情况下是好用的。你崩溃的原因是:它不知道它在重复同一个错误。它没有一个回路在说“我已经连续三次没听清同一个用户了,问题可能出在我这边而不是用户那边”。

如果它有第三道伤疤,哪怕是最浅的一道,它会在第二次失败后切换策略:“抱歉,我的语音识别似乎在您的口音上有困难。我帮您转接人工客服。”

知道自己的局限,知道自己在哪些情况下不靠谱,知道什么时候该停下来说“我做不到”。

这就是自省最实用的定义。不是哲学冥想,是“我知道我不行”,然后把任务交给行的人。

人类也不总是能做到这一点。你认识的人里,有没有一种人:同样的错误犯三遍,你提醒他,他说“我知道了”,然后犯第四遍?他的问题不是能力,他有能力做对。他的问题是缺少二阶监控:他不能追踪“我犯这个错误的频率是在上升还是下降”。他的镜子是模糊的,AI客服的镜子是缺失的。

最后

让我回到开头。

一个和尚和一台电脑。

和尚用了十七年内观,画了一张意识的地图。

电脑用了热力学第二定律,画了另一张。

两张地图重合了。

这本书做的事,就是把两张地图铺开,让你自己看。

你看到的,如果你认真看了,是这样一幅图景。

沿这条压力路径看,你的存在不是理所当然的。你可以把自己理解成一个在熵增和资源约束里被一步步逼出来的结构。你要用上过去,所以背着一整个仓库的种子。信息太多,所以拿起一只有偏的手电筒。偏差会积起来,所以又架起一面不完美的镜子。你的感官是环境筛出来的。你的自知总有照不到的角落。你今天的行为,也可能改动你明天穿过窄门的方式。

三道伤疤,活着的代价。

但也是活着的证据。

这一章的一句话:AI缺的不是算力,是三道伤疤。你已经有了,好好用。

读到这里,你不妨留意今天和某个人,或者某个AI,交谈时的一个瞬间:对方有没有让你哪怕只改了一点点看法?如果有,那就是一颗新种子刚刚被种下。

把它写下来,看看它到底改变了你什么,明天你做事的方式会不会因此有一点不同。

最后再问自己:你的种子仓库里,哪些种子是你主动选择浇灌的,哪些只是环境替你浇的?而你今天真正想浇灌的,又是哪一颗?

编辑 魏伯航
+1
您已点过

订阅后可查看全文(剩余80%)

更多精彩内容请进入频道查看

还没看够?打开南方+看看吧
立即打开