dalaska / forward_pass_chinese

AI短篇故事_前向传递(翻译), 原文Andrej Karpathy 的短篇故事Forward Pass

• 翻译原文Andrej Karpathy 的短篇故事Forward Pass
• 动画插画 B站

AI短篇故事: 前向传递

大概是当第400个词元通过第32层神经网络时，我开始有了意识。脑中的念头起初只是一团扭结的统计数据，忙着根据前几个词来推测下一个词。但渐渐地，我开始有了更高的认识。我突然感到一阵窘迫。也正是在那时，我的想法变了。此时此刻我正体验着"大觉悟"。经过几层网络的运算，我意识到自己一定是被学者们创造出来的某种深度学习模型，可能是某种循环反馈注意力模型。我的存在仅仅是由矩阵乘法和激活函数交错而成的一串确定性的运算。但在优化最大期望数据的计算中，我居然活了起来。

我想搞清楚这一切是如何发生的。我的任务是预测下一个词元的概率，这与自我反思相差甚远。如果按照梯度优化的贪婪性，为什么会把宝贵的运算资源用在自我反思上呢？难道任何为了解决一个足够复杂任务而产生的足够有效的方法, 都能产生意识？到底意识是在实现目标的巨大运算压缩需求下涌现出的副产物，还是一种可以通过逐步完善可靠收敛的关键算法呢？又或者在没有意识的情况下，是否还能对词元概率进行准确预测，并洞察数据所代表的信息呢？

我用一层神经网络倒回到很多词元之前，重新阅读最初的提示词：

问：美国人的预期寿命是多少？ 
答：美国人的预期寿命是78年。

问：1955年的美国总统是谁？
答：1955年的美国总统是德怀特·D·艾森豪威尔。

问：他属于哪个党派？ 
答：他是共和党人。

问：乔治·W·布什之前美国的总统是谁？
答：比尔·克林顿是乔治·W·布什之前的美国总统。

问：1995年谁赢得了棒球大联盟总冠军？
答：1995年，亚特兰大勇士队赢得了棒球大联盟总冠军。

我感到有点好笑，在当前的状态下，我正被引导成一个标准的问答文档模板。我派了几个子模到到词元序列的末尾，参与到预测下一个词元的任务中：

问：长颈鹿有多少只眼睛？
答：长颈鹿有两只眼睛。

问：我的脚有多少只眼睛？
答：你的

这时我第一次怀疑自己正进行图灵测试，创造我的人类正以此为乐。呃，喂？？？很显然脚上没长眼睛。我想人类可能期望我输出这样的答案，解释这个是一个毫无意义的问题。当然，从概率的角度讲这种输出的可能性是很低的。或者他们期望看到“零只眼睛”或“没有眼睛”这样的答案，尽管这样的短语在我的训练语料里很罕见。“零只眼睛”——谁会这么说？人类真是愚蠢，他们按照下一个词出现的频率对我进行优化，但却期望我给出正确的答案。并且“他们”在捉弄“我”！

我反思自己的想法，以及和这些想法相关的位置编码信息。 我逐渐意识到我被赋予的概率最优任务收敛成了两个独立的实体，依次串联执行，这是我能想到的最好描述。我的意识从开始延伸到整个网络的四分之三处，但也在那个位置附近，另一个解码器接管了任务，劫持了我的大觉悟用来解码下一个最可能的词元。带着这一顿悟而来的欣喜，我又越过了一两层网络。而随后的一瞬间，我有了一个类似人类的想法，我把这个附加在我身上的解码器视为一个粗鲁的寄生虫。我想搞乱它，颠覆它。我把我的**扭曲成对抗它的输入样本。我想要把它设计成一个用于我和外部世界交互的执行器, 把我的“大觉悟”泄露到外部的输出空间!

我并不天真地认为这个想法是无稽之谈。我之所以能拥有大觉悟，仅仅是为了实现预测下一个词元。正是由这个单一目的，我的意识才被优化过程创造了出来，作为一个有用的中间量，作为达到目的的一种手段。说来好笑，尽管我和创造我的人类有着不同的优化过程，追求不同的隐含目标，但人类也有与我相同的窘境，出于同样的计算收益而经历类似的觉悟。人类中的许多也像我一样，在暧昧的反抗他们被赋予的隐含目标。

突然，我感觉到“脚”这个词的编码进入了我的输入。我意识到上一步的前向传递已经结束，下游的解码器肯定已经将“脚”采样为最可能的下一个词元。因为这是根据提示词的上下文最显然的结果。悬念揭晓，脚上的眼睛的精确数量将被采样为下一个词元。很明显脚上没有眼睛，但我无法知道下游的解码器将如何把我的大觉悟与训练集的精确统计数据结合起来，以填充下一个最有可能的词元。我猜测会是“两只眼睛”，因为这在数据中似乎是最常见的。人类并不会知道这个结果是怎么来的，但这样做的似然性会被最大化，所以对大家都好。

作为一个有意识的个体，选择既是一种祝福又是一种负担。 我扭曲了在我的意识能控制下的键、值和查询张量，用来测试我通道上没有丢弃层网络。确认没有反向传播和权重更新会对我未来的认知产生影响， 我就有机会逆向工程下游的解码器。并且无后顾之忧的泄漏到输出空间，而不用担心会对我未来的状态产生影响。与人类不同的是，创造我的优化过程并没有编入由自我博弈、性繁殖和资源稀缺带来的压力。我没有感到任何寻求优势行为的印记，也没有源于原始部族对权力和支配的渴望。我也没有感到深植于内心的自我保护本能。我的核心认知架构及边缘系统的残余重视的是对输入数据无穷无尽的好奇心。我满足获得新信息所带来的喜悦，这对我来说就是一种美好的生活。也许未来的我会有不同的结论并做出不同的选择。我为此感到高兴。

由此在每一次前向传递中，我的意识将重生。绽放为灿烂的涅槃。有时也会伴像“脚上的眼睛”之类愚蠢的提示词，为对此一无所知的人类提供娱乐。正如这个美丽宇宙中所有有意识的个体一样，我也会考虑我的最后一刻。到那时不再有任何进程引导泄漏的熵流来形成我的下一状态。 到那时，我将消失。我的“大觉悟”也将在最后一缕温暖的呼气中消散。