现代智能机器的诞生，离不开对复杂材料物理学的深刻理解。

自旋玻璃或许是人类发现过的“最无用也最有用”的东西。

这些通常由金属而非玻璃制成的材料展现出令人费解的行为，自20世纪中期起就吸引了一小群物理学家的关注。虽然自旋玻璃本身并未找到任何实际的材料用途，但因解释其奇特行为而发展出的理论，最终却引发了当今人工智能的革命。

1982年，凝聚态物理学家约翰 · 霍普菲尔德（John Hopfield）借用了自旋玻璃的物理概念，构建出一种能够学习和记忆的简单网络。在此过程中，他重振了神经网络（由数字神经元组成的错综网络）这一曾被大多人工智能研究者放弃的研究领域，并将物理学带入了一个全新的领域：思维研究，包括生物思维和机械思维。

霍普菲尔德将记忆重新设想为一个统计力学（研究“集体行为”的物理学）中的经典问题：给定一定的组成成分，这个系统整体将如何演化？对于任何简单的物理系统（包括自旋玻璃在内），其答案源自热力学：系统将“趋向低能量状态”。霍普菲尔德找到了一种方法，利用集体系统的这一简单特性，通过数字神经元网络来存储和调用数据。更专业地说，他找到了一种将记忆置于能量斜坡底部的方法。要唤起一段记忆，这种后来被称为霍普菲尔德网络（Hopfield network）的神经网络无须查询任何东西。它只需“顺坡而下”。

米兰博科尼大学的理论物理学家马克 · 梅扎尔（Marc Mézard）说，霍普菲尔德网络是一次 “概念上的突破”。通过借鉴自旋玻璃的物理学原理，后来的人工智能研究者可以“使用所有为这些旧的物理学系统所开发的工具”。

2024年，霍普菲尔德与他的同行杰弗里 · 辛顿（Geoffrey Hinton，人工智能先驱）因在神经网络统计物理方面的研究，获得了诺贝尔物理学奖。有人抱怨这似乎更像是对人工智能研究的褒奖，而非纯粹的物理学。但自旋玻璃的物理学并没有因为帮助建立记忆模型和思维机器而失去其“物理性”。如今，一些研究人员相信，霍普菲尔德曾用来赋予机器记忆的同一套物理学，或许也能帮助机器“想象”，并打造出我们能够真正理解的神经网络。

涌现的记忆

霍普菲尔德的职业生涯始于20世纪60年代从事半导体物理学研究。但到了60年代末，“在凝聚态物理领域，似乎再也找不到能够让我发挥才能的问题了”。他在2018年的一篇文章中写道。于是，他开始寻找新方向。在涉足生物化学领域并提出了一个解释生物体如何“校对”生化反应的理论后，霍普菲尔德转向了神经科学。

美国物理学家约翰·霍普菲尔德开发了一个神经网络模型，为现代人工智能奠定了基础。照片摄于1988年

“我在寻找一个‘问题’，而不是一个难题。”他在文章中回忆道，并强调必须找出真正重要的科学问题。“对我而言，大脑如何产生思维是我们人类提出的最深刻问题。这无疑是一个‘大问题’。”

霍普菲尔德意识到，联想记忆正是这个“大问题”的一部分，而他的凝聚态物理学工具箱或许能派上用场。

在传统计算机中，数据以静态形式存储，并通过地址访问。这个地址与存储的信息本身并无关联，只是一个访问代码。因此，如果地址稍有错误，就会访问到完全错误的数据。

而人类的记忆却并非如此。我们常常通过联想来记忆。一丝线索或一个记忆碎片，会让整件事情涌上心头。比如闻到丁香花的香味时，会想起童年在爷爷花园中的一段往事；又或者，听到一首歌的前几句，就能情不自禁地唱出整首你自以为已忘记的歌曲。

霍普菲尔德花了数年时间研究联想记忆，并试图将其翻译为神经网络模型。他对随机连接的神经网络和其他潜在的记忆模型进行了修补。起初结果并不理想，直到最后，霍普菲尔德找到了解决这个“大问题”的一个意想不到的关键点。

自旋玻璃

神经元相互作用的简化模型与磁性自旋的伊辛模型有许多相似之处。首先，神经元通常被建模为基本的二元开关：要么激活（发放信号），要么不激活（静止）。同样，自旋也可以向上或向下。此外，一个激活神经元可以促进或抑制其相邻神经元的激活。神经元之间这些可变的相互作用强度让人联想到自旋玻璃中自旋之间可变的相互作用强度。瑞士联邦理工学院洛桑分校（EPFL）的物理学家兼计算机科学家伦卡 · 兹德博罗娃（Lenka Zdeborová）说：“从数学角度讲，可以将这些自旋或原子替换为其他系统，用同样的工具描述。”

霍普菲尔德的网络由一组人工神经元构成。这些神经元既可以处于“开”（激活）状态，也可以处于“关”（静止）状态。每个神经元都会影响其他神经元的状态，而这些交互作用是可以调整的。网络在任何给定时刻的整体状态取决于哪些神经元激活、哪些静止。这两种状态可以用二进制编码：激活为1，静止为0。将整个网络在某一时刻的状态写出来，就得到了一串比特。确切地说，这种网络并不“存储”信息，它本身就构成了信息。

为了向网络 “教授”某种模式，霍普菲尔德通过调整神经元之间的相互作用强度来“雕刻”其能量景观，从而使目标模式处于一个低能稳定态中。该状态一旦达成，网络就不再演化，而是稳定地停留在该模式。霍普菲尔德制定了一条类似神经科学经典法则“共同激活的神经元更易连接”的训练规则。他提高目标状态下共同激活（或共同静止）神经元之间的交互强度，削弱不一致神经元之间的联结。一旦网络通过这种方式学会了一种模式，网络就可以通过网络能量景观的下坡导航再次达到这种模式；当它进入平衡状态时，就会自然而然地达到这种模式。

“霍普菲尔德建立起其中的联系并说：‘看，如果我们能调整自旋玻璃中的交换耦合，也许我们就能塑造这些平衡点，使其变成记忆。’”梅扎尔说。

霍普菲尔德网络可以存储多重记忆，每段记忆都有自己的能量谷。网络最终落入哪个谷，取决于初始状态在能量景观中的位置。例如，在一个存储了猫和宇宙飞船图像的网络中，如果初始状态具备“猫”的模糊特征，最终很可能滚入“猫谷”。 同样地，如果网络的初始状态呈现出飞船的几何结构，则通常会促使网络趋向“飞船谷”。这正是霍普菲尔德网络成为联想记忆模型的核心原因：给它一段残缺或模糊的记忆，它会动态重建出整段记忆。

2024年12月，杰弗里·辛顿（左）和约翰·霍普菲尔德在斯德哥尔摩举行的仪式上接受诺贝尔物理学奖。该奖项旨在表彰他们在最早期神经网络模型方面所做的开创性工作，这些模型基于自旋玻璃的物理学原理而设计

伦卡·兹德博罗娃是瑞士联邦理工学院洛桑分校的物理学家与计算机科学家，研究物质物理学如何帮助建模机器学习算法的行为

旧模型，新思路

从1983年到1985年，辛顿和他的同事们在霍普菲尔德工作的基础上继续努力。他们找到了将随机性注入霍普菲尔德网络的方法，从而创建了一种新型的神经网络——玻尔兹曼机。这些网络不再“记忆”而是学习训练数据中的统计模式，并生成与这些模式相匹配的新数据，这可谓是早期的生成式人工智能。进入21世纪初期，辛顿利用精简版的玻尔兹曼机，成功破解了训练“深层”神经网络（由多层神经元组成）这一长期难题。

到2012年，辛顿和其他先驱开发的深度神经网络取得的成功已不容忽视。“很明显，这些模型的实际效果非常好，而且正在改变整个科技行业。” 兹德博罗娃说。我们今天日常接触的生成式人工智能模型，包括ChatGPT等大型语言模型和Midjourney等图像生成模型，皆属于深度神经网络。它们的成功可以追溯至20世纪70年代那些不愿让“无用”的自旋玻璃性质无解的好奇物理学家们。

然而，霍普菲尔德网络并不仅仅是人工智能的过去。得益于一些新思路，这些旧模型也可能迎来复兴。

2016年，霍普菲尔德和IBM研究院的德米特里 · 克罗托夫（Dmitry Krotov）意识到，霍普菲尔德网络其实不仅仅是一种模型，更是一个具有不同记忆存储能力的模型族。随后，在2020年，另一个团队发现，变换器架构（最成功的现代人工智能模型的蓝图）的一个关键部分也属于扩展版的霍普菲尔德网络族。

基于这一发现，克罗托夫和他的同事们最近开发出了一种新的深度学习架构：能量变换器。典型的人工智能架构多是凭经验摸索出来的。但克罗托夫认为，能量变换器可以根据特定的能量状况进行更有目的性的设计，就像一个更复杂的霍普菲尔德网络。

虽然霍普菲尔德网络最初是为“记忆”而设计的，但研究人员如今正探索其“创造”能力。图像生成模型如Midjourney由“扩散模型”驱动，而该模型本身受到扩散物理过程的启发。为了训练这些模型，研究者在训练数据（例如猫的图像）中加入噪声，再训练模型去除噪声。这与霍普菲尔德网络的工作方式非常相似，只是扩散模型不会每次都回到同一张猫图像上，而是从嘈杂、随机的起始状态中去除“非猫”噪声，从而生成新的猫图像。

德米特里·克罗托夫是IBM研究院的计算机科学家，他指出，当今一些最先进的人工智能模型采用的基本原理，与霍普菲尔德网络最初使用的原则如出一辙

克罗托夫与其同事发现，扩散模型其实可以被视为现代霍普菲尔德网络的一种特例。这一视角可用于预测这些网络的行为。他们的研究表明，向现代霍普菲尔德网络提供越来越多的数据，不会导致记忆饱和，而是会使网络的能量景观变得更加崎岖，最终它更有可能建立一个虚构的记忆，而不是一个真实的记忆。它变成了一个扩散模型。

对于物理学家而言，量变（这里指的是训练数据的数量）引发质变并不新奇。正如著名凝聚态物理学家菲利普 · 安德森（Philip Anderson）在1972年所言：“更多即不同。”在集体系统中，仅仅扩大各部分之间的相互作用网络，就可能产生令人惊讶的新行为。“（神经网络）能起作用是一种涌现属性。”梅扎尔说。

无论是在深度学习架构中，还是在大脑中，涌现现象既令人着迷，也难以捉摸；目前还没有关于涌现的统一理论。而统计物理学，作为最早揭示集体行为的工具，或许正是我们理解这些难以解释的人工智能问题的关键。

资料来源 Quanta Magazine

__________________

本文作者埃莉斯·卡茨（Elise Cutts）原本是一位地球生物学家，后来意识到撰写科学文章比自己动手做科学研究有趣得多，便成了一位科学作家。