人工智能应用热力学计算系统丹尼斯·梅兰森,穆罕默德·阿布·哈特尔,麦克斯韦尔·艾弗,凯兰·多纳泰拉,马克斯·亨特·戈登,托马斯·阿勒,加文·克鲁克斯,安东尼奥·J·马丁内斯,法里斯·斯巴希 & 帕特里克·J·科尔斯 自然传播 volume16，文章编号：3757（2025年） 引用本文30k 访问8 引用76 Altmetric指标details摘要人工智能（AI）算法的最新突破凸显了需要替代计算硬件，才能真正释放人工智能的潜力。基于物理的硬件，如热力学计算，有潜力提供一种快速、低功耗的方式来加速人工智能原语，尤其是生成式人工智能和概率人工智能。在本研究中，我们提出了一个小规模热力学计算机，我们称之为随机处理单元。该器件由RLC电路组成，作为单胞，安装在印刷电路板上，共有8个单元格通过开关电容实现全对全耦合。它既可用于采样，也可用于线性代数原语，我们在硬件上演示了高斯采样和矩阵反演。后者代表了一个热力学线性代数实验。我们预计，当这些硬件规模放大时，将对加速各种概率型AI应用产生重大影响。类似内容被他人观看液气相变热传递人工智能的最新进展文章 开放获取 2024年3月30日受热力学启发的人工智能解释文章 开放获取 2024年9月9日人工智能驱动的开源基础设施，加速材料发现和先进制造文章 开放获取 2026年2月17日简介人工智能革命凸显了当今计算硬件的不足。人工智能领导者们曾争论 1,2机器学习目前停留在局部最优状态，如果该领域能摆脱当前的数字硬件，那么就能达到一个全局最优。模拟计算为当今数字计算机提供了一个有吸引力的替代方案，无论是能源效率方面，还是处理速度方面，如果能将模拟硬件的物理性能与人工智能算法的数学匹配，它有望实现。多个基于物理的模拟计算演示聚焦于优化3,4,5,6,7,8,9,10,11.概率人工智能是模拟硬件中特别有吸引力的应用场景。这一人工智能分支涉及贝叶斯推断、不确定性量化和抽样任务，并推动了生成式人工智能如扩散模型的近期突破。然而，在当前数字硬件上，它存在计算困难 12,13.有趣的是，概率人工智能的数学恰好与热力学相匹配14，这是经典物理的一个分支，涉及随机动力学。热力学在解决数学问题中的相关性，最近催生了热力学计算领域15，引发了多个硬件提案14,16,17,18,19,20,21,22,23,24,25其中包括一些应用于加速概率人工智能的应用14,16,17,21,22,23,24,25,26,27.热力学计算基于物理系统的随机动力学，这些动力学由保守力、耗散力和波动力的组合作用14,16,17.（本文讨论动态变量连续的情况，因为连续变量与生成式人工智能方法相关，如扩散模型、贝叶斯推断（通常涉及连续概率分布）和线性代数。）这些动力学称为朗之万动力学，可以用随机微分方程（SDEs）来建模：$${{{\rm{d}}}{{{\bf{x}}}={M}^{-1}{{{\bf{p}}}\，{{{\rm{d}}}}t$$ (1)$${{{\rm{d}}}{{{\bf{p}}}=-\nabla U{{{\rm{d}}}}t-\gamma {M}^{-1}{{{\bf{p}}}}\，{{\rm{d}}t+{{{\mathcal{N}}}}[0,2\gamma {\beta }^{-1}{\mathbb{I}}\，{{{\rm{d}}}t]，$$ (2)其中γ和β是正实常数，M可以是正实标量或正定矩阵。（这里的噪声项假设其协方差矩阵与恒等性成正比，即噪声无相关性，但一般来说，我们也可以用另一个正定矩阵替代恒等矩阵，以建模耦合到相关噪声源的系统 16,17.)向量 x 和 p 分别表示描述系统状态及其正规共轭动量的广义坐标，函数 U（x） 是势能，负责保守力。x的平稳分布称为吉布斯分布$$f（{{{\bf{x}}}}）=\frac{1}{Z}{e}^{-\beta U（{{{\bf{x}}}）}，$$ (3)其中配分函数Z通过归一化确定28.热力学计算机允许U（x）至少部分可编程，从而允许用户指定样本的分布f（x）。由于噪声实际上是硬件的一种理想特性，热力学计算机可能具有固有的噪声韧性14.注意，由于该方法依赖吉布斯分布，系统必须先达到平衡状态，才能获得有用的样本。这段时间称为平衡（或烧燃）时间。此外，如果在非常短的时间区间内抽取两个样本，两个数值会被关联。如果需要无相关样本，等待的时间尺度大致由系统的相关时间决定。平衡和相关时间对热力学算法的性能构成了重要约束。在本研究中，我们展示了热力学计算的实验演示。我们的设备是印刷电路板制造的，拥有8个完全连接的单元单元。我们既将这台计算机用作采样设备，从用户指定的高斯分布中采样，也作为线性代数设备，用于反演用户指定的矩阵。后者是热力学线性代数实验的实现。在补充信息中，我们还在硬件上演示了机器学习中重要的原语，包括谱归一化神经高斯过程29用于神经网络中的不确定性量化（概率人工智能中流行的方法30线性回归和高斯过程回归31.我们的原理验证展示了热力学优势可能成为现实的未来，即热力学计算机在速度和能效上优于数字计算机。事实上，理论上已经预测了渐近加速 16,17，这意味着存在一个阈值尺度（或问题规模），超过这个阈值，热力学计算机将超越竞争对手。我们在此展示的数值模拟表明，这一阈值尺度实际上是可实现的。为了最大化这一优势，有必要探索可能设计的空间并完善架构，以支持大规模CMOS的实现。通过我们的实验，我们了解到设备的特定架构存在扩展性限制，主要原因是电感器和变压器的使用。本文讨论了这些局限性，以及可能改进电路设计的方案，以提升性能和大规模制造的便利性。因此，这项工作代表了在识别高效且可扩展的热力学计算硅架构方面取得的实质性进展。选举结果随机处理单元我们现在介绍随机处理单元（SPU），如图左侧面板所示。1. SPU构建在印刷电路板上。从左下角到右上角，可以看到对应八个晶胞（LC电路）的元件线，而左上角三角形排列的元件则对应耦合晶胞的可控耦合。我们提到，我们建造了三个名义上相同的SPU电路，以测试实验结果的科学可重复性。图1：随机处理单元（SPU）。图1（左侧面板）我们8单元SPU的印刷电路板。（右侧面板）八个全对全耦合的单元胞示例，就像我们的SPU所示。每个单元包含一个LC谐振器和一个高斯电流噪声源，如右上角的电路图所示。底部的电路图展示了两个电容耦合的单元格。全尺寸图像SPU可以用数学方式建模为一组具有噪声电流驱动的电容耦合理想RLC电路。该模型的示意图见图的右侧面板。1. 进行简单的电路分析可以发现该电路的运动方程为$${{{\rm{d}}}{{{\bf{i}}}={{{{\bf{L}}}}}^{-1}{{\bf{v}}}\，{{{\rm{d}}}}}t$$ (4)$${{{\rm{d}}}{{{\bf{v}}}=-{{{\bf{C}}}}}^{-1}{{{\bf{R}}}}}^{-1}{{\bf{R^{-1}{{\bf{v}}}}\，{{{\rm{d}}}t-{{{{\bf{C}}}}}^{-1}{{\bf{i}}}}\，{{{\rm{d}}}}t+\sqrt{2{\kappa }_{0}}{{{{\bf{C}}}}}^{-1}{{{\mathcal{N}}}[0，{\mathbb{I}}\，{{{\rm{d}}}t]，$$ (5)其中\（{{{\bf{i}}}={\left（{I}_{L1}，\ldots {I}_{Ld}\right）}^{{{\rm{T}}}}}\）是电感电流矢量，\（{{\bf{v}}}}={\left（{V}_{C1}，\ldots {V}_{Cd}\right）}^{{{\rm{T}}}}}\）是电容电压矢量。在上述中，C 是麦克斯韦电容矩阵，其对角元素为 \（{{{\bf{C}}}}}_{ii}={C}_{ii}+\mathop{\sum }_{j=1}^{d}{C}_{ij}\），其非对角元素为 C我j= −C我j.每个单元格中电阻和电感的值分别由矩阵 \（{{{\bf{R}}}}=R{\mathbb{I}}\）和 \（{{{\bf{L}}}}=L{\mathbb{I}}\）表示。最后，\（{{{\mathcal{N}}}[0，{\mathbb{I}}\，{{{\rm{d}}}t]\）表示均值零正态分布随机位移，协方差矩阵为 \（{\mathbb{I}}\，{{\rm{d}}}t\）和κ0是电流噪声源的功率谱密度。在此实现中，为了使噪声振幅达到足够大，噪声源是由数字控制器生成的可控随机比特流（详见补充信息）。如果噪声驱动电流的大小大于系统内的固有噪声，则 κ0可以被看作是热力学计算的有效温度控制。方程（4）和（5）可以通过改变坐标映射到朗之万方程（1）和（2）。具体来说，我们引入磁通量矢量φ和麦克斯韦电荷矢量q，定义为$${{{\boldsymbol{\phi }}}}=L{{{\bf{i}}}，\quad {{{\bf{q}}}={{{\bf{C}}}}{{{\bf{v}}{{{\bf{v}}}.$$ (6)如补充信息所示，φ和q是规范共轭坐标，φ扮演位置，q扮演动量。我们还引入了一个有效逆温度参数 \（\beta=\gamma {\kappa }_{0}^{-1}\）。就这些变量而言，方程。（4） 和 （5） 变为$${{{\rm{d}}}{{{\boldsymbol{\phi }}}={{{{\bf{C}}}}}^{-1}{{\bf{q}}}\，{{{\rm{d}}}t$$ (7)$${{{\rm{d}}}{{{\bf{q}}}=-{L}^{-1}{{\boldsymbol{\phi }}}}\，{{{\rm{d}t-{R}^{-1}{{{\bf{C}}}}}^{-1}{{\bf{C^}\，{{{\rm{d}}}}t+{{{\mathcal{N}}}}[0,2{R}^{-1}{\beta }^{-1}{\mathbb{I}}\，{{{\rm{d}}}t].$$ (8)很明显，方程。当我们对称 x = φ，p = q，M = C，γ = R 时，（7） 和 （8） 等价于 （1） 和 （2）−1，以及\（U（{{{\bf{x}}}}）=U\left（{{{\boldsymbol{\phi }}}\right）=\frac{1}{2}{{{\boldsymbol{\phi }}}}}^{T}{{{\bf{L}}}}}^{-1}{{\boldsymbol{\phi }}}\）\）。在这些坐标中，系统无噪声或耗散的哈密顿量表示为$${{{\mathcal{H}}}}\left（{{{\boldsymbol{\phi }}}}，{{{\bf{q}}}}\right）=\frac{1}{2}{{{\boldsymbol{\phi }}}}}^{T}{{{\bf{L}}}}}^{-1}{{\boldsymbol{\phi }}}}+\frac{1}{2}{{{\bf{q}}}}}^{T}{{{{\bf{C}}}}}^{-1}{{\bf{q}，$$ (9)因此，方程的平稳分布也随之产生。（7） 和 （8） 是由下式给出的吉布斯分布$${{{\boldsymbol{\phi }}}} \sim {{{\mathcal{N}}}[0，{\beta }^{-1}{{{\bf{L}}}]，\quad {{{\bf{q}} \sim {{{\mathcal{N}}}}[0，{\beta }^{-1}{{{\bf{C}}}}]，$$ (10)其中φ 和 q 彼此独立。达到吉布斯分布的时间，即平衡时间，与相关时间τ密切相关科尔，因为平衡可以解释为系统与初始状态的去相关。所以这两个时间点本质上是相同的。虽然以系统反相关时间给出的抽样率保证了样本无相关性，但实际上可以更快地采样并保持良好性能，详见补充信息。对于我们的SPU，相关函数以时间常数约为 呈指数衰减$${\tau }_{{{{\rm{corr}}}}}\approx R{c}_{\max }，$$ (11)其中 \（{c}_{\max }\） 是 C 的最大特征值（参见例如参考文献。16).（对其他电路参数有一些小的修正，但影响相对较小。）为了使相关函数衰减到其原始大小的1%以下，我们可以等待至少5τ的区间科尔例如。如果在器件达到平衡后定期测量电容器两端的电压v，会发现电压样品的协方差矩阵为$${{{\mathbf{\Sigma }}}}}_{{{{\bf{v}}}}}=R{\kappa }_{0}{{{{\bf{C}}}}}^{-1}.$$ (12)我们现在描述该计算系统如何用于各种数学原语。高斯采样让我们描述如何使用热力学计算机进行高斯采样。考虑一个零均值多元高斯分布（因为我们总能用常数向量平移样本生成非零均值）：$${{{\mathcal{N}}}}（{{{\bf{x}}}}|{{{\mathbf{\Sigma }}}}）=\frac{1}{\sqrt{{（2\pi ）}^{N}|{{{\mathbf{\Sigma }}}}|}}\exp \left（-\frac{1}{2}{{{{\bf{x}}}}}^{T}{{{{\mathbf{\Sigma }}}}}^{-1}{{{\bf{x}}}}\right），$$ (13)其中 Σ 是协方差矩阵。这里，我们考虑用户提供精度矩阵P = Σ的情况−1与期望的高斯分布相关联（关于用户提供协方差矩阵Σ的替代情况，请参见补充信息）。如上所述，SPU中电压和电流的平稳分布依赖于电路中无噪声和无耗散的哈密顿量。耦合振荡器系统的哈密顿量（详见补充信息）由下式给出：$${{{\mathcal{H}}}}\left（{{{\bf{i}}}}，{{{\bf{v}}}}\right）=\frac{1}{2}{{\bf{v}}}}}^{T}{{\bf{C}}}{{{\bf{v}}}}+\frac{1}{2}{{{{\bf{i}}}}}^{T}{{\bf{L}}}}{\bf{i}，$$ (14)其中i是每个晶胞中电感电流的向量，v是每个晶胞中电容两端电压的向量，C是麦克斯韦电容矩阵，L是电感矩阵。在热平衡时，动力学变量按玻尔兹曼分布分布，与 \（\exp （-{{\mathcal{H}}}}/kT）\）成正比，因此 v 正态分布如下：$${{{\bf{v}}}} \sim {{{\mathcal{N}}}}[{{{\bf{0}}}}，kT{{{{\bf{C}}}}}^{-1}]$$ (15)因此，如果用户指定精度矩阵P，则通过选择麦克斯韦电容矩阵为：即可得到v的正确分布：[数学处理错误](16)因此，这描述了我们如何将用户指定的矩阵映射到电气元件值矩阵，以获得所需的分布。图2是对我们SPU进行的高斯采样实验的可视化（这里报告的是两个晶胞的数据，其他结果请参见补充信息）。可以很好地与理论分布及其边际分布一致。还可以看到，随着样本收集的增加，分布矩相关的误差会随时间降低。图2：在SPU上采样二维高斯分布。图2测量了SPU两个耦合电池的电压，频率为12 MHz。左上角：i单元边缘的直方图。右上角：目标协方差矩阵与器件协方差矩阵（缩写为Cov.）之间的绝对误差，类似地表示偏度和峰度（分别缩写为Skew.和Kurt.），均采用Frobenius范数计算。左下角：两个单元电压样本的散点图。右下角：单元格j边缘的直方图。对于边缘图，理论目标边际线以实线红色曲线覆盖。同样，对于二维图，理论上对应于均值两个标准差的曲线被叠加为实线红色曲线。源数据以源数据文件形式提供。全尺寸图像Matrix inversionThe second primitive we will consider is matrix inversion, which was discussed in the context of thermodynamic computing in ref. 16. Following that reference, we envision the user encoding their matrix A in the precision matrix P of the associated Gaussian distribution that will be sampled. Hence from Eq. (16), the Maxwell capacitance matrix of the hardware is given by C = kTA. Choosing this Maxwell capacitance matrix, we find from Eq. (15) that at thermal equilibrium, the voltage vector is distributed according to[Math Processing Error](17)因此，我们可以通过收集热平衡的电压样本并计算样本协方差矩阵，即可逆矩阵A。（这假设 A 是一个正半正定矩阵（PSD），尽管可以通过预处理步骤扩展到非 PSD 矩阵16).图3展示了8×8矩阵反演的结果。我们在三个不同的SPU副本上执行该算法，它们名义上相同（但由于元件公差可能略有差异）。正如图所示，三个SPU都获得了类似的结果。3A，对于证明科学可重复性非常有用。事实上，可以看到误差（即SPU逆与目标逆之间的相对弗罗贝尼乌斯误差）随着样本数增加而降低。SPU反向图在收集数千个样本后，外观上与目标反向相似。此外，图。3B 表示 SPU 逆的时间演化。你可以在图中看到。3B，即随着样本收集的增加，SPU逆函数逐渐看起来越来越接近真逆。图3：8×8矩阵的热力学反演。图3该实验在三台不同（但名义上完全相同）的SPU复制品上独立完成。A 输入矩阵A及其真逆矩阵A−1分别出现在第一和第二格中。相对弗罗贝尼乌斯误差与样本数的关系在第三块面板中绘制，针对三个SPU中的每个。右侧三块面板展示了在每个SPU上采集了12,000个样本后，实验确定的反向结果。B 展示了热力学矩阵反演的时间进程。从左到右，从SPU收集更多样本以计算矩阵反演。采样数和反演误差均标注于每个面板下方。随着样本增加，结果的反演变更接近目标反对。源数据以源数据文件形式提供。