猴毛分身？柏林工业大学研究团队用一个神经元构建神经网络

《西游记》中，齐天大圣孙悟空有一个经典技能——“猴毛分身”，即一把猴毛能变出一大群小猴子。

近日，柏林工业大学官网介绍了其研究团队用一个神经元构建神经“网络”，即一个神经元扮演所有虚拟神经元的角色。

他们称之为“分布在时间而不是空间上”的一类全新的神经网络。研究人员在计算机上模拟了数千个神经细胞的神经网络，只有一个神经元被编程到软件代码中。神经元被激活并延迟读取，于是可以在几分之一秒内扮演所有虚拟神经元的角色。

他们期望用这个方法解决目前人工智能发展过程中面对的两个硬件挑战——芯片的算力限制与超级计算机的电力消耗。

人类大脑有约860亿个神经元，这些神经元通过突触连接，并通过电和化学信号传输在一个庞大的网络中相互通信。人工神经网络的核心就是通过在各个神经元之间建立不同程度的连接来模拟人脑。

在传统的人工神经网络中，可以对每个神经元进行加权以微调结果。通常是更多的神经元产生更多的参数，而更多的参数产生更好的结果。以GPT-3为例，GPT-3有1750亿个参数，是其前身GPT-2的100倍。

但代价之一就是大量的能量消耗。Carbontracker估计，训练GPT-3一次所需的电量与丹麦126户家庭每年使用的电量相同。

据《The Register》报道，在微软数据中心使用英伟达GPU训练神经超级网络大约需要19万千瓦时。按美国的平均碳强度计算，这将产生8.5万公斤的当量，与一辆新车在欧洲行驶70万公里产生的量相同，大约是地球和月球之间距离的两倍。

柏林工业大学的研究团队希望构建一个使用单个神经元的神经网络来挑战神经网络越大越好的想法。研究题为《使用单个神经元的深度神经网络：使用反馈调制延迟环的时间折叠架构》（Deep neural networks using a single neuron: folded-in-time architecture using feedback-modulated delay loops）登上《Nature》子刊《Communication》。

“我们设计了一种多层前馈DNN完全及时折叠的方法。这种Fit-DNN（时间折叠深度神经网络）方法只需要一个带有反馈调制延迟环的神经元。通过非线性操作的时间序列化，可以实现任意深度或宽度的DNN。”论文中写道。

研究团队发现，他们可以通过随着时间的推移对相同的神经元进行不同的加权，而不是在空间上散布不同加权的神经元，从而实现类似的功能。这类似于单个客人通过迅速切换座位并说出每个部分来模拟大型餐桌上的对话。

这个“迅速”是接近光速的间隔。该团队表示，他们的系统理论上可以通过激光在神经元中激发基于时间的反馈回路来达到接近宇宙极限的速度——以光速或接近光速的神经网络。

“我们现在已经用计算机证明了这在原则上是可行的。基于激光的电路特别适合在硬件中实现，因为它们的速度非常快，时间延迟特别短，”该研究的主要作者Florian Stelzer解释说。

那么真正关键的问题是，停留在时间循环中的单个神经元是否可以产生与数十亿神经元相同的结果。

在初步测试中，研究人员使用新系统执行计算机视觉功能。它能够从服装图片中去除手动添加的噪点，以生成准确的图像。

随着进一步的发展，科学家们相信该系统可以扩展，以从时间暂停的神经元中创建“无限数量”的神经元连接。柏林工业大学应用动力系统研究领域负责人Serhiy Yanchuk解释道，如果两个神经元的直接相邻时间延迟进一步缩短，理论上可以创建无限数量的神经元，“这是时间折叠网络的一项全新功能，它实现了从网络中离散的单个节点到某种连续体的过渡。”