神经科学领域不断取得的发现是创造更高效的人工神经网络的灵感源泉，这些神经网络以与生物有机体相同的方式处理信息。这些网络最近在从棋盘游戏和视频 游戏到视频的细粒度理解等领域取得了巨大成功。然而，生物大脑有一个基本方面是人工神经网络尚未充分利用的：信息的时间编码。保留时间信息可以更好地表示动态特征，例如声音，并能够快速响应可能随时发生的事件。此外，尽管生物系统可以由数十亿个神经元组成，但信息可以通过单个神经元发射的单个信号（“脉冲”）来携带，信息编码在信号本身的时间中。基于
这一生物学见解，Ihmehimmeli 项目探索了人工脉冲神经网络如何利用各种架构和学习设置来利用时间动态。“Ihmehimmeli”是一个芬兰语的俏皮词，指的是一种复杂的工具或机械元件，其用途不容易立即掌握。这个词的本质体现了我们的目标是构建具有信息时间编码的复杂循环神经网络架构。我们使用具有时间编码方案的人工脉冲网络，其中更有趣或更令人惊讶的信息（例如更响亮的声音或更明亮的颜色）会导致更早的神经元脉冲。沿着信息处理层次，获胜的神经元是那些最先出现脉冲的神经元。这种编码可以自然地实现分类方案，其中输入特征被编码在其相应输入神经元的脉冲时间中，而输出类别由最早出现脉冲的输出神经元编码。
Ihmehimmeli 项目团队手持himmeli，这一符号象征着构建具有时间信息编码的循环神经网络架构的目标。
我们最近发布并开源了一个模型，其中我们展示了使用时间编码运行的全连接脉冲网络的计算能力。我们的模型使用受生物启发的突触传递函数，其中神经元膜上的电位响应传入信号而上升并随着时间的推移逐渐衰减，直到出现脉冲。相关变化的强度由连接的“权重”控制，这代表突触效率。至关重要的是，该公式允许突触后脉冲时间相对于突触前脉冲时间和权重的精确导数。训练网络的过程包括调整神经元之间的权重，这反过来又导致整个网络的脉冲时间调整。与传统的人工神经网络非常相似，这是使用反向传播完成的。我们使用同步脉冲（其时间也是通过反向传播学习的）为网络提供时间参考。
我们在经典的机器学习基准上训练网络，并使用时间编码的特征。脉冲网络成功学会了解决嘈杂的布尔逻辑问题，并在MNIST上实现了 97.96% 的测试准确率，这一结果可与具有相同架构的传统全连接网络相媲美。然而，与传统网络不同，我们的脉冲网络使用的编码通常更符合生物学原理，并且，在准确率略有降低的情况下，可以以高度节能的方式计算结果，如下所述。
在 MNIST 上训练脉冲网络时，我们观察到神经网络自发地在两种操作模式之间切换。在训练初期，网络表现出一种缓慢且高度准确的模式，其中几乎所有神经元都在网络做出决定之前发射。在训练后期，网络自发地转变为一种快速但准确率略低的模式。这种行为很有趣，因为我们没有明确优化它。因此，从某种意义上说，脉冲网络可以是“深思熟虑的”，或者当场做出快速决定。这让人想起人类决策中速度和准确性之间的权衡。
一个慢速（“深思熟虑”）网络（顶部）和一个快速（“冲动”）网络（底部）对同一个 MNIST 数字进行分类。这些图显示了各个层中各个神经元的脉冲时间的光栅图，同步脉冲以橙色显示。在此示例中，两个网络都正确地对数字进行了分类；总体而言，“慢速”网络比“快速”网络的准确率更高。
我们还能够通过逐步调整空白输入图像来恢复脉冲网络学习到的数字表示，以最大化目标输出神经元的响应。这表明网络学习的是类似人类的数字表示，而不是其他可能对人类来说看起来“陌生”的像素组合。拥有可解释的表示非常重要，这样才能理解网络真正在学习什么，并防止输入的微小变化导致结果的巨大变化。
网络如何“想象”数字 0、1、3 和 7。
这项工作是 Ihmehimmeli 项目在探索基于时间的生物启发计算潜力方面迈出的第一步的一个例子。在其他正在进行的实验中，我们正在使用时间编码训练脉冲网络来控制虚拟环境中人造昆虫的行走，或者从神经系统的发展中获得灵感，训练 2D 脉冲网格来使用轴突生长来预测单词。我们的目标是提高我们对自然为自然智能而进化的机制的熟悉程度，从而能够探索具有不同内部状态和状态转换的基于时间的人工神经网络。
致谢
本文所述工作的作者是 Iulia Comsa、Krzysztof Potempa、Luca Versari、Thomas Fischbacher、Andrea Gesmundo 和 Jyrki Alakuijala。我们感谢 Google 同事就这项工作提出的所有讨论和反馈。
评论