【博士每天一篇文献-模型】Deep learning incorporating biologically inspired neural dynamics and in memory

Deep learning incorporating biologically inspired neural dynamics and in memory computing

阅读时间：2023-10-20

1 创新点介绍

将深度学习应用于脉冲神经网络（SNNs），并结合了生物学启发的神经动力学和内存计算。作者提出了一种名为脉冲神经单元（SNU）的新方法，该方法将SNNs的时间动力学与人工神经网络（ANNs）的计算能力相结合。SNUs可以作为SNNs使用阶跃函数激活，也可以使用连续激活作为ANNs。

2 系统模型

脉冲神经网络常使用LIF（Leaky Integrate-and-Fire）神经元来模拟脉冲活动。LIF神经元的动力学由微分方程描述，其中Vm（t）表示膜电位，R和C分别表示神经元细胞体的电阻和电容。输入电流通过突触权重调制，并通过离子通道在膜电位中积分。当膜电位越过激活阈值时，发射输出脉冲，并将膜电位重置为静息状态。这种方法为研究脉冲神经网络中的LIF动力学提供了基本框架。
将LIF动力学引入到一个人工神经网络单元中，被称为脉冲神经元单元（SNU）。SNU由两个人工神经元子单元组成：N1模拟膜电位积累动力学，N2实现脉冲发射。膜电位状态变量的积分动力学通过与N1的自环连接实现。脉冲发射通过具有阶跃激活函数的神经元N2实现。同时，N2的激活通过对N1上的自环连接进行门控以重置状态变量。
SNU的数学表达式如下所示：
$$\begin{gathered} st=g(W{x}_t+l(\tau )\odot s_{t-1}\odot (1-y_{t-1})) \\ yt=h(s_t+b) \end{gathered}$$
其中，$s_t$是内部状态变量的向量，由$N_1$子单元计算得出；$y_t$是输出向量，由$N_2$子单元计算得出；g是输入激活函数；h是输出激活函数； ⊙表示逐元素向量乘法。

RN、LSTM、GRU和SNU结构对比

3 实验分析

对比ANN、SNN、SNU、LSTM、所有网络都使用BPTT算法
对于手写数字识别任务，7层SNN的平均识别准确率达到了98.47%。与各种循环神经网络（LSTM和GRU）相比，具有相似结构的SNU-based网络在准确性上达到最高水平。使用4层网络和sSNUs获得了最好的结果，准确率达到了98.5%。

4 代码

https://github.com/takyamamoto/SNU_Chainer?utm_source=catalyzex.com