LIF神经元介绍

Integrate-And-Fire Models

---

基础知识

轴突：动作电位（电位差形成电流）=神经递质发放=脉冲产生
树突或细胞体：神经递质的接受=产生内外膜电位差（电流产生）=接收脉冲
脉冲编码：多采用平均发放率，计算在一段时间内的。
泄露电流（对于与LIF中的L（leaky））：生物概念，膜电压沿轴突传递过程中的损失，在硬件电路中用电阻代替。

概述

神经元动力学可以被设想为一个总和过程(有时也称为“集成”过程)，并结合一种触发动作电位高于临界电压的机制。
一般来所，$V_{rest}$<$V_{th}$，当$V_i(t)$（对所有所输入求和后的所得到电压）上升到阈值$\theta$时就会引起动作电位从而产生脉冲。发放的脉冲的形状是相似的，其传递的信息实质在于某时刻脉冲的有无。
动作电位被称为事件（忽视脉冲的形状）的神经元模型被称为IF模型。对于描述IF模型，我们需要两样东西：
1.膜电位$V_i(t)$的公式
2.产生脉冲的机制

LF模型

硬件模型：IF模型只有一个电容，没有并联的电阻，因为电阻实际等效于泄露电流，对应LIF模型。
$\begin{array}{rcl} \frac{dV } {dt} & =& \frac{1} {C}I(t)\end{array}$

LIF模型

当然我们侧重的并不是IF模型，而是 leaky integrate-and-fire模型（LIF），后者比前者更加接近真实的生物神经元，leaky表示泄露，由于细胞膜是不断进行膜内外离子的交换，所以当只有一次输入时，电压会自动发生泄漏逐渐回落到静息状态。对于LIF模型一般是认为先下降低于$V_{rest}$,再上升的静息电位处，而IF神经元一般是认为直接回落到静息状态处，这里涉及到一个reset电位。这里的reset可以看成输入一个短暂的电流脉冲$I_{r}=-q_{r}\,\sum_{f}\delta(t-t^{(f)})=-C\,(\vartheta-u_{r})S(t)\,,$
其中$q_{r}=C\,(\vartheta-u_{r})$为电容需要移除的电荷量，因为这是模电压直接由电容器的电压设定。

由右图知，由于导数存在无穷情况，会造成梯度问题。所欲不能直接使用。
左图黑色的对应上述的LIF响应，同时LIF的形状与ANNs中的激活函数relu和softplus等激活函数非常相似，relu对于LIF，加入白噪声后得到形状如soft LIF对应softplus

LIF响应公式

$r(j)$为firing rate，$j$为膜电压
LIF是真实神经元的简化版，拥有部分缺陷

$I(t)=I_R+I_C$

其中$I_R=U_R/R,U_R=U-U_{rest}$,
$I_C$是对电容C（$C=q/u$q为充电电荷，u是电压）进行充电。
$I_C=dq/dt=Cdu/dt$

得到
$I(t)={u(t)-u_{\rm rest}\over R}+C\,{{\text{d}}u\over{\text{d}}t}\,.$
再乘R，并引进时间参数$\tau_{m}=R\,C$（leaky integrator才有的参数）

可以得到标准式：
$\tau_{m}\,{{\text{d}}u\over{\text{d}}t}=-[u(t)-u_{\rm rest}]+R\,I(t)\,.$
u为膜电位，$\tau_{m}$为膜时间常数
上式被称为被动膜方程式。

求解上式
假设t=0时，膜电位为$u_{\rm rest}+\Delta u$,当t>0时，输入电流$I(t)$衰减到0,可以想象当时间足够长，膜电压肯定会恢复静息状态，所以当以$u_{\rm rest}+\Delta u$为初始条件，其解$u(t)-u_{\rm rest}=\Delta u\ \exp\left(-{t-t_{0}\over\tau_{m}}\right)\quad{\rm for% ~{}}t>t_{0}\ $
当没有输入，膜电压以指数衰减到静息状态,膜时间常数$\tau_{m}=RC$表示衰减的时间，对于一个典型的神经元，它的范围是10毫秒，相对于一个峰值的持续时间1毫秒要长

注意：如果有不断的输入，膜电压会逐渐稳定$u(\infty)=u_{\rm rest}+R\,I_{0}$,因为电容C会充满电。

虚线为真实，一般用实线替代，$U_r$为重置电压

脉冲产生的门槛，首先术语“fire time”是指神经元产生一个动作电位$t^{(f)}$的时间。
在LIF模型中定义为：
$t^{(f)}:\quad u(t^{(f)})=\vartheta\,.$
含义是在某个时刻产生的动作电位，使膜电位达到$V_{thre}$
根据上图实线，动作电位产生后马上将膜电位
设置$V_r$
$\lim_{\delta\to 0;\delta>0}u(t^{(f)}+\delta)=u_{r}\,.$

实质上LIF模型就是由两部分组成
1.leaky intergration：$\tau_{m}\,{{\text{d}}u\over{\text{d}}t}=-[u(t)-u_{\rm rest}]+R\,I(t)\,.$
2.reset:$\lim_{\delta\to 0;\delta>0}u(t^{(f)}+\delta)=u_{r}\,.$

对于神经元i，其发放的脉冲序列可以表示为：
$S_{i}(t)=\sum_{f}\delta(t-t_{i}^{(f)})$
其中$f$是脉冲的标签，$\delta(x)$是Dirac函数，所以脉冲如上图的实线所示。

总电流$I(t)+I_{r}(t)$
得到任意时刻的电压$u(t)=u_{\rm rest}+\sum_{f}(u_{r}-\vartheta)\exp\left(-{t-t^{(f)}\over\tau_{m% }}\right)+{R\over\tau_{m}}\int_{0}^{\infty}\exp\left(-{s\over\tau_{m}}\right) I(t-s){\text{d}}s,$
第二个是由于补偿电流输入脉冲引起，第三项由于电容放电
可以改写成：$u(t)=\int_{0}^{\infty}\eta(s)S(t-s)ds+\int_{0}^{\infty}\kappa(s)I(t-s){\text {d}}s.$
引进滤波器$\eta(s)=(u_{r}-\vartheta)\,\exp\left(-{s\over\tau_{m}}\right)$和$\kappa(s)={1\over C}\exp\left(-{s\over\tau_{m}}\right)\,$比LIF神经元更具普遍性，因为过滤器不需要是指数函数，但是可以有任意的形状
前一个滤波器描述的是膜电压reset，后者是关于膜电压的线性模型。

---

LIF神经元的缺陷

上面我们说到LIF神经元模型，这模型是高度简化的，同时忽略了很多的有关神经动力学的内容。
1.输入($input$),在该模型中输入是突触前神经元或注入电流的线性叠加，并独立于后突触神经元。
2.每次激活后直接reset，不能保留前一脉冲。

适应性
当输入电流时，真实神经元有一个适应的过程，即从当输入一个恒定的电流$I$（从0到K整个过程），根据LIF模型，我们可以推断发放率应该是恒定的，这是因为reset的存在。但在真实神经元并非这样工作，需要经过一个过程才能输出稳定的发放率。

A为快速脉冲神经元（fast-spiking），其本身就没有适应性所以可以很好的对应LIF模型，许多的抑制神经元都是一些快速脉冲神经元，除了 regular-spiking 和fast-spiking还有 bursting and stuttering神经元，当有恒定输入时，会产生一系列脉冲会周期的（bursting）或不周期的（stuttering）因为长间隔而产生中断。如图B
上图，快速脉冲（fast-spiking）神经元(A)在不适应的情况下有短的间隔时间间隔，而常规的脉冲神经元(C)表现适应，可见在间隔期间增加。许多神经元在抑制电流$I_{1}<0$被终止后发出抑制反弹尖峰（D）

输入与动作电位相关

$t_i$到$t_j$的时间差为绝对不应期，后面的是相对不应期
虚线为两个不同的假设不同的到来时间，虚线为对膜电位的影响情况
我们不能指望它解释神经元的完整生物化学和生物物理学。我们也不期望它解释由树枝状树上的一些“热点”中的有效电流引起的高度非线性相互作用。然而，当涉及到产生尖峰时，即时精确的事件发生时，整合和火力模型是非常准确的。因此，它可能潜在地是神经元中尖峰生成的有效模型，或者更准确地说在神经元中。