2024年顶会、顶刊SNN相关论文----------持续更新中_snn顶会

原文链接：https://blog.csdn.net/qq_43622216/article/details/135167498

个人收集精力有限，欢迎各位评论或者私信告知SNN相关论文研究！

目录

说明

这篇博客主要用于记录2024年在一些顶会顶刊（AAAI、CVPR等）上发表的SNN相关的论文，会附上相关论文的链接及简单介绍，正在更新中…
更新SNN相关论文、动态信息，欢迎浏览讨论！

AAAI 2024（共15篇）

• 论文1: Shrinking Your TimeStep: Towards Low-Latency Neuromorphic Object Recognition with Spiking Neural Networks
  • 由电子科技大学左琳教授团队发表于AAAI 2024。
  • 提出了Shrinking SNN (SSNN)，将SNN划分为多个阶段，每个阶段的时间步长逐渐收缩，实现低时间步长的神经形态目标识别。（一个异质性时间步长的SNN）
  • 在SNN每个阶段后额外加入分类器，与标签计算损失，缓解代理梯度和真实梯度的不匹配、梯度爆炸/消失问题，从而提升SNN的性能。

• 论文2: Ternary Spike: Learning Ternary Spikes for Spiking Neural Networks

  • 由中国航天科工集团公司智能科学技术研究院研究人员发表于AAAI 2024。
  • 提出了ternary spike neuron产生0/1/-1脉冲，并在三元脉冲神经元中嵌入了一个可训练因子来学习合适的脉冲幅值，这样的SNN会逐层采用不同的脉冲幅值α，从而更好地适应膜电位逐层分布不同的现象。
  • 在推理时，通过重参数化将可训练的三元脉冲SNN再次转换为标准SNN。

• 论文3: Memory-Efficient Reversible Spiking Neural Networks

  • 由浙江大学研究人员发表于AAAI 2024。
  • 提出了reversible SNN以降低直接训练SNN的内存开销，每一层的输入变量和膜电位可以通过其输出变量重新计算而无需在内存中存储。
  • 设计了Spiking reversible block用于构建Reversible spiking residual neural network和Reversible spiking transformer。

• 论文4: Gated Attention Coding for Training High-performance and Efficient Spiking Neural Networks

• 由电子科技大学大学、加利福尼亚大学、中科院自动化所（李国齐团队）研究人员发表于AAAI 2024。

• 提出了Gated Attention Coding (GAC)对输入应用注意力机制进行编码。

• Gated Attention Unit (GAU)：使用CBAM提取时间维度的注意力分数；使用共享的2D卷积提取每个时刻的通道-空间注意力分数。
  

• 论文5: DeblurSR: Event-Based Motion Deblurring Under the Spiking Representation

• 由德克萨斯大学奥斯汀分校研究人员发表于AAAI 2024。

• 论文6: Dynamic Reactive Spiking Graph Neural Network

• 由西安电子科技大学、上海交通大学等研究人员发表于AAAI2024。

• 论文7: An Efficient Knowledge Transfer Strategy for Spiking Neural Networks from Static to Event Domain

  • 由中科院自动化所等研究人员发表于AAAI2024。
  • 同时学习静态数据和神经形态数据，在中间层对二者的表征进行蒸馏学习。
  • sliding training strategy：训练时静态图像输入一定概率地被替换为事件数据，并且这种替换概率随着时间步长（应该是训练的epoch和batch）而增大，直到学习阶段结束，此时事件数据将替换所有的静态图像。

• 论文8: Enhancing Representation of Spiking Neural Networks via Similarity-Sensitive Contrastive Learning

• 由中国航天科工集团公司智能科学技术研究院研究人员发表于AAAI 2024。

• 提出了similarity-sensitive contrastive learning以及一个逐层基于CKA加权的策略，最大化ANN和SNN中间表征的互信息，减少SNN表示的不确定性。

• 对逐层样本特征使用Noise-Contrastive Estimation(NCE)进行对比学习，拉近SNN和预训练的ANN对同一个样本的表征距离，推开不同样本的表征距离，使用逐层的CKA对NCE进行loss加权。

• 

• 论文9: Efficient Spiking Neural Networks with Sparse Selective Activation for Continual Learning

  • 由浙江大学等研究人员发表于AAAI2024。
  • 利用SNN中脉冲的稀疏性和权重更新的稀疏性来降低内存开销、缓和灾难性遗忘问题。针对连续学习任务。
  • 提出了trace-based K-Winner-Take-All (KWTA)和可变阈值机制的selective activation SNNs (SA-SNN)持续学习模型，通过增强SNN的神经动力学特性来减轻灾难性遗忘，并且不需要任务标记或记忆重播。

• 论文10: Spiking NeRF: Representing the Real-World Geometry by a Discontinuous Representation

• 由浙江大学潘纲教授团队发表于AAAI 2024。

• 论文11: SpikingBERT: Distilling BERT to Train Spiking Language Models Using Implicit Differentiation

  • 由宾夕法尼亚州立大学研究人员发表于AAAI 2024。
  • 提出了一个spiking language model (LM)。利用模型的稳态收敛性，引入了一种可操作的脉冲注意机制，提出了一种新的基于ANN-SNN的KD，以实现更快、更有效的学习，并探索了使用基于隐式微分的技术训练spiking LMs，从而克服了影响基于SNN架构训练的多个问题。

• 论文12: TC-LIF: A Two-Compartment Spiking Neuron Model for Long-term Sequential Modelling

  • 由香港理工大学（Kay Chen Tan团队）、新加坡国立大学、香港中文大学(深圳)研究人员发表于AAAI 2024。
  • 给出了P-R锥体神经元的泛化公式：两房室神经元。
  • 基于P-R椎体神经元，设计了Two-Compartment(TC)-LIF神经元以促进长期的序列建模。

• 论文13: Enhancing Training of Spiking Neural Network with Stochastic Latency

  • 由穆罕默德·本·扎耶德人工智能大学等研究人员发表于AAAI2024.
  • 提出了Stochastic Latency Training (SLT)，训练期间的每个batch随机采样延迟对SNN进行训练。

• 论文14: Enhancing the robustness of spiking neural networks with stochastic gating mechanisms

  • 由北京大学（黄铁军、于肇飞组）研究人员发表于AAAI 2024。
  • 在大脑中，神经元反应通常具有离子通道和突触诱导的随机性，而随机性在计算任务中的作用尚不清楚。
  • 将随机性引入SNN，构建了stochastic gating (StoG) spiking neural model，可以被视为用于防止攻击下误差放大的正则化器。
  • 每一层、每一个时间步长从特定的伯努利分布中采用门控因子G的值，然后对前一层产生的脉冲进行门控相乘，随机接收信息。提升对抗攻击鲁棒性。

• 论文15: Dynamic Spiking Graph Neural Networks

  • 由穆罕默德·本·扎耶德人工智能大学、河北工业大学、北京大学、吉林大学、哈尔滨工业大学等研究人员发表于AAAI 2024

• 论文16:Point-to-Spike Residual Learning for EnergyEfficient 3D Point Cloud Classification

  • 由安徽大学等研究人员发表于AAAI 2024，使用SNN用于点云识别。
  • 提出了一个point-to-spike residual learning network：设计了一个spatial-aware kernel point spiking(KPS) neuron，以及3D spiking residual block。
  • KPS神经元：连接IF神经元和kernel point convolution操作。

IJCAI 2024

• 论文1:Learning A Spiking Neural Network for Efficient Image Deraining
  • 由大连工业大学等研究人员发表于IJCAI2024。
  • 提出了Efficien Spiking Deraining Network(ESDNet)用于图像去雨
    

ICLR 2024

• 论文1:A Progressive Training Framework for Spiking Neural Networks with Learnable Multi-hierarchical Model

  • 由北京大学（黄铁军、于肇飞组）研究人员发表于ICLR2024。
  • 提出了Learnable Multi-hierarchical (LM-H) model，并开发了progressive STBP算法用于训练LM-H模型。
  • LM-H模型引入了树突和胞体膜电势（等价于多房室神经元），其中的多个参数设置为逐时间步长可学习的。
  • progressively优化模型：将LM-H中可学习的参数初始化为0使其退化为LIF/IF神经元模型，然后自适应学习参数。

• 论文2:EventRPG: Event Data Augmentation with Relevance Propagation Guidance

  • 由香港科技大学等研究人员发表于ICLR2024。

• 论文3:SpikePoint: An Efficient Point-based Spiking Neural Network for Event Cameras Action Recognition

  • 由香港科技大学研究人员发表于ICLR2024。
  • 提出了SpikePoint，端到端的point-based SNN用于事件动作识别。

• 论文4:Can we get the best of both Binary Neural Networks and Spiking Neural Networks for Efficient Computer Vision

  • 由南加州大学研究人员发表于ICLR2024。

• 论文5:LMUFormer: Low Complexity Yet Powerful Spiking Model With Legendre Memory Units

  • 由南加州大学研究人员发表于ICLR2024。

• 论文6:Spatio-Temporal Approximation: A Training-Free SNN Conversion for Transformers

  • 由清华大学等研究人员发表于ICLR2024。
  • 虽然现有的转换方法在CNN上的效果很好，但Transformer模型引入了自注意力和test-time normalization等机制，难以将其转换为SNN。
  • 论文在时空维度对这些操作进行近似，用于转换Transformer模型为SNN。
  • 提出在空间上近似非线性操作的Universal Group Operator和通过估计校正方法近似推理中的脉冲乘法的Temporal-Corrective Self-Attention Layer。

• 论文7:TAB: Temporal Accumulated Batch Normalization in Spiking Neural Networks

  • 由阿联酋穆罕默德·本·扎耶德人工智能大学等研究人员发表于ICLR 2024
  • SNN中的时间依赖以及Temporal Covariate Shift (TCS)现象对SNN中的BN方法造成了极大的挑战。
  • 提出了TAB (Temporal Accumulated Batch Normalization)，通过对齐时间依赖解决了TCS问题。
  • 计算每个时刻输入的BN统计参数（均值和方差），基于移动平均得到前面所有时间步长的平均统计值进行BN。另外，对每个时刻BN后的数据使用额外的可学习权重调整。
    

• 论文8:Spike-driven Transformer V2: Meta Spiking Neural Network Architecture Inspiring the Design of Next-generation Neuromorphic Chips

  • 由中科院自动化所（李国齐）、北京大学（田永鸿）等研究人员发表于ICLR2024。
  • 提出了Meta-SpikeFormer，进一步改进了Spike-driven Transformer的性能。
    

• 论文9:Sparse Spiking Neural Network: Exploiting Heterogeneity in Timescales for Pruning Recurrent SNN

  • 由佐治亚理工学院研究人员发表于ICLR 2024。
  • 异质性的RSNN具有更强的学习能力和更好的性能，但这同时也带来了更多的神经元，使得模型更复杂难以优化。论文提出了一种任务不可知（task-agnostic method）的方法Lyapunov Noise Pruning (LNP)来设计稀疏化的RSNN。
  • 从随机初始化和任意初始化密集(复杂)HRSNN模型开始。利用Heterogeneous RSNN(HRSNN)模型的Lyapunov谱和谱图稀疏化算法来修剪突触和神经元，同时保持网络稳定。得到的随机稀疏的HRSNN可以使用有监督(反向传播)或无监督(STDP)方法来训练不同的目标任务。

ICML 2024

• 论文1:High-Performance Temporal Reversible Spiking Neural Networks with $O(L)$ Training Memory and $O(1)$ Inference Cost
  • 由北京大学田永鸿、自动化所徐波、李国齐等研究人员发表于ICML2024。
• 论文2:Temporal Spiking Neural Networks with Synaptic Delay for Graph Reasoning
  • 由北京大学林宙辰组发表于ICML2024。

ECCV 2024

CVPR 2024

• 论文1:SpikingResformer: Bridging ResNet and Vision Transformer in Spiking Neural Networks
  • 由北京大学于肇飞组研究人员发表于CVPR2024。
  • 提出了Dual Spike Self-Attention (DSSA)和SpikingResformer。
• 论文2:SFOD: Spiking Fusion Object Detector
  • 由天津大学研究人员发表于CVPR2024。

NeurIPS 2024

ICASSP 2024

• 论文1:Spiking-Leaf: A Learnable Auditory Front-End for Spiking Neural Networks

  • 由新加坡国立大学、香港理工大学、电子科技大学等研究人员发表于ICASSP2024。
  • 提出了面向SNN语音处理的可学习听觉前端Spiking-LEAF，结合了一个可学习的滤波器组与IHC-LIF神经元模型（双房室）。
  • IHC-LIF神经元的灵感来自于内毛细胞(IHC)结构，利用分离的树突状和体细胞房室来捕获语音信号的多尺度时间动态。除此之外，IHC-LIF神经元还结合了横向反馈机制和脉冲正则化损失来提高脉冲编码效率。

• 论文2:SVAD: A Robust, Low-Power, and Light-Weight Voice Activity Detection with Spiking Neural Networks

  • 由新加坡国立大学、天津大学、香港中文大学等研究人员发表于ICASSP2024。
  • 提出了基于SNN的sVAD用于Voice Activity Detection。其听觉编码器使用基于SNN的注意力机制。
  • 通过SincNet和1D卷积提供高效的听觉特征表示，并通过注意力机制提高噪声鲁棒性。分类器利用脉冲循环神经网络(sRNN)来挖掘时间语音信息。

• 论文3:Spiking Structured State Space Model for Monaural Speech Enhancement

  • 由清华大学和中国电子科技南湖研究院研究人员发表于ICASSP2024。
  • 提出了Spiking Structured State Space Model (Spiking-S4)用于语音增强。

• 论文4:Autost: Training-Free Neural Architecture Search For Spiking Transformers

  • 由北卡罗莱纳州立大学研究人员发表于ICASSP 2024。
  • 动机：大多数现有的用于ANN的training-free NAS方法依赖于反向传播过程中的梯度，但脉冲的不可微分特性阻碍了这些方法用于SNN中；使用activation pattern的方法在稀疏的脉冲中也会引入大量的误差。
  • 提出了AutoST，使用training-free NAS方法快速识别高性能的SNN Transformer架构，利用FLOPs作为模型的性能评价指标。
  • 基于Spikformer架构，将其中的embedding size、number of heads、MLP ratio和network depth作为四个关键变量并设置search space。

• 论文5:Probabilistic Spike Train Inference

  • 由得克萨斯农工大学研究人员发表于ICASSP 2024。
  • 提出了一种基于半非局部先验密度和点质量混合的贝叶斯方法，采用基于随机搜索的方法来report脉冲的最高后验概率排列。
  • 用来根据神经元的活动信息确定脉冲的准确时间。

• 论文6:Sparsespikformer: A Co-Design Framework for Token and Weight Pruning in Spiking Transformer

  • 由中山大学研究人员发表于ICASSP 2024。
  • 提出了稀疏的Spikformer网络。在Spikformer架构中的Spiking Patch Splitting (SPS)模块前引入了Spiking Token Select module，基于前面的脉冲发射率来选择最有信息价值的image token。
  • Spiking Token Select module：对于TNC的脉冲特征，在T维度进行全局平均池化然后使用两层全连接和Softmax函数得到N*2的输出，表示N个token是否需要被丢弃。在不同的block中使用哈达玛乘积对其进行迭代更新。
  • Weight Parameters Pruning：假设未产生脉冲的神经元连接可以通过剪枝方法去除来减少存储空间资源。基于Lottery Ticket Hypothesis (LTH)进行剪枝。

• 论文7:Training Ultra-Low-Latency Spiking Neural Networks from Scratch

  • 由南加州大学研究人员发表于ICASSP 2024.
  • 提出了一个从零开始的训练框架，用Hoyer正则化器训练超低时间步长的SNN。
  • 将每个BANN层的阈值计算为其激活图的剪切版本的Hoyer极值。通过使用Hoyer正则化器的梯度下降训练来确定裁剪值

• 论文8:Recent Advances in Scalable Energy-Efficient and Trustworthy Spiking Neural Networks: from Algorithms to Technology

  • 由英特尔实验室、加州大学圣克鲁斯分校、威斯康星大学麦迪逊分校、南加州大学等研究人员发表于ICASSP 2024。

本文出自于CSDN-lan人啊，转载请注明！