devbox
盐析白兔
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

基于SNN脉冲神经网络的Hebbian学习训练过程matlab仿真_matlab snn训练

作者：盐析白兔 | 2024-05-30 15:36:10

赞

踩

matlab snn训练

目录

一、理论基础

二、案例背景

1.问题描述

2.思路流程

三、部分MATLAB仿真

四、仿真结论分析

五、参考文献

一、理论基础

        近年来，深度学习彻底改变了机器学习领域，尤其是计算机视觉。在这种方法中，使用反向传播以监督的方式训练深层（多层）人工神经网络（ANN）。虽然需要大量带标签的训练样本，但是最终的分类准确性确实令人印象深刻，有时甚至胜过人类。人工神经网络中的神经元的特征在于单个、静态、连续值的激活。然而生物神经元使用离散的脉冲来计算和传输信息，并且除了脉冲发放率外，脉冲时间也很重要。因此脉冲神经网络（SNN）在生物学上比ANN更现实，并且如果有人想了解大脑的计算方式，它无疑是唯一可行的选择。 SNN也比ANN更具硬件友好性和能源效率，因此对技术，尤其是便携式设备具有吸引力。但是训练深度SNN仍然是一个挑战。脉冲神经元的传递函数通常是不可微的，从而阻止了反向传播。在这里，我们回顾了用于训练深度SNN的最新监督和无监督方法，并在准确性、计算成本和硬件友好性方面进行了比较。目前的情况是，SNN在准确性方面仍落后于ANN，但差距正在缩小，甚至在某些任务上可能消失，而SNN通常只需要更少的操作。

       SNN中的无监督学习通常将STDP纳入学习机制。生物STDP的最常见形式具有非常直观的解释。如果突触前神经元在突触后神经元之前不久触发（大约10毫秒），则连接它们的权重会增加。如果突触后神经元在突触后神经元后不久触发，则时间事件之间的因果关系是虚假的，权重会减弱。增强称为长时程增强（LTP），减弱称为长时程抑制（LTD）。短语“长时程”用于区分实验中观察到的几毫秒范围内的非常短暂的影响。

      下面的公式是通过拟合实验数据对一对脉冲进行了实验上最常见的STDP规则的理想化。
     

       以上公式中的第一种情况描述LTP，而第二种情况描述LTD。效果的强度由衰减指数调制，衰减指数的大小由突触前和突触后脉冲之间的时间常数比例时间差控制。人工SNN很少使用此确切规则。他们通常使用变体，以实现更多的简单性或满足便利的数学特性。

二、案例背景

1.问题描述

        SNN神经网络的学习方法也不是很好，作为传统的基于速率的网络而发展，使用反向传播学习算法。使用高效的Hebbian学习方法：棘突神经元网络的稳态。类似于STDP，尖峰之间的计时用于突触修饰。内稳态确保了突触权重是有界的学习是稳定的。赢家通吃机制也很重要实施以促进输出之间的竞争性学习神经元。我们已经在一个C++对象中实现了这个方法面向对象的代码（称为CSpike）。我们已经在四个服务器上测试了代码Gabor滤波器的图像，并发现钟形调谐曲线使用不同类型的Gabor滤波器的36个测试集图像方向。这些钟形曲线与这些曲线相似实验上观察到的V1和MT/V5区域哺乳动物的大脑。

2.思路流程

SNN即目前的最新的第三代神经网络，具体的仿真步骤如下所示：

 

三、部分MATLAB仿真

matlab仿真程序如下所示：

  1. clc;
  2. clear;
  3. close all;
  4. warning off;
  5. addpath 'func\'
  6. RandStream.setDefaultStream(RandStream('mt19937ar','seed',1));
  7.  
  8. %%
  9. load Character\Character_set.mat
  10. %显示论文fig1. character set used
  11. func_view_character;
  12. %**************************************************************************
  13.  
  14. %%
  15. %显示论文fig2. Representation of 'A'
  16. A_Line = Representation_Character(A_ch);
  17. figure;
  18. stem(1:5*3,A_Line,'LineWidth',2);
  19. hold on
  20. stairs(1:5*3,A_Line,'r');
  21. axis([0,5*3+1,-0.25,1.25]);
  22. title('Fig.2. Representation of A');
  23. %**************************************************************************
  24.  
  25. %%  以下是程序的第一部分，即4个字符的仿真
  26. %建立SNN神经网络模型
  27. Rm       = 80;
  28. theta    = 10; %10mv
  29. rs       = 2;  %2ms
  30. rm       = 30; %30ms
  31. rmin     = 2;  %2ms
  32. rmax     = 30; %30ms;
  33. lin      = 0.3;
  34. lin_dec  = 0.05;
  35. A1       = 0.1;
  36. A2       =-0.105;
  37. r1       = 1;    %1ms
  38. r2       = 1;    %1ms
  39. tstep    = 0.2;  %0.2ms;
  40. times    = 200;  %训练次数
  41. error    = 1e-3;%训练目标误差
  42. vth      = 7; 
  43. %通过神经网络对A,B,C,D进行训练识别
  44. %对应论文fig.3. Output when each character is presented individually
  45. %随机产生初始的权值wij
  46. N_in        = 15;
  47. w_initial   = 0.5+0.5*rand(N_in,4);
  48. for i = 1:times
  49.     w{i} = w_initial;
  50. end
  51. w0          = w_initial;
  52. dew         = 0;
  53. wmax        = 0;
  54. wmin        = 0;
  55. det         = zeros(N_in,4);  
  56. tpre        = 300*ones(N_in,times);  
  57. tpost       = 301*ones(N_in,times);  
  58. Time2       = 4000;
  59. dt          = 0.05;
  60. STIME       = 24;
  61.  
  62.  
  63. %%
  64. %字符转换为电平
  65. A_Line  = Representation_Character(A_ch);
  66. B_Line  = Representation_Character(B_ch);
  67. C_Line  = Representation_Character(C_ch);
  68. D_Line  = Representation_Character(D_ch);
  69. Lines   = [A_Line B_Line C_Line D_Line];
  70.  
  71. for num = 1:4
  72.     Dat = Lines(:,num);
  73.     for ij = 1:1
  74.         for i = 1:times
  75.             w{i} = w_initial;
  76.         end    
  77.  
  78.         ind = 0;
  79.         for i = 1:times
  80.             i
  81.             ind = ind + 1;
  82.  
  83.             %计算rd
  84.             for n1 = 1:N_in
  85.                 rd(n1) = rmax - abs(w{i}(n1))*(rmax - rmin);
  86.             end    
  87.  
  88.             %计算Rd  
  89.             for n1 = 1:N_in 
  90.                 Rd(n1) = (rd(n1)*theta/Rm) * (rm/rd(n1))^(rm/(rm-rd(n1)));
  91.             end
  92.  
  93.             %计算delta t
  94.             for n1 = 1:N_in 
  95.                 if Dat(n1) == 1
  96.                    det(n1) =   tpre(n1,i) - tpost(n1,i);
  97.                 else
  98.                    det(n1) = -(tpre(n1,i) - tpost(n1,i));
  99.                 end
  100.             end
  101.  
  102.             %计算delta w
  103.             for n1 = 1:N_in
  104.                 if det(n1) <= 0
  105.                    dew(n1) = A1*exp( det(n1)/r1);
  106.                 else
  107.                    dew(n1) = A2*exp(-det(n1)/r2);  
  108.                 end
  109.                 if  i > 1
  110.                  %计算权值更新                 
  111.                     if dew(n1) > 0
  112.                        w{i}(n1) = w{i-1}(n1) + lin*dew(n1)*(w{i-1}(n1));
  113.                     else
  114.                        w{i}(n1) = w{i-1}(n1) + lin*dew(n1)*(w{i-1}(n1));    
  115.                     end                       
  116.                 end
  117.             end   
  118.  
  119.             %计算Id
  120.             for n1 = 1:N_in
  121.                 Id{n1} = func_Id(Rd(n1),rd(n1),w{i}(n1),Dat(n1),Time2,dt,tpre(n1,i));
  122.             end
  123.  
  124.             %计算Is
  125.             Is = func_Is(N_in,rs,w{i},Dat,Time2,dt,tpre(n1,i));
  126.  
  127.             %计算u
  128.             Um = func_um(N_in,w{i},Rm,Id,Is,rm,Time2,dt,Dat,tpre(n1,i),vth); 
  129.  
  130.             %计算训练误差
  131.             if  i > 1
  132.                 err2(ind-1) = abs(norm(w{i}/max(w{i})) - norm(w{i-1}/max(w{i-1})));
  133.                 if abs(norm(w{i}/max(w{i}) - norm(w{i-1}/max(w{i-1})))) <= error
  134.                    break;
  135.                 end     
  136.             end
  137.         end
  138.     end
  139.     Ws(:,num) = w{end}/max(w{end});
  140.     clear Is Id Um w
  141. end
  142.  
  143. %%
  144. %训练完之后进行测试
  145. %A测试
  146. %A测试
  147. UmA       = [];
  148. for ij = 1:STIME
  149.     ij
  150.     for j = 1:4
  151.         ind = 0;
  152.         ind = ind + 1;
  153.         %计算Id
  154.         for n1 = 1:N_in
  155.             Id{n1} = func_Id(Rd(n1),rd(n1),Ws(n1,1),Lines(n1,j),Time2,dt,tpre(n1,j));
  156.         end
  157.         %计算Is
  158.         Is{j} = func_Is(N_in,rs,Ws(:,1),Lines(:,j),Time2,dt,tpre(n1,j));
  159.         %计算u
  160.         Um(j,:) = func_um(N_in,Ws(:,1),Rm,Id,Is{j},rm,Time2,dt,Lines(:,j),tpre(n1,j),vth);
  161.     end
  162.     UmA  = [UmA,Um];
  163. end 
  164. figure;
  165. plot(1:Time2*STIME,UmA(1,:),'r');
  166. hold on
  167. plot(1:Time2*STIME,UmA(2,:),'g');
  168. hold on
  169. plot(1:Time2*STIME,UmA(3,:),'b');
  170. hold on
  171. plot(1:Time2*STIME,UmA(4,:),'c');
  172. hold off
  173. legend('Neuron1','Neuron2','Neuron3','Neuron4');
  174. axis([1,Time2*STIME,0,30]);
  175. clear Id Is Um w
  176.  
  177. %B测试
  178. %B测试
  179. UmB       = [];
  180. for ij = 1:STIME
  181.     ij
  182.     for j = 1:4
  183.         ind = 0;
  184.         ind = ind + 1;
  185.         %计算Id
  186.         for n1 = 1:N_in
  187.             Id{n1} = func_Id(Rd(n1),rd(n1),Ws(n1,2),Lines(n1,j),Time2,dt,tpre(n1,j));
  188.         end
  189.         %计算Is
  190.         Is{j} = func_Is(N_in,rs,Ws(:,2),Lines(:,j),Time2,dt,tpre(n1,j));
  191.         %计算u
  192.         Um(j,:) = func_um(N_in,Ws(:,2),Rm,Id,Is{j},rm,Time2,dt,Lines(:,j),tpre(n1,j),vth);
  193.     end
  194.     UmB  = [UmB,Um];
  195. end 
  196. figure;
  197. plot(1:Time2*STIME,UmB(1,:),'r');
  198. hold on
  199. plot(1:Time2*STIME,UmB(2,:),'g');
  200. hold on
  201. plot(1:Time2*STIME,UmB(3,:),'b');
  202. hold on
  203. plot(1:Time2*STIME,UmB(4,:),'c');
  204. hold off
  205. legend('Neuron1','Neuron2','Neuron3','Neuron4');
  206. axis([1,Time2*STIME,0,30]);
  207. clear Id Is Um w
  208.  
  209. %C测试
  210. %C测试
  211. UmC       = [];
  212. for ij = 1:STIME
  213.     ij
  214.     for j = 1:4
  215.         ind = 0;
  216.         ind = ind + 1;
  217.         %计算Id
  218.         for n1 = 1:N_in
  219.             Id{n1} = func_Id(Rd(n1),rd(n1),Ws(n1,3),Lines(n1,j),Time2,dt,tpre(n1,j));
  220.         end
  221.         %计算Is
  222.         Is{j} = func_Is(N_in,rs,Ws(:,3),Lines(:,j),Time2,dt,tpre(n1,j));
  223.         %计算u
  224.         Um(j,:) = func_um(N_in,Ws(:,3),Rm,Id,Is{j},rm,Time2,dt,Lines(:,j),tpre(n1,j),vth);
  225.     end
  226.     UmC  = [UmC,Um];
  227. end 
  228.  
  229. figure;
  230. plot(1:Time2*STIME,UmC(1,:),'r');
  231. hold on
  232. plot(1:Time2*STIME,UmC(2,:),'g');
  233. hold on
  234. plot(1:Time2*STIME,UmC(3,:),'b');
  235. hold on
  236. plot(1:Time2*STIME,UmC(4,:),'c');
  237. hold off
  238. legend('Neuron1','Neuron2','Neuron3','Neuron4');
  239. axis([1,Time2*STIME,0,30]);
  240. clear Id Is Um w
  241.  
  242. %D测试
  243. %D测试
  244. UmD       = [];
  245. for ij = 1:STIME
  246.     ij
  247.     for j = 1:4
  248.         ind = 0;
  249.         ind = ind + 1;
  250.         %计算Id
  251.         for n1 = 1:N_in
  252.             Id{n1} = func_Id(Rd(n1),rd(n1),Ws(n1,4),Lines(n1,j),Time2,dt,tpre(n1,j));
  253.         end
  254.         %计算Is
  255.         Is{j} = func_Is(N_in,rs,Ws(:,4),Lines(:,j),Time2,dt,tpre(n1,j));
  256.         %计算u
  257.         Um(j,:) = func_um(N_in,Ws(:,4),Rm,Id,Is{j},rm,Time2,dt,Lines(:,j),tpre(n1,j),vth);
  258.     end
  259.     UmD  = [UmD,Um];
  260. end 
  261.  
  262. figure;
  263. plot(1:Time2*STIME,UmD(1,:),'r');
  264. hold on
  265. plot(1:Time2*STIME,UmD(2,:),'g');
  266. hold on
  267. plot(1:Time2*STIME,UmD(3,:),'b');
  268. hold on
  269. plot(1:Time2*STIME,UmD(4,:),'c');
  270. hold off
  271. legend('Neuron1','Neuron2','Neuron3','Neuron4');
  272. axis([1,Time2*STIME,0,30]);
  273. clear Id Is Um w
  274.  
  275. %连续码流测试
  276. %连续码流测试
  277. Umss       = [];
  278. for ij = 1:STIME
  279.     ij
  280.     if ij>=1 &ij <= 2
  281.        W =  Ws(:,3); 
  282.     end
  283.     if ij>=3 &ij <= 5
  284.        W =  Ws(:,4); 
  285.     end    
  286.     if ij>=6 &ij <= 8
  287.        W =  Ws(:,1); 
  288.     end    
  289.     if ij>=9 &ij <= 12
  290.        W =  Ws(:,3); 
  291.     end       
  292.     if ij>=13 &ij <= 15
  293.        W =  Ws(:,1); 
  294.     end      
  295.     if ij>=16 &ij <= 18
  296.        W =  Ws(:,2); 
  297.     end      
  298.     if ij>=19 &ij <= 21
  299.        W =  Ws(:,3); 
  300.     end     
  301.     if ij>=22 &ij <= 24
  302.        W =  Ws(:,4); 
  303.     end      
  304.     for j = 1:4
  305.         ind = 0;
  306.         ind = ind + 1;
  307.         %计算Id
  308.         for n1 = 1:N_in
  309.             Id{n1} = func_Id(Rd(n1),rd(n1),W(n1),Lines(n1,j),Time2,dt,tpre(n1,j));
  310.         end
  311.         %计算Is
  312.         Is{j} = func_Is(N_in,rs,W,Lines(:,j),Time2,dt,tpre(n1,j));
  313.         %计算u
  314.         Um(j,:) = func_um(N_in,W,Rm,Id,Is{j},rm,Time2,dt,Lines(:,j),tpre(n1,j),vth);
  315.     end
  316.     Umss  = [Umss,Um];
  317. end 
  318.  
  319. figure;
  320. plot(1:Time2*STIME,Umss(1,:),'r');
  321. hold on
  322. plot(1:Time2*STIME,Umss(2,:),'g');
  323. hold on
  324. plot(1:Time2*STIME,Umss(3,:),'b');
  325. hold on
  326. plot(1:Time2*STIME,Umss(4,:),'c');
  327. hold off
  328. legend('Neuron1','Neuron2','Neuron3','Neuron4');
  329. axis([1,Time2*STIME,0,30]);
  330. clear Id Is Um w
  331.  
  332. %%
  333. %Fig.5.Weight distribution
  334. figure;
  335. subplot(121);
  336. bar3(w0(1:15,:),0.8,'r');hold on
  337. bar3(w0(1:12,:),0.8,'y');hold on
  338. bar3(w0(1:9,:) ,0.8,'g');hold on
  339. bar3(w0(1:6,:) ,0.8,'c');hold on
  340. bar3(w0(1:3,:) ,0.8,'b');hold on
  341. xlabel('Output Neruon');
  342. ylabel('Input Neruon');
  343. zlabel('Weight');
  344. title('Before training');
  345. axis([0,5,0,16,0,1.3]);
  346. view([-126,36]);
  347.  
  348. subplot(122);
  349. bar3(Ws(1:15,:),0.8,'r');hold on
  350. bar3(Ws(1:12,:),0.8,'y');hold on
  351. bar3(Ws(1:9,:) ,0.8,'g');hold on
  352. bar3(Ws(1:6,:) ,0.8,'c');hold on
  353. bar3(Ws(1:3,:) ,0.8,'b');hold on
  354. xlabel('Output Neruon');
  355. ylabel('Input Neruon');
  356. zlabel('Weight');
  357. title('After training');
  358. axis([0,5,0,16,0,1.3]);
  359. view([-126,36]);

四、仿真结论分析

     将SNN进行仿真，并得到类似论文中的仿真效果，具体的仿真结果如下图所示：

 

 

上述就是实际的仿真效果图。

五、参考文献

[1] Gupta A ,  Long L N . Hebbian learning with winner take all for spiking neural networks[C]// International Joint Conference on Neural Networks. IEEE, 2009.A05-12

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/盐析白兔/article/detail/647576
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号