神经网络和深度学习-用pytorch实现线性回归_pytorch用线性神经网络

用pytorch实现线性回归

用pytorch的工具包来实现线性模型的训练过程

• 准备数据集

• 设计模型

• 构造损失函数和优化器（使用pytorch API）

• 训练过程：前馈、反馈、更新

准备数据

在PyTorch中，计算图是小批处理的，所以X和Y是3x1 Tensors。（X和Y的值必须是个矩阵）

利用广播将矩阵进行衍生

同时损失函数也是这样进行计算的

设计模型

采用仿射模型Affine Model（线性单元Linear Unit） 来构造计算图

在线性单元中我们想要知道权重的维度大小，首先需要知道输入x的维度，以及输出y的维度，之后放入loss函数中计算损失值，最后进行backward来对整个计算图进行反向传播

我们要得到loss的标量，可以进行求和或mean，如果最后求出来的是向量的话，是不能进行backward操作

接下来我们设计模型，我们的模型类应该继承于nn.Module，它是所有神经网络模块的Baseclass。

在这个类中我们需要实现两个函数，一个是构造函数init,另一个是前馈函数forward，用module实现的类会自动实现backward的过程

在构造函数init中，我们必须调用父类的init，下一行中实际上是在构造一个对象，包含了权重w和偏置b两个Tensors，其中Linear也是继承自Module

我们来看一下Linear这个类，详细介绍一下

• in_features: 输入样本的维度，在mini-batch中的矩阵中，行表示样本，列表示features

• out_features: 输出样本的维度

• bias：是一个布尔类型的参数，用来决定是否有偏置

我们在实际的运算中，是进行转置计算的

在forward函数，self.linear(x)实现了一个可调用的对象

创造一个实例类，model是可以被直接调用的，model（x）

构造损失函数和优化器

criterion： 其中MSELoss也是继承于Module父类中的，其中有两个参数

• size_average:样本是否要求均值

• reduce：是否要进行降维

接下来是优化器optimizer。其中使用的是SGD里面有这么几个参数

• params：检查model里面的所有成员，成员里面有相应的权重，把这些都加到训练的结果上，调用所有权重值：linear.parameters()

• lr:learning rate 学习率，可以设置不同的学习率

训练过程

最后我们进行输出权重和偏置，在设置测试模型

在训练中我们发现迭代100次训练不能达到要求时，我们可以进行1000次训练

完整代码演示

import torch
import matplotlib.pyplot as plt

# prepare dataset
# x,y是矩阵，3行1列 也就是说总共有3个数据，每个数据只有1个特征
x_data = torch.Tensor([[1.0], [2.0], [3.0]])
y_data = torch.Tensor([[2.0], [4.0], [6.0]])


# design model using class
class LinearModel(torch.nn.Module):
    def __init__(self):
        super(LinearModel, self).__init__()
        # (1,1)是指输入x和输出y的特征维度，这里数据集中的x和y的特征都是1维的
        # 该线性层需要学习的参数是w和b  获取w/b的方式分别是~linear.weight/linear.bias
        self.linear = torch.nn.Linear(1, 1)

    def forward(self, x):
        y_pred = self.linear(x)
        return y_pred


model = LinearModel()

# construct loss and optimizer
criterion =torch.nn.MSELoss(size_average=False)
optimizer = torch.optim.SGD(model.parameters(),lr=0.01)

epoch_list = []
loss_list = []
# training cycle forward, backward, update
for epoch in range(1000):
    y_pred = model(x_data)  # forward:predict
    loss = criterion(y_pred,y_data)  # forward: loss
    print(epoch,loss.item())
    epoch_list.append(epoch)
    loss_list.append(loss.item())

    optimizer.zero_grad()
    loss.backward()  # backward: autograd，自动计算梯度
    optimizer.step()  # update 参数，即更新w和b的值

print('w=',model.linear.weight.item())
print('b=',model.linear.bias.item())

x_test = torch.Tensor([4.0])
y_test = model(x_test)
print('y_pred = ',y_test.data)

plt.plot(epoch_list, loss_list)
plt.ylabel('Loss')
plt.xlabel('Epoch')
plt.show()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53

训练结果

0 112.35303497314453
1 50.16391372680664
2 22.476961135864258
3 10.149425506591797
4 4.659496784210205
5 2.213507890701294
6 1.1226205825805664
7 0.6350162029266357
8 0.41600528359413147
9 0.316591739654541
10 0.27044761180877686
11 0.24804410338401794
12 0.2362363487482071
13 0.22917166352272034
14 0.22424422204494476
15 0.2202942818403244
16 0.216804638504982
17 0.21354466676712036
18 0.2104116678237915
19 0.20735913515090942
20 0.2043665200471878
21 0.20142365992069244
22 0.19852635264396667
23 0.1956721395254135
24 0.19285938143730164
25 0.1900874376296997
26 0.18735529482364655
27 0.1846628487110138
28 0.18200890719890594
29 0.1793932020664215
30 0.1768149435520172
31 0.17427413165569305
32 0.17176926136016846
33 0.16930058598518372
34 0.1668677031993866
35 0.1644694209098816
36 0.16210560500621796
37 0.15977603197097778
38 0.15747982263565063
39 0.1552167683839798
40 0.15298616886138916
41 0.15078730881214142
42 0.1486203372478485
43 0.1464843451976776
44 0.14437904953956604
45 0.1423041820526123
46 0.14025893807411194
47 0.13824328780174255
48 0.1362564116716385
49 0.13429833948612213
50 0.132368266582489
51 0.13046585023403168
52 0.12859109044075012
53 0.1267428994178772
54 0.12492141127586365
55 0.1231260746717453
56 0.12135656177997589
57 0.11961238831281662
58 0.11789334565401077
59 0.11619921773672104
60 0.11452922224998474
61 0.11288312822580338
62 0.11126099526882172
63 0.10966184735298157
64 0.10808579623699188
65 0.106532521545887
66 0.10500149428844452
67 0.10349243879318237
68 0.10200508683919907
69 0.10053901374340057
70 0.09909424185752869
71 0.09766990691423416
72 0.09626630693674088
73 0.09488292038440704
74 0.09351934492588043
75 0.09217515587806702
76 0.09085039794445038
77 0.08954479545354843
78 0.08825798332691193
79 0.08698944002389908
80 0.08573935925960541
81 0.0845070481300354
82 0.08329254388809204
83 0.08209548890590668
84 0.08091577142477036
85 0.07975286990404129
86 0.07860668748617172
87 0.07747688889503479
88 0.07636338472366333
89 0.07526612281799316
90 0.07418430596590042
91 0.07311809062957764
92 0.07206742465496063
93 0.07103154063224792
94 0.07001075148582458
95 0.06900466978549957
96 0.06801298260688782
97 0.06703557074069977
98 0.066072016954422
99 0.06512241810560226
100 0.06418654322624207
101 0.06326410919427872
102 0.062355078756809235
103 0.06145886704325676
104 0.060575492680072784
105 0.05970491096377373
106 0.058846890926361084
107 0.05800115689635277
108 0.05716757848858833
109 0.056346092373132706
110 0.0555361732840538
111 0.054738033562898636
112 0.053951431065797806
113 0.0531761460006237
114 0.05241178348660469
115 0.05165863409638405
116 0.05091621354222298
117 0.05018452927470207
118 0.04946324974298477
119 0.048752374947071075
120 0.04805169627070427
121 0.047361113131046295
122 0.04668048769235611
123 0.04600962996482849
124 0.045348361134529114
125 0.0446966178715229
126 0.044054266065359116
127 0.04342120513319969
128 0.04279709234833717
129 0.042182084172964096
130 0.0415758416056633
131 0.040978316217660904
132 0.040389373898506165
133 0.03980895131826401
134 0.03923676908016205
135 0.038672927767038345
136 0.03811722993850708
137 0.037569429725408554
138 0.03702935576438904
139 0.03649728000164032
140 0.03597274795174599
141 0.035455767065286636
142 0.0349462553858757
143 0.034443940967321396
144 0.03394889459013939
145 0.03346104547381401
146 0.03298007696866989
147 0.032506152987480164
148 0.032039009034633636
149 0.03157859295606613
150 0.031124703586101532
151 0.030677346512675285
152 0.030236493796110153
153 0.029801972210407257
154 0.029373735189437866
155 0.028951536864042282
156 0.028535399585962296
157 0.028125345706939697
158 0.027721144258975983
159 0.027322763577103615
160 0.026930106803774834
161 0.026543039828538895
162 0.02616160549223423
163 0.025785554200410843
164 0.02541501820087433
165 0.02504979632794857
166 0.024689771234989166
167 0.02433495968580246
168 0.02398517169058323
169 0.023640474304556847
170 0.02330072969198227
171 0.022965876385569572
172 0.022635798901319504
173 0.02231057733297348
174 0.021989917382597923
175 0.021673863753676414
176 0.021362382918596268
177 0.021055368706583977
178 0.02075282670557499
179 0.02045450732111931
180 0.020160524174571037
181 0.019870825111865997
182 0.019585274159908295
183 0.01930379308760166
184 0.019026298075914383
185 0.01875285804271698
186 0.018483413383364677
187 0.0182177871465683
188 0.01795593649148941
189 0.01769784465432167
190 0.017443565651774406
191 0.01719282567501068
192 0.0169457346200943
193 0.016702204942703247
194 0.016462240368127823
195 0.016225600615143776
196 0.015992436558008194
197 0.015762610360980034
198 0.015536056831479073
199 0.01531275361776352
200 0.01509274821728468
201 0.014875786378979683
202 0.014661986380815506
203 0.014451313763856888
204 0.014243602752685547
205 0.01403888314962387
206 0.013837129808962345
207 0.013638310134410858
208 0.013442250899970531
209 0.01324906200170517
210 0.013058701530098915
211 0.012870989739894867
212 0.012686015106737614
213 0.01250374224036932
214 0.012324041686952114
215 0.012146896682679653
216 0.011972364969551563
217 0.011800271458923817
218 0.011630683206021786
219 0.011463530361652374
220 0.011298784986138344
221 0.011136380955576897
222 0.010976347140967846
223 0.01081860065460205
224 0.010663095861673355
225 0.010509897023439407
226 0.010358813218772411
227 0.010210014879703522
228 0.010063203051686287
229 0.009918630123138428
230 0.009776086546480656
231 0.00963554996997118
232 0.009497096762061119
233 0.00936061330139637
234 0.009226078167557716
235 0.009093508124351501
236 0.008962801657617092
237 0.008833975531160831
238 0.008707026019692421
239 0.008581867441534996
240 0.008458593860268593
241 0.008336987346410751
242 0.00821713637560606
243 0.008099078200757504
244 0.007982665672898293
245 0.007867971435189247
246 0.007754916325211525
247 0.007643451914191246
248 0.007533577270805836
249 0.007425309158861637
250 0.007318615913391113
251 0.007213430479168892
252 0.007109746336936951
253 0.007007563021034002
254 0.0069068484008312225
255 0.006807621102780104
256 0.006709778681397438
257 0.006613357923924923
258 0.006518302019685507
259 0.006424624007195234
260 0.006332285236567259
261 0.006241272669285536
262 0.0061515928246080875
263 0.006063209380954504
264 0.0059760636650025845
265 0.005890156142413616
266 0.005805525928735733
267 0.005722035653889179
268 0.005639835726469755
269 0.0055587803944945335
270 0.0054789199493825436
271 0.005400161724537611
272 0.005322564393281937
273 0.0052460250444710255
274 0.00517068337649107
275 0.005096335429698229
276 0.005023115314543247
277 0.004950919654220343
278 0.004879762418568134
279 0.004809624515473843
280 0.004740518983453512
281 0.004672378301620483
282 0.004605223890393972
283 0.004539061337709427
284 0.004473820794373751
285 0.004409499932080507
286 0.00434613972902298
287 0.004283687099814415
288 0.004222120624035597
289 0.004161442629992962
290 0.004101647064089775
291 0.004042675718665123
292 0.003984586801379919
293 0.0039273155853152275
294 0.00387090677395463
295 0.003815251402556896
296 0.003760433988645673
297 0.0037063637282699347
298 0.0036531207151710987
299 0.0036005976144224405
300 0.003548881271854043
301 0.0034978655166924
302 0.0034476048313081264
303 0.0033980298321694136
304 0.0033492010552436113
305 0.0033010661136358976
306 0.003253634786233306
307 0.003206862136721611
308 0.0031607949640601873
309 0.0031153755262494087
310 0.0030705814715474844
311 0.0030264602974057198
312 0.0029829726554453373
313 0.002940083621069789
314 0.0028978462796658278
315 0.0028562003280967474
316 0.002815158339217305
317 0.002774682827293873
318 0.0027347952127456665
319 0.002695516450330615
320 0.0026567645836621523
321 0.0026185819879174232
322 0.0025809709914028645
323 0.0025438638404011726
324 0.0025072875432670116
325 0.0024712560698390007
326 0.0024357298389077187
327 0.002400750992819667
328 0.0023662373423576355
329 0.002332223579287529
330 0.0022987292613834143
331 0.002265690127387643
332 0.0022331103682518005
333 0.0022010307293385267
334 0.0021693864837288857
335 0.002138205338269472
336 0.002107476582750678
337 0.002077211393043399
338 0.0020473389886319637
339 0.00201791781000793
340 0.0019889171235263348
341 0.001960339955985546
342 0.0019321611616760492
343 0.0019044021610170603
344 0.001877025468274951
345 0.0018500544829294086
346 0.0018234821036458015
347 0.0017972624627873302
348 0.0017714430578052998
349 0.0017459901282563806
350 0.0017208807403221726
351 0.0016961493529379368
352 0.0016717755934223533
353 0.0016477338504046202
354 0.0016240653349086642
355 0.0016007355879992247
356 0.0015777155058458447
357 0.001555052469484508
358 0.0015327057335525751
359 0.001510667847469449
360 0.0014889667509123683
361 0.0014675650745630264
362 0.0014464533887803555
363 0.001425670343451202
364 0.001405192306265235
365 0.0013850030954927206
366 0.0013650888577103615
367 0.0013454807922244072
368 0.0013261355925351381
369 0.0013070752611383796
370 0.0012883051531389356
371 0.001269784988835454
372 0.0012515324633568525
373 0.0012335367500782013
374 0.0012158092577010393
375 0.0011983568547293544
376 0.0011811066651716828
377 0.0011641462333500385
378 0.0011474225902929902
379 0.0011309236288070679
380 0.0011146781034767628
381 0.001098650274798274
382 0.001082862843759358
383 0.0010672922944650054
384 0.0010519740171730518
385 0.0010368265211582184
386 0.0010219486430287361
387 0.0010072538862004876
388 0.0009927719365805387
389 0.0009785002330318093
390 0.0009644600213505328
391 0.0009505984489805996
392 0.0009369404288008809
393 0.0009234536555595696
394 0.0009101927280426025
395 0.0008971025235950947
396 0.0008842144161462784
397 0.0008715190342627466
398 0.0008589837234467268
399 0.0008466390427201986
400 0.0008344692178070545
401 0.0008224759949371219
402 0.0008106539607979357
403 0.0007990046287886798
404 0.000787514669355005
405 0.0007762035238556564
406 0.0007650482002645731
407 0.0007540533551946282
408 0.0007432110724039376
409 0.0007325401529669762
410 0.0007220103871077299
411 0.0007116313790902495
412 0.0007013983558863401
413 0.0006913295364938676
414 0.0006813958170823753
415 0.0006715868366882205
416 0.0006619489868171513
417 0.0006524224299937487
418 0.000643059378489852
419 0.0006338122766464949
420 0.0006247149431146681
421 0.00061571947298944
422 0.0006068808725103736
423 0.0005981545546092093
424 0.0005895563517697155
425 0.0005810848670080304
426 0.0005727456882596016
427 0.000564498535823077
428 0.000556396204046905
429 0.0005483878776431084
430 0.0005405200645327568
431 0.0005327520193532109
432 0.0005250974791124463
433 0.0005175354308448732
434 0.0005101095885038376
435 0.0005027778679504991
436 0.0004955431795679033
437 0.0004884239169768989
438 0.00048141099978238344
439 0.0004744956677313894
440 0.0004676781827583909
441 0.00046095240395516157
442 0.0004543262184597552
443 0.00044779348536394536
444 0.00044136057840660214
445 0.00043502278276719153
446 0.0004287644987925887
447 0.0004225981538183987
448 0.0004165370191913098
449 0.00041054439498111606
450 0.0004046419926453382
451 0.0003988321986980736
452 0.00039309216663241386
453 0.00038745321216993034
454 0.00038188110920600593
455 0.0003763911372516304
456 0.0003709812299348414
457 0.000365659361705184
458 0.00036040248232893646
459 0.0003552176640368998
460 0.0003501160244923085
461 0.00034507724922150373
462 0.00034011577372439206
463 0.0003352295607328415
464 0.0003304178244434297
465 0.0003256650234106928
466 0.00032099353848025203
467 0.00031637231586501
468 0.0003118277236353606
469 0.00030734966276213527
470 0.0003029232320841402
471 0.00029856906621716917
472 0.0002942823339253664
473 0.0002900474064517766
474 0.00028588250279426575
475 0.000281775020994246
476 0.00027772923931479454
477 0.0002737396862357855
478 0.00026979995891451836
479 0.0002659229503478855
480 0.00026209469069726765
481 0.00025833345716819167
482 0.00025461611221544445
483 0.0002509625337552279
484 0.0002473545609973371
485 0.00024379906244575977
486 0.00024029363703448325
487 0.00023684401821810752
488 0.00023343885550275445
489 0.0002300857158843428
490 0.00022678046661894768
491 0.00022352259838953614
492 0.00022030470427125692
493 0.0002171435480704531
494 0.00021401631238404661
495 0.0002109505730913952
496 0.00020791369024664164
497 0.0002049254544544965
498 0.00020197454432491213
499 0.00019907539535779506
500 0.00019621755927801132
501 0.0001933989697135985
502 0.00019061604689341038
503 0.00018787958833854645
504 0.00018517952412366867
505 0.00018251550500281155
506 0.000179896509507671
507 0.00017730495892465115
508 0.0001747568167047575
509 0.00017225154442712665
510 0.0001697689003776759
511 0.00016733058146201074
512 0.0001649218611419201
513 0.00016255432274192572
514 0.000160218623932451
515 0.0001579188392497599
516 0.00015565016656182706
517 0.00015340727986767888
518 0.00015120998432394117
519 0.00014903208648320287
520 0.00014689183444716036
521 0.00014477616059593856
522 0.00014269874372985214
523 0.00014064530842006207
524 0.00013862729247193784
525 0.00013663541176356375
526 0.00013467077224049717
527 0.00013273174408823252
528 0.00013082606892567128
529 0.0001289440697291866
530 0.00012709143629763275
531 0.0001252717338502407
532 0.0001234690280398354
533 0.00012169350520707667
534 0.00011994547821814194
535 0.00011821958469226956
536 0.0001165206340374425
537 0.00011484768765512854
538 0.00011319488112349063
539 0.00011157002882100642
540 0.00010996361379511654
541 0.00010838883463293314
542 0.00010682420543162152
543 0.0001052906591212377
544 0.00010377942817285657
545 0.00010228912287857383
546 0.00010082244989462197
547 9.936984861269593e-05
548 9.79410033323802e-05
549 9.653167217038572e-05
550 9.515011333860457e-05
551 9.378190588904545e-05
552 9.243142267223448e-05
553 9.110738756135106e-05
554 8.979346603155136e-05
555 8.850165613694116e-05
556 8.723006612854078e-05
557 8.597361738793552e-05
558 8.474072092212737e-05
559 8.352470467798412e-05
560 8.232223626691848e-05
561 8.113999501802027e-05
562 7.997826469363645e-05
563 7.882388308644295e-05
564 7.769326475681737e-05
565 7.657590322196484e-05
566 7.547775749117136e-05
567 7.439054024871439e-05
568 7.332216773647815e-05
569 7.226548041217029e-05
570 7.123216346371919e-05
571 7.020823250059038e-05
572 6.919655425008386e-05
573 6.820230919402093e-05
574 6.722383113810793e-05
575 6.625335663557053e-05
576 6.530640530399978e-05
577 6.436905823647976e-05
578 6.344173743855208e-05
579 6.253032915992662e-05
580 6.163099897094071e-05
581 6.074724660720676e-05
582 5.987301847198978e-05
583 5.901228723814711e-05
584 5.8159992477158085e-05
585 5.732490899390541e-05
586 5.6501983635826036e-05
587 5.56949817109853e-05
588 5.489120667334646e-05
589 5.4101394198369235e-05
590 5.332495493348688e-05
591 5.25570721947588e-05
592 5.1802711823256686e-05
593 5.106127719045617e-05
594 5.032560875406489e-05
595 4.960059595759958e-05
596 4.889060801360756e-05
597 4.818251181859523e-05
598 4.749358777189627e-05
599 4.680764686781913e-05
600 4.613734927261248e-05
601 4.547659773379564e-05
602 4.481906216824427e-05
603 4.417597301653586e-05
604 4.354250995675102e-05
605 4.291743607609533e-05
606 4.229915430187248e-05
607 4.169361272943206e-05
608 4.1095416236203164e-05
609 4.049933340866119e-05
610 3.992045094491914e-05
611 3.934573760489002e-05
612 3.878098868881352e-05
613 3.822606959147379e-05
614 3.767372254515067e-05
615 3.7131772842258215e-05
616 3.6596924473997205e-05
617 3.607571852626279e-05
618 3.5555141948862e-05
619 3.504454070935026e-05
620 3.453899989835918e-05
621 3.404594826861285e-05
622 3.355341686983593e-05
623 3.307449878775515e-05
624 3.259802906541154e-05
625 3.212897718185559e-05
626 3.166495662298985e-05
627 3.121405097772367e-05
628 3.0761872039875016e-05
629 3.032035419892054e-05
630 2.9883611205150373e-05
631 2.9455404728651047e-05
632 2.9032480597379617e-05
633 2.8617279895115644e-05
634 2.8205691705807112e-05
635 2.7800759198726155e-05
636 2.739875708357431e-05
637 2.7004818548448384e-05
638 2.661733014974743e-05
639 2.6235622499370947e-05
640 2.5856670617940836e-05
641 2.5486051526968367e-05
642 2.51218971243361e-05
643 2.4757184291956946e-05
644 2.440375101286918e-05
645 2.4052857042988762e-05
646 2.3706488718744367e-05
647 2.33651626331266e-05
648 2.303077417309396e-05
649 2.269852120662108e-05
650 2.2371979866875336e-05
651 2.2050535335438326e-05
652 2.1735482732765377e-05
653 2.1422694771899842e-05
654 2.1115918571013026e-05
655 2.081214915961027e-05
656 2.0513478375505656e-05
657 2.0217750716255978e-05
658 1.9925464584957808e-05
659 1.9641749531729147e-05
660 1.935981708811596e-05
661 1.9079157937085256e-05
662 1.880710078694392e-05
663 1.853674984886311e-05
664 1.8268110579811037e-05
665 1.8007101971306838e-05
666 1.774993143044412e-05
667 1.749315379129257e-05
668 1.7241143723367713e-05
669 1.6995038095046766e-05
670 1.6750936993048526e-05
671 1.650765807426069e-05
672 1.6272255379590206e-05
673 1.603645068826154e-05
674 1.5807680028956383e-05
675 1.5580553736072034e-05
676 1.53566670633154e-05
677 1.5135982721403707e-05
678 1.491689636168303e-05
679 1.4704981367685832e-05
680 1.4490598005068023e-05
681 1.4284378266893327e-05
682 1.4077892956265714e-05
683 1.3876810044166632e-05
684 1.3678032701136544e-05
685 1.3481759197020438e-05
686 1.3286268767842557e-05
687 1.3096409929858055e-05
688 1.290896580030676e-05
689 1.2722250176011585e-05
690 1.253833579539787e-05
691 1.2359028005448636e-05
692 1.2182231330370996e-05
693 1.200731367134722e-05
694 1.1833059943455737e-05
695 1.1663057193800341e-05
696 1.1495861144794617e-05
697 1.1330070265103132e-05
698 1.1167037882842124e-05
699 1.1008079127350356e-05
700 1.0848730198631529e-05
701 1.0692820978874806e-05
702 1.053860796673689e-05
703 1.0389637282059994e-05
704 1.0239312359772157e-05
705 1.0092478987644427e-05
706 9.94652509689331e-06
707 9.80436470854329e-06
708 9.66376956057502e-06
709 9.52365189732518e-06
710 9.388474609295372e-06
711 9.250729817722458e-06
712 9.118740308622364e-06
713 8.987872206489556e-06
714 8.858126420818735e-06
715 8.731900379643776e-06
716 8.605386028648354e-06
717 8.482165867462754e-06
718 8.361344953300431e-06
719 8.239725502789952e-06
720 8.121645805658773e-06
721 8.005733434401918e-06
722 7.890492270234972e-06
723 7.776086022204254e-06
724 7.664126314921305e-06
725 7.553775503765792e-06
726 7.44644694350427e-06
727 7.339256626437418e-06
728 7.2350330810877495e-06
729 7.130000994948205e-06
730 7.028048912616214e-06
731 6.927138201717753e-06
732 6.826957815064816e-06
733 6.72871192364255e-06
734 6.631030373682734e-06
735 6.5359927248209715e-06
736 6.442970516218338e-06
737 6.349589966703206e-06
738 6.259071597014554e-06
739 6.169494554342236e-06
740 6.07912807026878e-06
741 5.9936965044471435e-06
742 5.906750629947055e-06
743 5.822404091304634e-06
744 5.73810757487081e-06
745 5.656083885696717e-06
746 5.573830094363075e-06
747 5.495036020874977e-06
748 5.415722625912167e-06
749 5.337122274795547e-06
750 5.2600262279156595e-06
751 5.185742793401005e-06
752 5.110806341690477e-06
753 5.036545189796016e-06
754 4.964380423189141e-06
755 4.8929950935416855e-06
756 4.823147719434928e-06
757 4.7538023864035495e-06
758 4.6849590944475494e-06
759 4.617492777470034e-06
760 4.552375685307197e-06
761 4.486736543185543e-06
762 4.421574431034969e-06
763 4.35773836215958e-06
764 4.29569217885728e-06
765 4.233612344251014e-06
766 4.17305182054406e-06
767 4.112810529477429e-06
768 4.053826614835998e-06
769 3.995618044427829e-06
770 3.937483597837854e-06
771 3.881837074004579e-06
772 3.826474312518258e-06
773 3.7703787256759824e-06
774 3.7167149002925726e-06
775 3.6631013244914357e-06
776 3.610982730606338e-06
777 3.55836118615116e-06
778 3.507866040308727e-06
779 3.456543026914005e-06
780 3.407529902688111e-06
781 3.3588669339223998e-06
782 3.3104486192314653e-06
783 3.263117378082825e-06
784 3.215397100575501e-06
785 3.1695801681053126e-06
786 3.1233723802870372e-06
787 3.0789326501690084e-06
788 3.0351156965480186e-06
789 2.991107976413332e-06
790 2.947622760984814e-06
791 2.9062398425594438e-06
792 2.864067027985584e-06
793 2.8231800115463557e-06
794 2.7823916752822697e-06
795 2.7418047920946265e-06
796 2.7025671442970634e-06
797 2.663991608642391e-06
798 2.625976549097686e-06
799 2.5879535314743407e-06
800 2.550486897234805e-06
801 2.51366191150737e-06
802 2.478111127857119e-06
803 2.442723598505836e-06
804 2.407408828730695e-06
805 2.3732475256110774e-06
806 2.3392419734591385e-06
807 2.3053041786624817e-06
808 2.2717908905178774e-06
809 2.2392182472685818e-06
810 2.20688093577337e-06
811 2.175379222535412e-06
812 2.1441039734781953e-06
813 2.113730715791462e-06
814 2.0822328679059865e-06
815 2.0533013866952388e-06
816 2.024160039582057e-06
817 1.994160356844077e-06
818 1.966013769560959e-06
819 1.936853777806391e-06
820 1.9091160083917202e-06
821 1.8815783278114395e-06
822 1.8547950730862794e-06
823 1.828203949116869e-06
824 1.8020391507889144e-06
825 1.7764498352335067e-06
826 1.7509669305582065e-06
827 1.7256681985600153e-06
828 1.7007812402880518e-06
829 1.6766023236414185e-06
830 1.652445916988654e-06
831 1.6283913737424882e-06
832 1.605323177500395e-06
833 1.5821999568288447e-06
834 1.5592445379297715e-06
835 1.5366015304607572e-06
836 1.5146963505685562e-06
837 1.4938007097953232e-06
838 1.4716397345182486e-06
839 1.450694526283769e-06
840 1.429690655641025e-06
841 1.4090471722738585e-06
842 1.3891017260903027e-06
843 1.3692308584722923e-06
844 1.3493001915776404e-06
845 1.3297171790327411e-06
846 1.3108092389302328e-06
847 1.2920368135382887e-06
848 1.2736620647046948e-06
849 1.2550938208732987e-06
850 1.2368564057396725e-06
851 1.2188795608381042e-06
852 1.2016721484542359e-06
853 1.1846498182421783e-06
854 1.1671843367366819e-06
855 1.150845719166682e-06
856 1.134065769292647e-06
857 1.117469992095721e-06
858 1.1016072676284239e-06
859 1.0859778285521315e-06
860 1.0706410193961347e-06
861 1.055413576978026e-06
862 1.0399398888694122e-06
863 1.024932771542808e-06
864 1.0099768132931786e-06
865 9.955945188266924e-07
866 9.814314125833334e-07
867 9.672544365457725e-07
868 9.535781941849564e-07
869 9.393236837240693e-07
870 9.262942057830514e-07
871 9.124676694227674e-07
872 8.997376994557271e-07
873 8.869867542671273e-07
874 8.738384167372715e-07
875 8.618130777904298e-07
876 8.488534604111919e-07
877 8.372674074053066e-07
878 8.250749488070142e-07
879 8.131815434353484e-07
880 8.011149930098327e-07
881 7.894473128544632e-07
882 7.783785918036301e-07
883 7.673375534977822e-07
884 7.562734936072957e-07
885 7.452900376847538e-07
886 7.344868322434195e-07
887 7.241581556627352e-07
888 7.135100190680532e-07
889 7.031838435977988e-07
890 6.934174052730668e-07
891 6.833827228547307e-07
892 6.733740178788139e-07
893 6.636751095356885e-07
894 6.541879997712385e-07
895 6.451423359976616e-07
896 6.354187576107506e-07
897 6.263658178795595e-07
898 6.174700502015185e-07
899 6.086379471526016e-07
900 5.998695087328088e-07
901 5.91074524436408e-07
902 5.827446329931263e-07
903 5.741653694713023e-07
904 5.659992439177586e-07
905 5.578486366175639e-07
906 5.497572601598222e-07
907 5.420668571787246e-07
908 5.340912139217835e-07
909 5.265533218334895e-07
910 5.189860985410633e-07
911 5.11514883783093e-07
912 5.043869464316231e-07
913 4.970220288669225e-07
914 4.896708105661673e-07
915 4.826972599403234e-07
916 4.75773731523077e-07
917 4.689002253144281e-07
918 4.6235351192081e-07
919 4.5538246240539593e-07
920 4.4924240683030803e-07
921 4.4225498641026206e-07
922 4.362044023764611e-07
923 4.2989086068701e-07
924 4.2362336216683616e-07
925 4.174019068159396e-07
926 4.1189787225448526e-07
927 4.057633873344457e-07
928 3.9993238942770404e-07
929 3.9388805816997774e-07
930 3.8872281038493384e-07
931 3.82836333301384e-07
932 3.771731371671194e-07
933 3.7165887079027016e-07
934 3.663601546577411e-07
935 3.6109963730268646e-07
936 3.558773187251063e-07
937 3.509342718643893e-07
938 3.460258994891774e-07
939 3.4098212609023903e-07
940 3.361440121807391e-07
941 3.31173225731618e-07
942 3.2640537028783e-07
943 3.217710968783649e-07
944 3.1730093041915097e-07
945 3.127320269413758e-07
946 3.0806722861598246e-07
947 3.037255851268128e-07
948 2.992240411003877e-07
949 2.950087605313456e-07
950 2.90979926376167e-07
951 2.865743340407789e-07
952 2.8257295525691006e-07
953 2.784770458674757e-07
954 2.743195182119962e-07
955 2.704958319554862e-07
956 2.666384375515918e-07
957 2.6286875254299957e-07
958 2.591260113149474e-07
959 2.5555664251442067e-07
960 2.5163336658806656e-07
961 2.482031504769111e-07
962 2.444801907586225e-07
963 2.410993147350382e-07
964 2.3743024257782963e-07
965 2.3407079652315588e-07
966 2.3067900656315032e-07
967 2.2758945306122769e-07
968 2.2408062250178773e-07
969 2.2084424244894763e-07
970 2.176048496949079e-07
971 2.1452325427162577e-07
972 2.1154420437596855e-07
973 2.0834818315051962e-07
974 2.0535873090921086e-07
975 2.0241850506863557e-07
976 1.9973253984062467e-07
977 1.9657477423606906e-07
978 1.9390273564567906e-07
979 1.9107102389170905e-07
980 1.8843684301828034e-07
981 1.8562064951765933e-07
982 1.8294963410880882e-07
983 1.803721829674032e-07
984 1.7781303540687077e-07
985 1.752721914272115e-07
986 1.7287061382376123e-07
987 1.7017333675539703e-07
988 1.6785458001322695e-07
989 1.6519720702490304e-07
990 1.6291278370772488e-07
991 1.6066729813246639e-07
992 1.5841447975617484e-07
993 1.559478732815478e-07
994 1.537284788355464e-07
995 1.5152500054682605e-07
996 1.4933743841538671e-07
997 1.471657924412284e-07
998 1.4523180880132713e-07
999 1.4304600881587248e-07
w= 1.9997482299804688
b= 0.0005724608199670911
y_pred =  tensor([7.9996])
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
359
360
361
362
363
364
365
366
367
368
369
370
371
372
373
374
375
376
377
378
379
380
381
382
383
384
385
386
387
388
389
390
391
392
393
394
395
396
397
398
399
400
401
402
403
404
405
406
407
408
409
410
411
412
413
414
415
416
417
418
419
420
421
422
423
424
425
426
427
428
429
430
431
432
433
434
435
436
437
438
439
440
441
442
443
444
445
446
447
448
449
450
451
452
453
454
455
456
457
458
459
460
461
462
463
464
465
466
467
468
469
470
471
472
473
474
475
476
477
478
479
480
481
482
483
484
485
486
487
488
489
490
491
492
493
494
495
496
497
498
499
500
501
502
503
504
505
506
507
508
509
510
511
512
513
514
515
516
517
518
519
520
521
522
523
524
525
526
527
528
529
530
531
532
533
534
535
536
537
538
539
540
541
542
543
544
545
546
547
548
549
550
551
552
553
554
555
556
557
558
559
560
561
562
563
564
565
566
567
568
569
570
571
572
573
574
575
576
577
578
579
580
581
582
583
584
585
586
587
588
589
590
591
592
593
594
595
596
597
598
599
600
601
602
603
604
605
606
607
608
609
610
611
612
613
614
615
616
617
618
619
620
621
622
623
624
625
626
627
628
629
630
631
632
633
634
635
636
637
638
639
640
641
642
643
644
645
646
647
648
649
650
651
652
653
654
655
656
657
658
659
660
661
662
663
664
665
666
667
668
669
670
671
672
673
674
675
676
677
678
679
680
681
682
683
684
685
686
687
688
689
690
691
692
693
694
695
696
697
698
699
700
701
702
703
704
705
706
707
708
709
710
711
712
713
714
715
716
717
718
719
720
721
722
723
724
725
726
727
728
729
730
731
732
733
734
735
736
737
738
739
740
741
742
743
744
745
746
747
748
749
750
751
752
753
754
755
756
757
758
759
760
761
762
763
764
765
766
767
768
769
770
771
772
773
774
775
776
777
778
779
780
781
782
783
784
785
786
787
788
789
790
791
792
793
794
795
796
797
798
799
800
801
802
803
804
805
806
807
808
809
810
811
812
813
814
815
816
817
818
819
820
821
822
823
824
825
826
827
828
829
830
831
832
833
834
835
836
837
838
839
840
841
842
843
844
845
846
847
848
849
850
851
852
853
854
855
856
857
858
859
860
861
862
863
864
865
866
867
868
869
870
871
872
873
874
875
876
877
878
879
880
881
882
883
884
885
886
887
888
889
890
891
892
893
894
895
896
897
898
899
900
901
902
903
904
905
906
907
908
909
910
911
912
913
914
915
916
917
918
919
920
921
922
923
924
925
926
927
928
929
930
931
932
933
934
935
936
937
938
939
940
941
942
943
944
945
946
947
948
949
950
951
952
953
954
955
956
957
958
959
960
961
962
963
964
965
966
967
968
969
970
971
972
973
974
975
976
977
978
979
980
981
982
983
984
985
986
987
988
989
990
991
992
993
994
995
996
997
998
999
1000
1001
1002
1003

图像显示：

下面还可以使用以下其他的优化器，不同优化器的损失有所区别