torch的使用tips-1_torchattacks

记录一下20210818-20210819两天发现的一些torchtips:

1 cat

可以用来对两个tensor进行拼接，可以实现类似于list append或者list +的操作。类似功能的还有stack。

2 diag_embed

按照输入生产对角矩阵，非常有用，可以用来将one-hot编码转化成对应的对角矩阵，例如:

[0,0,1]
->
[[0, 0, 0],
[0, 0, 0],
[0, 0, 1]]
1
2
3
4
5

3 zeros/ones

按照输出生成固定形状的张量，也可以用zeros_like/ones_like直接模仿指定的张量生成新的。
这个方法的意义不只在于创建新的张量，更在于可以用于提前创建待迭代的张量。

4 tensor的反向传播

tensor是可以自动反向传播的，但是前提是所有操作都在tensor的基础上进行，并且操作方式最好都是torch下的操作方式，否则梯度会中断。

5 切片

tensor直接进行切片即可，与列表一样。

6 模型cuda化

如果modelA中包含了modelB的实例化，并且在将modelA实例化后放入了cuda，那么modelB也会自动放入cuda，非常方便。

7 torch 查看动态图

除了使用tensorboard以外，可以直接把model的参数打印出来：

for name, parameters in model.named_parameters():
	print(name, ':', parameters.size())
	print(parameters)
1
2
3

8 clone与detach

clone相当于深拷贝，并且拷贝出的tensor依然在动态图中；detach相当于浅拷贝，但是拷贝出来的tensor不在动态图中，共享内存。

9 tensorboard

原理就是将模型的结构和动态执行过程写到一个结构化log中，然后再用server读取这个log生成可视化结果。