当前位置:   article > 正文

pytorch 今日小知识2——F.avg_pool2d、clamp

pytorch 今日小知识2——F.avg_pool2d、clamp
今天看到
def gem(self, ipts):
    return F.avg_pool2d(ipts.clamp(min=self.eps).pow(self.p), (1, ipts.size(-1))).pow(1. / self.p)

这个函数中的F.avg_pool2d 不是很理解就查了一下

  1. ipts.clamp(1.0e-6):
    这个操作将ipts中的每个元素限制在[1.0e-6, +inf)的范围内。也就是说,任何小于1.0e-6(一个非常小的正数)的值都会被替换为1.0e-6,而大于或等于1.0e-6的值则保持不变。这样做通常是为了避免数值不稳定问题,尤其是在进行对数运算、除法运算或幂运算时。

  2. .pow(6.5):
    ipts(经过clamp操作后)中的每个元素提升到6.5的幂。

  3. F.avg_pool2d(..., (1, ipts.size(-1))):
    使用F.avg_pool2d函数对张量进行平均池化操作。这里有两个关键的参数:

    • 第一个参数是输入张量,即经过clamp和pow操作后的ipts
    • 第二个参数(1, ipts.size(-1))定义了池化窗口的大小。这里,池化窗口的高度为1(即在高度上不进行池化),而宽度为ipts的最后一个维度的大小(即ipts.size(-1))。这意味着池化操作将在最后一个维度上进行,并且沿着这个维度取平均值。
  4. .pow(1. / 6.5):
    将池化后的结果张量中的每个元素取6.5的倒数次幂。这实际上是前面.pow(6.5)操作的逆操作,用于恢复原始数据的某种形式

import torch
import torch.nn.functional as F

F.avg_pool2d()数据是四维输入
input维度: (batch_size,channels,height,width)
kenerl维度:(二维:表示width的跨度)channel和输入的channle一致,如果数据是三维,则channel为1.(如果只写一个数n,kenerl=(n,n))

stride默认和kenerl一致,这是个二维的,所以在height和width上均和kenerl一致,越界同样丢弃。跟cnn卷积一致

在H和W维度求平均

  1. input=torch.randn(10,3,4,4)
  2. m=F.avg_pool2d(input,(4,4))
  3. print(m.size())
  4. torch.Size([10, 3, 1, 1])
  1. input = torch.tensor([[1,1,1,1,1],[1,1,1,1,1],[0,0,0,1,1],[1,1,1,1,1],[1,1,1,1,1]]).unsqueeze(0).float()
  2. print(input.size())
  3. print(input)
  4. m = F.avg_pool2d(input,kernel_size=(4,4))
  5. m
  6. torch.Size([1, 5, 5])
  7. tensor([[[1., 1., 1., 1., 1.],
  8. [1., 1., 1., 1., 1.],
  9. [0., 0., 0., 1., 1.],
  10. [1., 1., 1., 1., 1.],
  11. [1., 1., 1., 1., 1.]]])
  12. tensor([[[0.8125]]])
  13. input = torch.tensor([[1,1,1,1,1],[1,1,1,1,1],[0,0,0,1,1],[1,1,1,1,1],[1,1,1,1,1]]).unsqueeze(0).float()
  14. print(input.size())
  15. print(input)
  16. m = F.avg_pool2d(input,kernel_size=(4,4),stride=1)
  17. m
  18. torch.Size([1, 5, 5])
  19. tensor([[[1., 1., 1., 1., 1.],
  20. [1., 1., 1., 1., 1.],
  21. [0., 0., 0., 1., 1.],
  22. [1., 1., 1., 1., 1.],
  23. [1., 1., 1., 1., 1.]]])
  24. tensor([[[0.8125, 0.8750],
  25. [0.8125, 0.8750]]])

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/盐析白兔/article/detail/434212
推荐阅读
相关标签
  

闽ICP备14008679号