devbox
繁依Fanyi0
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

[pytorch] clone() detach()图示理解_self.pos_table.clone().detach()

作者：繁依Fanyi0 | 2024-03-20 09:32:20

赞

踩

self.pos_table.clone().detach()

文字理解 参考

左图clone

clone是对数据data的`深度拷贝`，但是梯度是共享的, 即x1的data和x2的data是不一样的，但是gradient是同一个，共享一个内存地址。

右图detach

detach的机制正好与clone相反。x1的data和x2的data是同一个，但是gradient被截断了，是不通的，即x2的gradient回传不给x1

声明：本文内容由网友自发贡献，转载请注明出处：【wpsshop】
推荐阅读

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。