admin管理员组文章数量:1130349
最近写代码遇到这个问题,先展示下问题,整个问题的代码放在文章最后。
比较常见的问题,通常都是第一次迭代没问题,第二次迭代就出现这个错误,以下展示我的部分代码,并且从头到尾分析以下我的解决方案。
可以一边看我的代码一边看问题,这里只是示范代码,所以并没有写的很复杂。
问题的出现在于我在循环里使用了如下的更新z1的公式,
z1是通过 z1 = cal(t0,z0,t1,z1,z2) 得到的,这里z1是已经定义了的变量,但是经过这个公式又把z1更新覆盖了,虽然说这个错误可以在最后loss.backward()函数里加上retain_graph=Ture,即loss.backward(retain_graph=Ture)解决,但是这会增加显存的使用,明显当任务需要较大的计算量时,这是不合理的,所以这种方案并不是最优的。
而我的解决方案是对 z1 = cal(t0,z0,t1,z1,z2) 进行了简单的修改,只需要在我们需要更新的参数,这里是z1,后面加上 .data 即可,此时这句变为了 z1 = cal(t0,z0,t1,z1.data,z2)
最近写代码遇到这个问题,先展示下问题,整个问题的代码放在文章最后。
比较常见的问题,通常都是第一次迭代没问题,第二次迭代就出现这个错误,以下展示我的部分代码,并且从头到尾分析以下我的解决方案。
可以一边看我的代码一边看问题,这里只是示范代码,所以并没有写的很复杂。
问题的出现在于我在循环里使用了如下的更新z1的公式,
z1是通过 z1 = cal(t0,z0,t1,z1,z2) 得到的,这里z1是已经定义了的变量,但是经过这个公式又把z1更新覆盖了,虽然说这个错误可以在最后loss.backward()函数里加上retain_graph=Ture,即loss.backward(retain_graph=Ture)解决,但是这会增加显存的使用,明显当任务需要较大的计算量时,这是不合理的,所以这种方案并不是最优的。
而我的解决方案是对 z1 = cal(t0,z0,t1,z1,z2) 进行了简单的修改,只需要在我们需要更新的参数,这里是z1,后面加上 .data 即可,此时这句变为了 z1 = cal(t0,z0,t1,z1.data,z2)
本文标签: 过程中pytorchRuntimeErrorTimeGraph
版权声明:本文标题:解决pytorch反向传播过程中出现 RuntimeError: Trying to backward through the graph a second time 问题 内容由热心网友自发贡献,该文观点仅代表作者本人, 转载请联系作者并注明出处:https://it.en369.cn/jiaocheng/1755028849a2755500.html, 本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。


发表评论