admin管理员组

文章数量:1130349

报错提示：
_pickle.PicklingError: Can't pickle <function <lambda> at 0x0000016CEB6F0488>: attribute lookup <lambda> on datasets.cropdiseases failed

错误原因：由于a1.py 中 datasets.ImageFolder 使用了lambda函数，而在调用的a2.py 中num_workers被设置为非0，这两个因素共同作用导致报错。

在windows系统中，num_workers要设置为0，才不会抛出异常，这个在前面的博客中已经讲过了。

所以，这里把num_workers设为0 即可解决异常。

附：
torch.utils.data.DataLoader默认采用单进程（主进程）来加载数据，但可以通过num_workers设置同时使用几个子进程，num_workers=0表示只使用主进程。这里的workers由pytorch提供，其实现依赖于python的multiprocessing，其实现在windows下和unix下是不同的。

unix下默认采用fork()，子进程通过从父进程那里继承来的地址空间直接访问dataset和代码中其他带参数的函数
windows下默认采用spawn()，这时候会另起一个python解释器来执行主代码(main script)，之后通过pickle序列化接收dataset, collate_fn以及其他参数来执行主代码内部需要由workers来执行的代码
采用spawn()的时候，worker_init_fn参数不能为unpicklable对象，例如lambda函数。

reference：https://blog.csdn/weixin_43407455/article/details/116098089

报错提示：
_pickle.PicklingError: Can't pickle <function <lambda> at 0x0000016CEB6F0488>: attribute lookup <lambda> on datasets.cropdiseases failed

错误原因：由于a1.py 中 datasets.ImageFolder 使用了lambda函数，而在调用的a2.py 中num_workers被设置为非0，这两个因素共同作用导致报错。

在windows系统中，num_workers要设置为0，才不会抛出异常，这个在前面的博客中已经讲过了。

所以，这里把num_workers设为0 即可解决异常。

附：
torch.utils.data.DataLoader默认采用单进程（主进程）来加载数据，但可以通过num_workers设置同时使用几个子进程，num_workers=0表示只使用主进程。这里的workers由pytorch提供，其实现依赖于python的multiprocessing，其实现在windows下和unix下是不同的。

unix下默认采用fork()，子进程通过从父进程那里继承来的地址空间直接访问dataset和代码中其他带参数的函数
windows下默认采用spawn()，这时候会另起一个python解释器来执行主代码(main script)，之后通过pickle序列化接收dataset, collate_fn以及其他参数来执行主代码内部需要由workers来执行的代码
采用spawn()的时候，worker_init_fn参数不能为unpicklable对象，例如lambda函数。

reference：https://blog.csdn/weixin_43407455/article/details/116098089

本文标签： picklefunctionPicklingErrorLAMBDA

版权声明：本文标题：_pickle.PicklingError:Can‘t pickle ＜function ＜lambda＞ at 0＞: attribute lookup ＜lambda＞ on xxx failed 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://it.en369.cn/jiaocheng/1754774383a2726551.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。