首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >多处理,Python3,TypeError: TypeError:无法对_thread.lock对象进行筛选

多处理,Python3,TypeError: TypeError:无法对_thread.lock对象进行筛选
EN

Stack Overflow用户
提问于 2018-09-14 17:03:53
回答 2查看 1.2K关注 0票数 11

在运行Python3.6的Windows 10系统上,当试图使用multiprocessing.Process创建新的rq工作人员时,

代码语言:javascript
运行
复制
multiprocessing.Process(target=Worker(qs).work, kwargs={'burst': True}).start()     

我们遇到了错误

TypeError:不能对_thread.lock对象进行分类

OSError: WinError 87参数不正确

使用rq.SimpleWorker代替了rq.Worker,因为Windows不支持rq.Worker使用的fork函数。

问题:是什么导致了这个错误?我们怎么解决呢?

代码语言:javascript
运行
复制
from rq import SimpleWorker, Connection

def needMoreWorkers():
    return True

if __name__ == '__main__':
    qs = sys.argv[1:] or ['default']
    with Connection(connection=my_redis_conn):
        if needMoreWorkers():
            multiprocessing.Process(target=SimpleWorker(qs).work, kwargs={'burst': True}).start()     

错误跟踪

代码语言:javascript
运行
复制
Traceback (most recent call last):
File "WorkerFactory.py", line 53, in <module>
    main(qs)
File "WorkerFactory.py", line 45, in main
    multiprocessing.Process(target=SimpleWorker(qs)).start()
File "C:\Users\x\AppData\Local\Continuum\anaconda3\envs\test\lib\multiprocessing\process.py", line 105, in start
    self._popen = self._Popen(self)
File "C:\Users\x\AppData\Local\Continuum\anaconda3\envs\test\lib\multiprocessing\context.py", line 223, in _Popen
    return _default_context.get_context().Process._Popen(process_obj)
File "C:\Users\x\AppData\Local\Continuum\anaconda3\envs\test\lib\multiprocessing\context.py", line 322, in _Popen
    return Popen(process_obj)
File "C:\Users\x\AppData\Local\Continuum\anaconda3\envs\test\lib\multiprocessing\popen_spawn_win32.py", line 65, in __init__
    reduction.dump(process_obj, to_child)
File "C:\Users\x\AppData\Local\Continuum\anaconda3\envs\test\lib\multiprocessing\reduction.py", line 60, in dump
    ForkingPickler(file, protocol).dump(obj)
TypeError: can't pickle _thread.lock objects

(test) C:\Code\test\source>Traceback (most recent call last):
File "<string>", line 1, in <module>
File "C:\Users\x\AppData\Local\Continuum\anaconda3\envs\test\lib\multiprocessing\spawn.py", line 99, in spawn_main
    new_handle = reduction.steal_handle(parent_pid, pipe_handle)
File "C:\Users\x\AppData\Local\Continuum\anaconda3\envs\test\lib\multiprocessing\reduction.py", line 82, in steal_handle
    _winapi.PROCESS_DUP_HANDLE, False, source_pid)
OSError: [WinError 87] The parameter is incorrect   
EN

回答 2

Stack Overflow用户

发布于 2020-11-06 13:07:14

据我所见,Pickle模块导致了这个问题。它必须导入到另一个模块中的某个地方。总之,泡菜是用来保存数据的,但是它显然不能对thread.lock对象进行“腌制”。至于如何修复它,请检查所有函数调用,并确保传入正确的变量类型。

票数 0
EN

Stack Overflow用户

发布于 2022-08-24 12:44:46

_thread.lock可能实际上是一个方法,而不是一个常规的类对象。据我所知,pickle没有腌制方法。然而,dill确实如此。你可以试着用燕麦代替泡菜,看看它是否有效。

如果你在Ubuntu上,你可以用sudo apt-get install python3-dill安装它。

Python允许函数编程,这意味着方法和函数可以作为参数传递给函数。

要确切地了解_thread.lock是什么,可以在其上使用help()函数。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/52336438

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档