开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

Python OSError：[Errno 9]打开大json文件后文件描述符错误

Python OSError：[Errno 9]打开大json文件后文件描述符错误是一个常见的错误，它表示在尝试打开一个大型的JSON文件时，出现了文件描述符错误。文件描述符是操作系统为每个打开的文件分配的唯一标识符，用于在程序中引用该文件。

这个错误通常发生在以下情况下：

文件过大：当尝试打开一个非常大的JSON文件时，可能会超出操作系统对文件描述符的限制。操作系统对文件描述符的限制是为了保护系统资源不被耗尽。
文件已经被打开：如果在尝试打开文件之前，该文件已经被其他进程或线程打开并占用了文件描述符，那么就会出现文件描述符错误。

解决这个问题的方法有以下几种：

增加文件描述符限制：可以通过修改操作系统的文件描述符限制来解决该问题。具体的方法因操作系统而异，可以参考操作系统的文档或搜索相关资料。
使用适当的文件处理技术：对于大型的JSON文件，可以考虑使用流式处理的方式，而不是一次性将整个文件加载到内存中。可以使用Python的json模块的load()或loads()函数，结合逐行读取文件的方式，逐行解析JSON数据。
检查文件是否已被打开：在打开文件之前，可以先检查文件是否已经被其他进程或线程打开。可以使用Python的os模块的access()函数来检查文件是否可访问。

以下是一些腾讯云相关产品和产品介绍链接地址，可以帮助解决该问题：

腾讯云对象存储（COS）：腾讯云的对象存储服务，可以存储和管理大规模的非结构化数据，包括大型的JSON文件。链接地址：https://cloud.tencent.com/product/cos
腾讯云云服务器（CVM）：腾讯云的云服务器服务，提供高性能、可扩展的计算资源，可以用于处理大型JSON文件。链接地址：https://cloud.tencent.com/product/cvm

请注意，以上提到的腾讯云产品仅作为示例，其他云计算品牌商也提供类似的产品和服务。

相关搜索:'IOError：[Errno 9]在后台进程中调用子进程时文件描述符错误 OSError：[Errno 9] pipenv中的文件描述符错误 OSError：[Errno 9]安装pip时文件描述符错误 OSError：[Errno 9]错误的文件描述符 OSError：[Errno 9]错误的文件描述符不一致bot phantomjs引发OSError：[Errno 9]错误的文件描述符 Python:让Pydub使用OSError：[Errno2]没有这样的文件或目录，OSError：[Errno740]错误 Python:错误：(9，‘文件描述符错误’)Python套接字连接错误: OSError：[Errno 9]文件描述符错误 Watchdog: OSError：[Errno 9]带有watchdog的错误文件描述符

相关搜索:

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

Python守护进程daemon实现

这些环境包括未关闭的文件描述符，控制终端，会话和进程组，工作目录以及文件创建屏蔽字等。这些环境通常是守护进程从执行它的父进程（特别是shell）中继承下来的。...这些环境包括未关闭的文件描述符、控制终端、会话和进程组、工作目录以及文件创建掩码等。这些环境通常是守护进程从执行它的父进程（特别是shell）中继承下来的。...这是为了保证守护进程的当前工作目录在一个挂载的文件系统中，该文件系统不能被卸载。 5、关闭不再需要的文件描述符。根据具体情况来定。...6、某些守护进程可以打开/dev/null使其具有文件描述符0、1、2，这使任何一个试图读标准输入、写标准输出或标准错误的库例程都不会产生任何效果。...8、用日志系统记录出错信息因为守护进程没有控制终端，当进程出现错误时无法写入到标准输出上，可以通过调用syslog将出错信息写入到指定的文件中。

7.1K3 0

python 守护进程(daemon)

inetd完成了所有需要做的事情，包括重定向标准文件描述符，需要做的事情只有chdir()和umask()了 ''' def daemon(stdin='/dev/null', stdout=...'/dev/null', stderr='/dev/null'): # 重定向标准文件描述符（默认情况下定向到/dev/null） try: pid = os.fork...) # 进程已经是守护进程了，重定向标准文件描述符 for f in sys.stdout, sys.stderr: f.flush() si = open(stdin...stdout, 'a+') se = open(stderr, 'a+') os.dup2(si.fileno(), sys.stdin.fileno()) # dup2函数原子化关闭和复制文件描述符...4.修改umask 由于umask会屏蔽权限，所有设定为0，这样可以避免读写文件时碰到权限问题 5.fork孙子进程，子进程退出经过上面几个步骤后，子进程会成为新的进程组老大，可以重新申请打开终端，为了避免这个问题

1K3 0

python中的daemon守护进程实现方法

这些环境包括未关闭的文件描述符、控制终端、会话和进程组、工作目录以及文件创建掩码等。这些环境通常是守护进程从执行它的父进程（特别是shell）中继承下来的。...守护进程编程规则 1.在后台运行，调用fork ，然后使父进程exit 2.脱离控制终端，登录会话和进程组，调用setsid（）使进程成为会话组长 3.禁止进程重新打开控制终端 4.关闭打开的文件描述符...usage: subclass the CDaemon class and override the run() method stderr 表示错误日志文件绝对路径, 收集启动过程中的错误日志... verbose 表示将启动运行过程中的异常错误信息打印到终端,便于调试,建议非调试模式下关闭, 默认为1, 表示开启 save_path 表示守护进程pid文件的绝对路径 ...url=3oGf3-g9x9tlR-VrYaG-hc8HiyXxKQznCXBe1C7M4rxzbbbOokOHkYi-VV9mcZ5dvljekexegBolO-5MCSyUpXp3Uv4--7-5GNDBLSqqD0S

7482 0

Python内置OS模块用法详解

注意如果目录不为空，会抛出OSError：[Errno 66] Directory not empty.语法格式为 os.removedirs(path) 示例代码 import os os.rmdir...os.rename(src, dst) src – 要修改的目录名 dst – 修改后的目录名 renames() 方法用于递归重命名目录或文件。类似rename()。...os.write() 方法用于写入字符串到文件描述符 fd 中. 返回实际写入的字符串长度。...os.lseek(fd, pos, how) os.read() 方法用于从文件描述符 fd 中读取最多 n 个字节，返回包含读取字节的字符串，文件描述符 fd对应文件已达到结尾, 返回一个空字符串。...os.fsync(fd) os.close() 方法用于关闭指定的文件描述符 fd。

9792 0

python异常报错详解

写在前面这篇文章虽然篇幅有点长，但这不并是一篇关于Python异常的全面介绍的文章，只是在学习Python异常后的一篇笔记式的记录和平时写代码过程中遇到异常记录性的文章。...异常EnvironmentError 对于可以在Python的系统外发生异常的基类： IOError，OSError。...异常OSError 这个异常来源于EnvironmentError。当函数返回与系统相关的错误（不是非法参数类型或其他偶然错误）时引发。...的errno属性是从一个数字错误代码errno，并且strerror属性是相应的字符串，如将被C函数被打印perror()。请参阅模块errno，其中包含由底层操作系统定义的错误代码的名称。...该errno值将值映射winerror到相应的errno.h值。这是一个子类OSError。以前的版本将GetLastError()代码放入errno。

4.6K2 0

Python和sendfile

sendfile（2）是UNIX系统调用，它提供“零复制”方式将数据从一个文件描述符（一个文件）复制到另一个文件描述符（一个套接字）。..., errno.EALREADY, errno.EWOULDBLOCK, errno.EINPROGRESS)) class _GiveupOnSendfile...err) # not a regular file try: fsize = os.fstat(fileno).st_size except OSError...try: sent = os_sendfile(sockno, fileno, offset, blocksize) except OSError...while True: try: sent = sock_send(data) except OSError

6661 0

Python创建daemon

） 5、修改进程当前工作目录（通常改为根目录 /，保证根目录的文件系统不会被卸载即可，如：cron会将自身放在/var/spool/cron 目录下） 6、关闭daemon从父进程继承而来的所有打开着的文件描述符...（由于daemon失去了控制终端，对0,1,2描述符完全可以关闭；无法卸载长时间运行的daemon打开的文件所在的文件系统----文件描述符是一种有限资源） 7、关闭0,1,2文件描述符后，daemon...通常会打开/dev/null,并让所有描述符都指向该设备 --这样确保了当daemon调用在这些文件描述符上执行IO的库函数时不会出乎意料的失败；实例： import sys,os,time..., e: print >>sys.stderr, "fork #1 failed: %d (%s)" % (e.errno, e.strerror) sys.exit..., e: print >>sys.stderr, "fork #2 failed: %d (%s)" % (e.errno, e.strerror) sys.exit

7511 0

Python 守护进程

这样我们释放了从父进程继承的标准输入，标准输出，和标准错误输出。我们没办法知道这些文描述符符可能已经被重定向去哪里。...如果你认为有可能有打开的文件描述符，你需要关闭它们，因为系统有一个同时打开文件数的限制。 7. 为标准输入，标准输出和标准错误输出建立新的文件描述符。...准确操作这些描述符是基于各自爱好；比如说，如果你有一个日志文件，你可能希望把它作为标准输出和标准错误输出打开，而把‘/dev/null’作为标准输入打开；作为替代方法...except OSError, e: sys.stderr.write("fork #1 failed: (%d) %s\n" % (e.errno, e.strerror))...except OSError, e: sys.stderr.write("fork #2 failed: (%d) %s\n" % (e.errno, e.strerror))

9113 0

课时33：异常处理：你不可能总是对的2

: print("文件打开的过程出错啦") 上面的例子由于使用了大家习惯的语言来表达错误的信息，用户体验当然会好很多：文件打开的过程出错啦但是从程序员的角度来看，导致OSError异常的原因有很多....txt") print(f.read()) f.close() except OSError as reason: print("文件打开的过程出错啦,错误的原因是...：" + str(reason)) 文件打开的过程出错啦,错误的原因是：[Errno 2] No such file or directory: '我为什么是一个文档.txt' 1、针对不同异常设置多个...********************* 二、try-finally语句 ********************* 如果“我是一个不存在的文档”确实存在，open（）函数正常返回文件对象，但异常却发生在成功打开文件后的...此时python将直接跳转到except语句，也就是说，文件被打开了，但并没有执行关闭的命令： try: f = open("我是一个不存在的文档.txt") print(f.read

5863 0

解决No module named fcntl

这个错误通常是由于在使用Python标准库中的fcntl模块时出现的。什么是fcntl模块fcntl模块是Python的标准库之一，它提供了对文件描述符进行控制的功能。...该模块提供了对文件描述符的非阻塞I/O、锁定、信号处理等操作。...)在这个示例中，我们首先打开一个文件并获取文件描述符。...通过将文件描述符设置为非阻塞模式，我们可以确保文件操作不会阻塞程序的执行，从而提高程序的响应性能。当然，在使用fcntl模块之前，我们需要确保我们的操作系统和Python环境支持该模块。...在Python中，使用fcntl模块可以实现对文件描述符的非阻塞I/O控制。通过将文件描述符设置为非阻塞模式，可以确保I/O操作不会阻塞程序的执行。

1K3 0

《理解 Unix 进程》笔记-1

打开多个资源所分配的文件描述符编号是尚未使用的最小的数值。资源一旦关闭，对应的文件描述符编号就会释放又能继续使用了。文件描述符只是用来跟踪打开的资源，已经关闭的资源是没有文件描述符的。...()) 输出： 0 1 2 进程皆有资源限制文件描述符代表已打开的资源，当资源没有被关闭的时候，文件描述符编号会一直递增，那一个进程可以拥有多少个文件描述符呢？...，第二个是文件描述符的硬限制。...python 中如果超出了软限制，会抛出 OSError： import resource resource.setrlimit(resource.RLIMIT_NOFILE, (3, resource.RLIM_INFINITY...退出码0被认为是顺利结束，其他退出码表示出现了错误 python 使用 os.exit() 来退出进程 #!

8771 0

一次算法读图超时引起的urllib3源码分析

raise eif __name__ == '__main__': image_url = 'http://xxx.xxx.com/dxGnGYXcNDbNpERoLBxSoekayqw9E.jpg...if hasattr(err, "errno") and err.errno in _blocking_errnos: raise ReadTimeoutError(...'})json.loads(r.data.decode('utf-8'))['json']# 输出{'attribute': 'value'}文件和二进制 POST使用multipart/form-data...编码进行二进制文件传参请求，比如上传图片或其他文件，由于这种场景已经不再适用，这块不继续讲解参考文档https://nining.website/python/spider/urllib3https:/.../github.com/python/cpython/blob/main/Lib/socket.pyhttps://github.com/python/cpython/blob/v2.7.18/Lib/

1K2 0

利用python socket管理服务器

_exit(0) except OSError,error: print "fork #1 failed: %d (%s)" % (error.errno, error.strerror..._exit(0) except OSError,error: print "fork #1 failed: %d (%s)" % (error.errno, error.strerror... if i in (3,5): c += '-' if i==7: c += ' ' if i in (9,11..._exit(0) except OSError,error: print "fork #1 failed: %d (%s)" % (error.errno, error.strerror..._exit(0) except OSError,error: print "fork #1 failed: %d (%s)" % (error.errno, error.strerror

9092 0

Android6.0编译时out目录下文件无法自动生成问题解决方案

", line 1249, in _execute_child raise child_exception OSError: [Errno 2] No such file or directory...make: *** [out/target/product/msm8909/system/bin/install-recovery.sh] 错误 1 #### make failed to build...文件自动生成的当时根本没往jdk版本问题那个方向考虑，因为在别的终端该项目可以编译成功，所以就将编译成功后的build.prop拷了过来，拷过来之后就会发现问题了，out目录下又会有一个文件找不到...", line 1249, in _execute_child raise child_exception OSError: [Errno 2] No such file or directory...make: *** [out/target/product/msm8909/system/bin/install-recovery.sh] 错误 1 #### make failed to build

4932 0

使用 Python 开发 CLI 工具并打包发布到 PyPI

尝试另外一种方式 curl curl -sSL https://install.python-poetry.org | python - 还是相同错误失败 curl -sSL https://install.python-poetry.org.../poetry/releases 将下载的压缩包存到与 install-poetry.py 文件同级的文件夹下，不要解压在此目录下运行安装 python install-poetry.py -...编码错误 Python读取文件时出现UnicodeDecodeError: ‘gbk‘ codec can‘t decode byte 0x80 in position ......2] No such file or directory 参考: ERROR: Could not install packages due to an OSError: [Errno 2] No such...Python38\site-packages\pyimaging-0.0.1.dist-info 发现我反复安装后, 终于有了这两个在 install (METADATA) 与 uninstall(RECORD

3.1K2 0

linux 下经典 IO 复用模型 -- epoll 的使用

需要注意的是，该描述符使用完毕后同样需要 close 操作。 size 参数用来告诉内核监听的数目，自从 linux 2.6.8 开始，size 参数被忽略，但是依然必须大于 0。 3.2....（或对端 socket 正常关闭） EPOLLOUT 文件描述符可写 EPOLLPRI 文件描述符有带外数据可读 EPOLLERR 文件描述符发生错误 EPOLLHUP 文件描述符被挂断 EPOLLET...支持同时打开大量的文件描述符 select 函数对一个进程所打开的FD是有一定限制的，由FD_SETSIZE设置，默认值是1024，这对于一个服务器来说显然是太少了，虽然修改这个宏之后重新编译系统可以解决这个问题...传统 Apache 服务器对此的解决方案是使用多进程的方式来打开大于 FD_SETSIEZE 的文件描述符，但是开辟进程的效率和资源都有一定的消耗，同时进程间数据同步也远没有线程间数据同步来的高效。...然后它会假设你知道文件描述符已经就绪，并且不会再为那个文件描述符发送更多的就绪通知，直到你做了某些操作导致那个文件描述符不再为就绪状态了(比如，你在发送，接收或者接收请求，或者发送接收的数据少于一定量时导致了一个

5951 0

并发编程～先导篇上

查看一下源码：（https://github.com/python/cpython/blob/v3.7.0/Lib/pty.py） STDIN_FILENO = 0 # 看这：文件描述符输入（读端）STDOUT_FILENO...# 设置会话领导 except (AttributeError, OSError): pass else: # 没有错误执行 if pid == CHILD:...= 0：文件描述符输入（读端）sys.stdout.fileno() # STDOUT_FILENO = 1：看这：文件描述符输出（写端）我们用程序实现一个同样效果的：( grep有颜色，其实就是加了...返回实际写入的字符串长度 os.read(fd,n)从文件描述符 fd 中读取最多 n 个字节，返回包含读取字节的字符串如果文件描述符fd对应文件已达到结尾, 返回一个空字符串举个父子间通信的例子（...os.O_TRUNC: 打开一个文件并截断它的长度为零（必须有写权限） os.O_EXCL: 如果指定的文件存在，返回错误 os.O_SHLOCK: 自动获取共享锁 os.O_EXLOCK: 自动获取独立锁

1.8K8 0

1.并发编程～先导篇（上）

查看一下源码：（https://github.com/python/cpython/blob/v3.7.0/Lib/pty.py） STDIN_FILENO = 0 # 看这：文件描述符输入（读端）..., fd = os.forkpty() # 设置会话领导 except (AttributeError, OSError): pass else: # 没有错误执行...PS：在C系列里面如果你该关闭的fd没关，会资源浪费，python好像做了处理，没能够问题复现，所以还是建议父子一方只读，一方只写 ---- 概念再理解：fork了两个子进程，则文件描述符被复制了2份，...返回实际写入的字符串长度 os.read(fd,n)从文件描述符 fd 中读取最多 n 个字节，返回包含读取字节的字符串如果文件描述符fd对应文件已达到结尾, 返回一个空字符串举个父子间通信的例子（...os.O_TRUNC: 打开一个文件并截断它的长度为零（必须有写权限） os.O_EXCL: 如果指定的文件存在，返回错误 os.O_SHLOCK: 自动获取共享锁 os.O_EXLOCK: 自动获取独立锁

1.4K4 0

python和shell常用基本命令的对应关系

python和shell常用基本命令的对应关系平时工作的过程中，我个人习惯用python写后端的逻辑，然后使用shell写一些Linux环境下面的脚本，对于python脚本的使用，其实还是比较少的...: [Errno 2] No such file or directory: '/tmp/yeyz/test' >>> os.chdir('/tmp/yeyz/') Traceback (most recent...call last): File "", line 1, in OSError: [Errno 2] No such file or directory: '/tmp...'pwd') /private/tmp 0 >>> os.getcwd() '/private/tmp' 大家可能还注意到了，返回了一个多余的0，它的意思是该命令执行成功,如果执行不成功，则会返回一个错误的...split方法的第一个元素 os.path.isfile()方法，可以判断路径是否是一个文件 os.path.isdir()方法，可以判断给的路径是否是一个文件夹 9、sys.exit(n)方法，相当于

1K3 0

Python OSError: Invalid argument:的出现和解决「建议收藏」

1、在学习从文件读取数据中，写了个示例代码，读取不在同一个目录的file.txt，运行后报这个Python OSError: [Errno 22] Invalid argument:错误：（1）、首先...，在F盘的python_stu中新增了一个file.txt，同时在F盘的python_stu文件目录底下新增一个file文件夹，里面有个file_reader.py来读取python_stu文件目录底下的...contents = file_obj.read(); print(contents.rstrip()); （2）、运行后报错：（3）、出现这种错误的原因是由于读取不到这个文件，看Traceback...报的错误，最后一行，很明显读取不到file.txt，前面的F:\\python_stu没错，后面的名称怎么变了，还是x0cile.txt。...') as file_obj: 或者： with open('F://python_stu//file.txt') as file_obj: 又或者： with open('F:\\python_stu

5K2 0

点击加载更多

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭