腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
4
回答
在
Python
中
写入
文件
时
是否
合
并行
?
python
因此,我试图将所有这些信息
写入
到一个.txt
文件
中
,但由于名称是从一个.txt
文件
中提取出来的,因此 利亚姆 诺亚 威廉 等等..。 当我
写入
一个
文件
时
,它会将名字和姓氏放在与其他
文件
不同的行
中
。我一直
在
StackOverflow上寻找解决方案,但我找不到任何足够具体的东西。
浏览 40
提问于2019-04-25
得票数 0
回答已采纳
1
回答
在
并行
向HDF5
文件
写入
数据
时
,dask如何管理任务?
bigdata
、
python-multithreading
、
dask
我想使用
python
在
一个大型数组上
并行
计算。输入数组和输出数组都不在内存
中
。此外,
写入
输出
文件
是一个潜在的瓶颈(因为例如,HDF5通常不支持
并行
写入
)。
在
等待写出生成的块
时
,dask如何决定将多少新块放入内存(即读入并开始计算)?据推测,如果它试图使CPU完全被占用,就有可能导致
python
达到内存限制。
是否
存在相关的配置设置,或者最好避免使用dask并实现其他类型的任务队列?
浏览 12
提问于2018-02-12
得票数 2
回答已采纳
1
回答
防止两个
python
程序一次
写入
同一个
文件
。
python
、
file-io
、
locking
我
在
集群上
并行
运行了几次
python
脚本。现在,所有这些
文件
都
写入
同一个输出
文件
。这似乎会造成线路缺陷。当一个程序
写入
文件
并使另一个程序等待
写入
完成
时
,
是否
有一种“锁定”
文件
的方法?还是必须使用多个输出
文件
,然后将它们联合起来?
浏览 5
提问于2014-04-17
得票数 1
1
回答
从MacOS终端筛选输出
并行
运行多个
python
脚本
python
、
bash
、
macos
、
terminal
我正在尝试从macos终端
并行
运行多个
python
脚本
python
b.py &这是
并行
、异步地并发运行脚本吗?还是继续按顺序运行?此外,这些脚本的输出似乎
在
终端窗口中重叠。
是否
有办法将每个程序的输出筛选到不同的终端窗口,甚至可能将其
写入
单独的文本
文件
。
浏览 1
提问于2019-01-20
得票数 1
回答已采纳
2
回答
GNUParallyvs.xargs与
Python
工具-发送10000 reqs/秒
python
、
curl
、
xargs
、
gnu-parallel
在
文本
文件
中
,每一行都是cURL,后面跟着实际的URL。实际上,每一行都可以是http url,我可以通过管道传输到jq的响应,如果满足了条件,我将
写入
日志
文件
(这就是我正在尝试实现的)。几个小时(例如48-72小
时
)的10000雷克/秒.
在
文本
文件
上使用gnu
并行
,其中每个文本
文件
将有10000准备好的http urls?(
在
文本
文件
中<
浏览 0
提问于2022-01-05
得票数 1
2
回答
多个
并行
进程
写入
SGE群集上的同一
文件
python
、
file
、
file-io
、
sungridengine
我目前
在
一个SGE集群上工作,并且有提交许多作业的代码,这些作业是用
python
编写的,并且是
并行
的。 代码末尾的输出是一组包含数字数据的
文件
。每个
python
作业执行一些计算,然后依次输出到每个
文件
。为了输出到
文件
,我的代码读取
文件
中
的数据,将它计算出的内容添加到数据
中
,然后输出回
文件
。我的问题是这样的;因为所有的作业都是
并行
运行的,并且所有的作业都为每个输出
文件</em
浏览 51
提问于2020-04-15
得票数 0
回答已采纳
1
回答
向同一个
文件
追加文本的四个进程
python
、
file
、
io
、
multiprocessing
我有4个
Python
脚本/进程
并行
运行,每个脚本/进程每隔大约30秒将文本追加到
文件
中
: id = processing_job() # 30 seconds longopen('log.txt', 'a+') as f:当使用open(..., 'a+') log.txt
时
,<em
浏览 1
提问于2018-01-23
得票数 0
1
回答
处理
文件
后
写入
mongodb
python
、
mongodb
、
pymongo
假设我有10,000个
文件
,我将使用
python
代码从这些
文件
中提取一些信息,并将这些信息
写入
mongodb。所有这些操作都将在一台本地计算机
中
完成。我
是否
可以使用
python
的多处理包来
并行
执行所有操作,以加快速度?有没有更好的方法呢?
浏览 1
提问于2017-02-20
得票数 0
1
回答
从蔚蓝的斑点中读取多个
并行
文件
python
、
azure
、
dask
我想从一个蓝色的小
文件
中
读到一堆,这可以是1k-100 k
文件
的顺序--加起来总共只有几个1TB。我必须在
python
中
处理这个
文件
,处理它本身并不重,但是从blob读取
文件
确实需要时间。这方面的另一个限制因素是,
在
我处理第一个
文件
时
,会
写入
新
文件
。 我正在寻找这样做的选项,
是否
可以使用dask
并行
读取blob
中
的几个
文
浏览 2
提问于2021-01-11
得票数 1
回答已采纳
1
回答
NVMe
并行
写入
nvme
、
multi-threading
我有一个进程,它在一个批处理作业中将大量数据
写入
磁盘(~100 gb)。数据分布
在
100多个
文件
中
。感谢
浏览 0
提问于2022-03-04
得票数 1
1
回答
如何在分发给工作人员的星火集群上执行任意
python
代码
python
、
apache-spark
我试图使用火花集群
在
python
中
运行一个模拟,该集群的形式有两个步骤: 收集结果。
是否
可以指示spark
在
spark集群
中
的工作节点上执行
python
代码(即使用普通
python
)来完成这个第一步?当我尝试使用spark-submit
时
,只会在spark集群上执行s
浏览 2
提问于2019-02-20
得票数 3
1
回答
对于被
写入
的
文件
,stat()调用的结果是什么?
c
、
unix
、
ftp
、
operating-system
、
solaris
我正在执行FTP,同时对通过FTP并发
写入
的
文件
调用stat (检查
文件
大小)。FTP
是否
像我想的那样是事务性的?
浏览 0
提问于2017-01-10
得票数 1
回答已采纳
1
回答
PySpark saveAsTextFile编写的内容与
python
编写的内容不同。
apache-spark
、
pyspark
我正在使用pyspark编写二进制
文件
,但其内容与编写
python
操作的内容不同。��;^G��^@}d^E�E�5#���>rdd = sc.textFile(gidgid_output_dir+"/part-00000.snappy")\如何使通过saveAsTextFile编写的内容与
python
编写的内容一致。由
python
编写的内容
在
我的情况下是我想要的,而且我需要火花来
并行
处理数据,我的数据太大了,
浏览 0
提问于2019-04-08
得票数 0
2
回答
Apache Spark处理能力和资格
json
、
mongodb
、
python-3.x
、
apache-spark
我是Apache Spark的新手,不知道它
是否
适合我的特定场景。
在
我的例子
中
,我正在抓取小的数据集(作为MongoDB的JSON
文件
)。这些
文件
实际上与相同的实体相关,但它们可能具有不同的结构(与其他JSON相比,同一集
合
中
的特定JSON可能包含更多或更少的键/值对)。我正在尝试的是对这些数据
文件
运行机器学习(分类/回归)算法,并从中获取信息。 当你考虑这种情况
时
,你认为Spark有资格
在
集群环
浏览 5
提问于2017-06-11
得票数 0
1
回答
如何在
Python
中加速多个http请求
python
我想从一个包含50000个urls的txt
文件
中
获取whois数据。它正在工作,但至少需要20分钟。
浏览 0
提问于2019-01-21
得票数 1
2
回答
并行
写入
Excel
文件
c#
c#
、
parallel-processing
、
openxml
、
export-to-excel
、
epplus
从一段时间以来,我一直
在
努力将数据从db (存储过程)导出到excel
文件
。由于我正在处理大量的数据(不幸的是,每个工作表大约有500行,业务需求),我想知道
是否
有可能对单个工作表执行
并行
写入
。我正在使用EPPlus和OpenXML编写
文件
。当我在网上阅读
时
,我能够理解用户定义的函数可以
并行
执行,但是我没有发现任何
并行
写入
的东西。如有任何帮助/建议/提示等,将不胜感激!
浏览 1
提问于2014-08-07
得票数 2
回答已采纳
2
回答
不断地
写入
文件
是否
有损于程序的性能?
c
、
parallel-processing
、
io
、
hpc
设想一个
并行
的“高性能程序”,它读取
文件
,每个进程对输入数据执行一个任务,然后每个进程
在
重复此过程之前将任务的输出
写入
单个共享输出
文件
。就性能而言,当每个进程完成一项任务
时
,将输出
写入
文件
是否
效率低下? 将结果存储在数组
中
并在最后将数组
写入
输出
文件
会更有效吗?
浏览 0
提问于2018-11-22
得票数 0
回答已采纳
1
回答
如何在保持输入和输出顺序的同时并发处理多个任务?
python
、
parallel-processing
、
queue
、
gevent
目前,有一个使用gevent的
Python
项目将执行套接字调用的任务提交到我们的计算资源之一。
python
程序生成近1000个对象的请求,并并发执行它们。当它接收到请求(固定宽度字符串流)
时
,它会将输出直接
写入
文件
,并在任务结果出现时附加到该
文件
中
。这使内存开销降低,并使事物尽可能快地移动。 现在,与所有项目一样,提出了新的要求。
Python
解决方案需要对
文件
中
的数据进行排序。更复杂的是,输出
文件
的
浏览 1
提问于2014-12-03
得票数 0
回答已采纳
2
回答
RedHat实例
Python
安装
python-2.7
、
amazon-ec2
、
redhat
当我尝试
在
RedHat EC2实例
中
安装
Python
2.7.8
时
,系统提示"No package
python
27 available“。什么意思?RedHat 7.4的软件捆绑包
中
是否
没有
Python
27集
合
?我目前的版本是
Python
2.7.5。
浏览 0
提问于2018-03-26
得票数 0
1
回答
写入
同一uWSGI
文件
的JSON工作线程
python
、
json
、
multithreading
、
flask
、
uwsgi
我有一个用uWSGI+Nginx包装的
Python
flask API,用于生产设置。我有4个Nginx工作进程,每个工作进程1个线程,配置如下,进程=4个线程=1。当我发出API Post
时
,post
在
我的代码的不同部分
写入
和读取一个json
文件
。 当我
并行
发出多个API请求
时
,它会像预期的那样分发给这4个Nginx工作进程。然后它们继续
并行
处理请求。有时,这会导致json ValueErrors,因为多个进程正在对同一
文件
进行读写
浏览 2
提问于2017-12-13
得票数 2
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
在Python程序中读取和写入文件的方法
Python链式操作:PyFunctional
003-Ambari一键自动化脚本部署
为Python正名:语言本身不是瓶颈,可能是外部资源出了问题
Python自学笔记——多线程微信文章爬取
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券