腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
对
不同
的
输入
文件
和
输出
文件
并行
运行
相同
的
函数
、
、
我在python中有一个方法,它接受一个大
文件
作为
输入
,并返回一个
文件
作为
输出
。 我想使用多进程(池)来
并行
化进程。因此,我将
输入
文件
拆分为3个较小
的
文件
。我
的
方法: def A(self, input_file): .... return outpu
浏览 15
提问于2019-07-04
得票数 0
1
回答
“争用条件”是
并行
化代码提供与顺序
不同
的
输出
的
唯一原因吗?
、
、
我有一个
函数
,当我在
并行
的
w/ diff
输入
中
运行
它时,给出
的
输出
与我在
相同
输入
下顺序
运行
时
的
输出
不同
。 种族状况是这种情况发生
的
唯一原因吗?编辑:我尝试了以下方法--我
并行
运行
了3个版本
的
函数
,都有
相同
的
输入
。
浏览 3
提问于2022-06-08
得票数 0
回答已采纳
1
回答
使用GNU
并行
在多个
文件
内
的
多行上
并行
执行bash脚本
我想使用GNU
并行
来解决以下问题:似乎这是一个多个
并行
命令在所有
文件
上
并行
运行
,然
浏览 0
提问于2017-06-01
得票数 1
1
回答
如何使gnu
并行
拆分多个
输入
文件
、
我有一个脚本,它包含三个参数,
运行
方式如下:脚本从input1.fa
和
input2.fa中各读取一行,进行一些比较,并将结果写入这两个
输入
需要有
相同
的
行数,在脚本完成后,out.txt也有
相同
的
行数。 可以使用GNU parallel**?**
并行
化吗?我不关心
输出
是否与
输入
有
不同
的
顺序,但我确实需要
浏览 0
提问于2013-09-04
得票数 1
1
回答
并行
启动多个ec2实例,并在每个实例中执行坞容器
、
、
我
的
任务需要执行一个python脚本,该脚本以文本
文件
和
另一个参数(X)作为
输入
,处理文本
文件
,并以文本
文件
的
形式将
输出
保存到S3桶中。我有一个SQS队列,它包含几条消息,每条消息都包含文本
文件
名
和
python
文件
的
参数(X)。现在,我希望启动多个ec2实例来使用SQS队列中
的
每个消息
运行
python脚本,并且我希望
并行
执行这些
浏览 13
提问于2022-02-02
得票数 -1
3
回答
在多个
文件
夹中
并行
运行
脚本
、
、
、
每个子目录都有几个
文件
和
一个for循环shell脚本。每个子目录中都有
相同
的
for循环脚本。我想进入每个子目录,在几个终端中
并行
运行
for循环脚本。我试过了,但它似乎是连续
的
(一个接一个),但是我想
并行
地
运行
它们。 find dir_* -type f -execdir sh for_loop.sh {} \;
浏览 0
提问于2017-05-29
得票数 9
1
回答
在shell中
运行
一个进程池
、
、
我正在寻找一种简单
的
方法,可以使用一个命令同时
运行
N选定
的
进程。它应该将所有
输出
放在我
的
终端上,并在我使用ctrl+c退出时关闭所有
输出
。有任何现有的应用程序可以做到这一点吗?我在想一些像exec_many 10 foo这样
的
东西--它应该能让10 foos运转起来,并使任何死去的人重生。
浏览 0
提问于2010-04-21
得票数 5
回答已采纳
3
回答
如何使用没有回调
的
multiprocessing.Pool异步?
、
、
因此,我认为有一个问题是很常见
的
:apply_async()看起来最适合我想做
的
事情。但是我不能只给出一个回调
函数
,因为最后我想将所有结果打印到一个
文件
中。我认为,将打印到单个
文件
句柄
的
回调传递给单个
文件
句柄将导致混乱
的
结果(甚至不确定是否能够在这样
的
进程之间传递
文件</em
浏览 7
提问于2017-10-19
得票数 4
回答已采纳
2
回答
如何动态缩放星团/qsub/ec2以跨多个节点
运行
并行
作业
、
、
、
、
我刚开始使用Start集群/qsub/grid引擎来
运行
并行
作业,我试着阅读了其他几篇关于
相同
的
文章。我仍然不知道如何为我
的
特定需求构建一个可伸缩
的
解决方案。这个未压缩
的
文件
必须处理。我有模块化
的
代码,可以接受每一个
文件
和
处理它,并
输出
5个
不同
的
文件
。Tar
文件
-
并行
解压缩
浏览 6
提问于2013-03-11
得票数 1
1
回答
用于
并行
规则
的
snakemake通配符
、
、
我正在尝试向python脚本
输入
一个变量参数,该脚本接受
相同
的
输入
文件
,但将创建
不同
的
输出
文件
。我希望规则
对
我提供
的
任何参数都能
并行
执行。range(1,3)) "merged.txt" "cat {input} > {output}" 在这个例子中可能有一些
浏览 45
提问于2021-08-05
得票数 0
2
回答
在使用MapReduce执行单词计数时,是否可以在映射
函数
中将数据拆分成单词?
、
我已经找到了大量
的
文档
和
示例,但我认为如果在map()
函数
中进行拆分,这将无法利用分布式系统
的
强大功能。 我
的
分析正确吗?
浏览 2
提问于2012-06-26
得票数 1
2
回答
使用队列
的
python中
的
多线程
、
、
、
我是Python
的
新手,我需要在我
的
代码中实现多线程。 我有一个巨大
的
.csv
文件
(百万行)作为我
的
输入
。我读取行,为每一行发出rest请求,
对
每一行做一些处理,并将
输出
写入另一个
文件
。
输入
/
输出
文件
中行
的
顺序确实很重要。现在,我正在逐行执行此操作。我想
并行
运行
相同
的
代码,即从.cs
浏览 1
提问于2013-06-18
得票数 0
6
回答
ffmpeg同时
输出
到多个
文件
ffmpeg需要什么格式/语法才能将
相同
的
输入
输出
到几个
不同
的
“
输出
”
文件
?例如,
不同
的
格式/
不同
的
比特率?它是否支持
输出
上
的
并行
性?
浏览 0
提问于2012-08-20
得票数 13
回答已采纳
1
回答
使用Maven
的
XML差异
、
、
、
我需要找出当前版本
的
XML
文件
和
上一个版本
的
XML
文件
之间
的
差异,并报告HTML格式
的
差异。这些XML
文件
在构建它们
的
模块时(在Maven中)打包在jar中,并存储在我们
的
存储库中。我需要在这个Maven构建过程中找到并报告
不同
之处,因此我正在寻找一个Maven插件。我发现了类似的问题,但这些问题都很老了,我想知道我们是否有最新
的
问题: https://stac
浏览 0
提问于2018-05-30
得票数 2
1
回答
函数
文件
的
多个
输出
、
、
如何通过
运行
函数
文件
获得多个
输出
。我写了一个
函数
文件
,其中包括一组代码来计算3个方程,因为
输入
的
图像(大小为4265,12789,7)
和
链式方程
相同
。我需要具有
相同
大小
的
输出
图像(.tif)作为每个方程
的
输入
。
函数
文件
中写入
的
3个方程式
的
3个
输出</
浏览 3
提问于2012-12-01
得票数 0
回答已采纳
1
回答
如果2 Mappers
输出
相同
的
键,那么减速器
的
输入
是什么?
、
在学习地图缩减时,我有以下
的
疑问。如果有人能回答的话,这将有很大
的
帮助。我有两个映射程序处理同一个
文件
--我使用MultipleInputFormat配置了它们a - 1234c - 1345a - Mondayc - Wednesday 还有一个还原器
函数</em
浏览 3
提问于2014-10-15
得票数 0
回答已采纳
1
回答
Hadoop -基本+流指南
、
、
我试图使用名为
的
软件在Linux计算机上处理一个大型(超过10 on )
的
文件
。根据我
的
思维过程: 源
浏览 2
提问于2013-01-15
得票数 0
3
回答
Hadoop多个映射器
、
、
例如,我有一个来自HDFS
的
csv
输入
文件
。我有两个任务要做。第一种方法是
对
csv
输入
文件
中
的
两个字段进行计数,并将结果放入
输出
文件
中。第二种方法是
对
同一csv
输入
文件
中
的
另外两个字段进行计数,并将结果放入另一个
输出
文件
中。Reducer是
相同
的
。 我如何使用一个作业来实现这一点,并使它们同时
浏览 2
提问于2013-07-19
得票数 0
回答已采纳
2
回答
Hadoop如何跨多个数据节点分发数据
和
mapreduce任务
、
、
、
我是hadoop
的
新手,我读过很多
和
hdfs
的
页面,但仍然无法清除一个概念。 也许这个问题是愚蠢
的
,或者是忽视
的
,如果它是如此如此对不起那。我
的
问题是,假设我在hadoop中为一个大小为1GB
的
文件
创建了一个字计数程序,其中map
函数
将每一行作为
输入
,将
输出
作为键值
对
,而还原
函数
将
输入
作为键值
对
,只需迭代列表
和
浏览 8
提问于2017-08-13
得票数 0
回答已采纳
1
回答
比较应该完全
相同
的
C++程序
运行
的
配置
文件
以检测差异
、
、
、
、
我有一个C++二进制
文件
(GNU LilyPond),它偶尔会为
相同
的
输入
生成
不同
的
输出
。
对
二进制
文件
进行赋值无助于追踪这种模糊发生
的
位置,读取gprof数据也无济于事。非常有用
的
是一个分析工具,它可以在
相同
的
输入
上比较同一程序
的
多次
运行
,并识别参数
和
函数
返回值
的</
浏览 0
提问于2012-09-13
得票数 2
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Python编程必学的文件输入,处理和输出,小白也可以学会的教程
MapReduce简介及过程详解
MapReduce之原理、工作流程
好程序员大数据教程路线分享marpreduce快速入门
hadoop学习笔记四:MapReduce简介
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券