作业提交与点评 - 腾讯云开发者社区

文章/答案/技术大牛

发布

1回答

春季批处理-how提交作业而不执行？以便以后能够通过调度程序运行它们。

spring、spring-boot、spring-batch

我将在春季批量启动一个项目，我的计划如下：公开一个api以提交一个作业(不执行)，该作业将返回作业执行id，以便能够跟踪其他客户端稍后的作业进度。创建一个运行作业的调度程序--我希望有一个逻辑来决定我可以在任何时候运行多少个作业。问题是，我的批处理服务可能会收到许多启动作业的请求，并且我希望首先将作业剥离放在一个挂起状态中，然后调度程序将检查处于待定状态的作业，并根据我的逻辑决定它是否应该运行另一个设置

浏览 1提问于2020-01-22得票数 0

1回答

列出Gearman作业句柄

php、gearman

如何列出Gearman作业服务器上的所有作业句柄？我正在尝试一种监控方法，我可以列出所有正在运行的线程，并轮询它们的状态。列出具有“status”和“workers”的正在运行的作业(如中所述)列出函数和工作器，但不列出作业句柄。需要作业句柄才能执行GET_STATUS等操作。我试图将作业提交与监控分离，因此没有在JOB_CREATED包中返回的作业句柄。

浏览 1提问于2012-09-24得票数 7

1回答

获取oozie火花作用中的火花变量

apache-spark、oozie、oozie-workflow

我是新的火花和oozie的技术。我试图从火花中得到几个变量，并在下一个oozie操作中使用它。 take decision当我在谷歌上搜索的时候，我找不到什么解决方案。2. Wrap spark submit in shell and use <capture-output> (I am not able to use

浏览 0提问于2018-01-28得票数 1

1回答

使用同一个jar与火花-提交

apache-spark、hadoop-yarn

我部署了一个作业的纱线集群模式，通过火花提交与我的jar文件。我每次提交“相同的jar文件”时，作业都会进行部署，但每次提交时它都会上传到hadoop。我认为每次上传相同的jar是不必要的。

浏览 4提问于2017-05-15得票数 0

回答已采纳

2回答

对随机种子使用srand时重复输出

c++、random、srand

问题是，我正在向LINUX集群提交与30+完全相同的作业。如果我一次提交一个，一切都很好，但当然我更喜欢使用批处理作业一次提交所有30个。更容易和更快。问题是，然后几批作业似乎访问完全相同的时间，我得到了重复的结果！有谁能给出一个简单的解决方案吗？

浏览 5提问于2014-10-05得票数 3

1回答

带java多线程的圆Robin

java、multithreading

我必须使用线程在java中创建一个应用程序，但我对java中的多线程编程还很陌生。应用程序有许多任务要做，每个任务都由一个线程运行。然后，我还将在java中实现Round算法来调度线程工作。public class Application extends Thread { @Override public

浏览 3提问于2013-12-28得票数 1

回答已采纳

1回答

Git钩子在合并到主时增加版本号

git、npm、githooks

目标是在将package.json分支合并到master时自动增加develop中的版本号，而不是将特性分支合并到develop，或者当release分支合并到master时。(我有点过分简化我的用法，但基本上就是这样。)但我不明白如何编写Git钩子来运行这个命令。如何确定当前分支的名称以及合并到的分支？这能在预合并提交钩子中完成吗？是否可以编辑源代码并从合并前提交钩子进行提交？

浏览 10提问于2022-04-04得票数 2

4回答

.NET或JAVA上的志愿计算框架推荐(因特网节点)

frameworks、client-server、distributed-computing、grid-computing

他们会把作业(工作单元)从一个服务器转移到另一个进程，并将结果发送回服务器。(这是最简单的描述)。我需要的框架应该允许我定义一个作业/任务。其余的内容，如通信、作业执行/跟踪、客户端二进制文件更新等，都应该由框架来管理。我对Alchemi.NET进行了一点评估，但它没有得到积极的维护，似乎还不够成熟。

浏览 9提问于2011-01-10得票数 1

1回答

如何在多个队列环境中轻松获得相同的提交命令？

centos、cluster-computing、job-scheduling、sungridengine

我知道没有人期望shell脚本是可移植的，但是为什么OpenLava、SunGridEngine、Platform LSF等不能同意使用一组通用命令来执行诸如提交作业这样的公共队列任务呢？是否有人制作了包装器来实现跨多个主机提交与集群平台无关的作业的目标？ google搜索表明，没有人建立过这样一个标准化的平台，甚至没有人开始为它进行鼓动：。触须和作业调度器看起来也像有趣的包，但它们都不是CentOS的一部分。

浏览 2提问于2014-04-07得票数 1

回答已采纳

1回答

Gitlab CI/CD更改不像预期的那样工作

gitlab、gitlab-ci

在特定目录(包/演示)更改后，我有only:changes来触发作业： only: - packages/demo/**/*我推出了一个新的分支，也许它与推动新的分支相联系。

浏览 3提问于2020-10-05得票数 0

1回答

火花纱模式如何从提交中获取applicationId

hadoop、apache-spark、mapr、spark-submit

当我提交星火作业时，我使用星火-提交与主纱和部署模式集群，它不打印/返回任何applicationId，一旦作业完成，我必须手动检查MapReduce jobHistory或火花HistoryServersparkcontext.applicationId在驱动程序代码中检索sparkcontext.applicationId，如果是master yarn and deploy-mode cluster，驱动程序也会作为mapreduce作业的一部分运行

浏览 7提问于2017-05-26得票数 4

回答已采纳

1回答

linux:如何在LSF作业系统中在一行bsub中重定向运行命令？

linux、redirect、lsf

我正在提交与LSF作业系统配套的集群作业。bsub -n 24 mpirun -n 24 ./a.out但是这是行不通的，因为它只是重定向作业提交的信息，而不是运行命令的输出。虽然我知道bsub提供了-o和-e来重定向输出。但这两个命令不是实时的。当我测试时，他们保存了作业完成后的整个屏幕输出。但这不是我想要的。更重要的是，我也知道bpeek，这

浏览 4提问于2016-05-06得票数 1

1回答

提亚诺减缩作业的加速

python、numpy、parallel-processing、gpgpu、theano

编辑原文：我希望像下面的M'*M代码那样计算L中所有项的M'之和(M'是M的转置)。 res += np.dot(M.T, M)def numpy_version1(*L):

浏览 0提问于2016-01-04得票数 1

回答已采纳

1回答

如何控制作业运行在哪个节点上？

apache-spark、pyspark

假设我了解到节点foo没有响应，并且希望在所有其他节点上运行我的作业。我想做这样的事sc.exclude_nodes(["foo"])有办法做到这一点吗？

浏览 0提问于2019-03-12得票数 0

1回答

是否可以在SLURM调度中修改或添加层？

scheduling、jobs、slurm

虽然我不反对这种安排的公平性，但在完成工作方面，这对我来说是一个问题，尤其是因为我看到没有运行任何作业的空闲节点，而我只是坐在那里等待作业通过节点上限.下面是我的两个问题：难道管理员不能挂起，然后恢复作业吗?要么是作业，要么是用户的所有作业，或者是一组作业？从管理员的角度来看，暂停/恢复是否很麻烦？当支付用户名时，提交与S批自动指示SLURM暂停非付费用户名的工作或职务，并恢复时，有报酬的用户的工作已经完成。这有可能吗？如果是，是否超出了常规贫民窟&#x

浏览 2提问于2014-10-21得票数 1

回答已采纳

2回答

调用cuInit失败: CUDA_ERROR_NOT_INITILIZED:初始化错误当我在木星笔记本上执行代码时，而GPU没有被使用

tensorflow、cuda、gpu

硬件: AC922，4* GPU是nvidia V100 我试着执行CNN的火车作业，或者只是试图通过以下代码查找本地设备，并且只列出CPU。

浏览 9提问于2019-10-02得票数 2

1回答

如何使用$_FILES['name']['tmp_name']使用jQuery读取

javascript、php、jquery、ajax、phpexcelreader

我正在制作一个应用程序，使用excel_reader2.php将excel导入数据库。我创建了一个用于上传excel文件的表单，当我想要上传的文件被选中时，我想读取excel文件的数据边框。当我使用js时，我无法在php代码中解析$ _FILES。function sheetChange() var html; var fileInputContent = $('#form').ser

浏览 2提问于2014-12-04得票数 0

回答已采纳

1回答

有没有办法在GCP数据流使用apache beam完成工作后进行处理？

java、google-cloud-dataflow、apache-beam

在GCP数据流状态为done/completed后，是否可以进行后期处理。我有一个进程，dataflow从GCP存储中批量读取一个文件，并执行一些外部api调用进行转换，然后写回另一个文件。在所有批处理完成后，我需要做一些额外的处理。有没有办法做到这一点？我正在使用Apache光束和模板来运行GCP数据流。

浏览 2提问于2021-07-30得票数 0

1回答