首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >批处理任务可以读取文件共享上的文件吗?

批处理任务可以读取文件共享上的文件吗?
EN

Stack Overflow用户
提问于 2017-10-09 23:26:37
回答 1查看 411关注 0票数 0

我有一个文件共享(你猜到了)很多文件。我想要创建一个批处理作业,它挂载这个文件共享,读取每个文件并并行地处理每个文件(每个文件都是一个批处理任务)。

这可以用python和蔚蓝批处理吗?任何说明如何做到这一点的教程都是很棒的。

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2017-10-10 15:27:31

你可以用两种方法之一来做这件事。请注意,以下内容仅适用于Linux。Windows用户需要遵循一种使用用户身份的稍微不同的方法。

  1. 使用池的StartTask对象在计算节点级别挂载文件共享。请查看如何在Linux上为您的发行版执行此操作的Azure文件文档。开始任务可以:
    • 直接挂载文件共享,即调用mount -t cifs ...。这将通过重新引导工作,因为StartTask在每次重新启动时都重新运行。
    • 修改/etc/fstab以向automount添加一个条目。请注意,必须使此操作幂等,因为StartTask每次在重新启动时都会重新运行。

  1. 使用作业的JobPreparationTask对象在作业级别挂载文件共享。您在这里指定的命令将只对作业下的每个任务运行一次。您可能还应该指定作业的JobReleaseTaskunmount的共享进行清理。

在您选择的任何路径中,请确保任务(通常是超级用户)具有适当的提升权限,以便进程能够执行挂载或修改/etc/fstab

如果您使用第一个选项,则无论是否在该节点上运行需要或不需要的作业,挂载都将始终对计算节点可用。每种方法都有优点和缺点。您的需求,无论是遵从性,还是技术要求(例如),都应该帮助您选择选择的内容。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/46656451

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档