登录后再学习,可使用学习中心、个人中心等更完善的课程服务。立即登录>
关闭

腾讯云批量计算 Batch 简介

  • 4 课时
  • 651 学过
  • 10 分
批量计算对象存储大数据解决方案

课程概述

在大数据的环境下,腾讯云批量计算Batch为有大数据计算业务的企业、科研等单位提供高性价比且易用的计算服务。Batch可根据用户的批处理规模,智能管理作业和调动最佳资源,使用户更多的精力集中在如何分析和处理数据结果上。

本节课的第一部分总结Batch的使用流程和相关概念。第二部分介绍Batch前置环境的配置与准备,并用demo演示Batch控制台的操作及设置。

【课程目标】

了解腾讯云批量计算Batch服务的工作流程

了解腾讯云批量计算Batch控制台的使用方法及前置准备

【适用对象】

开发、运维

【课程大纲】

知识模块

简介

腾讯云批量计算

工作流程介绍,任务模版与任务实例,镜像与计算环境

前置环境配置

控制台操作,命令行操作及作业配置简介,对象存储桶准备

机构简介

腾讯产业互联网学堂

腾讯云旗下面向云生态用户的一站式学习成长平台

讲义

本次课程介绍批量计算使用流程和实际操作准备

工作流程

Job:每次进行的计算流程称之为一个作业,可以是单任务的也可以是并发的任务。

并发任务:在Job中配置很多并行执行的任务。每一个task都会有相应的计算资源进行支撑。在实际的使用过程当中可能会有一些比较复杂的需求,最后可能是一个有向无环图。进行配置时是一个可视化的,可拖拽的模式,使用起来较简单。

任务模版和任务实例

任务模板:可以将常用的任务制作成任务模板,基于任务模板制定不同的任务,实现作业的快速提交。批量计算的一个控制台中有一个任务模版可以进行新建。新建时需要注意是按照地域来划分的,在北京下已经创建了一些,再点击新建时就是具体配置务流程(计算流程)。

程序运行配置和存储映射

程序运行配置:具体要执行哪些计算任务

存储映射配置:一些日志信息的记录,也可以自定义映射存储整个计算结构,最后会生成一个jason的预览情况。

程序配置可以是命令行的模式。这里会配置一个Stdout和Stderr,根据不同的日志级别创立相应目录,运行后产生相应的日志文件,可以进行查看。

存储映射配置可以把源数据先存放到COS上面或者是CFS上,然后进行读取。自定义映射规则。

jason预览:通过任务模板配置后生成的信息,包含程序运行配置和存储映射配置信息然后将其变成jason字符串。jason字符串可以在使用命令行工具提交任务时进行,因为命令行工具没有相关界面。提交任务时,生成一个jason字符串,包含所有任务信息。

任务实例的是执行的最小单元。在执行计算任务时,会有一个资源数量的选择,必须保证每一个任务实例都运行在一个CVM上,取决于任务流程需要执行的数量,根据需要配置即可。

镜像和计算环境

右侧是计算环境的详细配置页。点击新建,名称可自定义,是按照地域来划分的,所以新建时注意下面的地域选择。选择cpu主频还有相应镜像。可以使用公有镜像也可以使用自定义镜像,公有镜像是各种Linux发行版,如果计算任务对于环境有一些要求,比如如果使用代码包的方式可能需要python环境。可以根据需要先创建一个CVM,在这个CVM上配置好相应环境。再根据相应步骤作成自定义镜像。在2018年6月以后创建的CVM不需要额外安装其他工具。在这之前,需要检查一下cloud id是否存在。

课程评价(0)

感谢你参加本课程,请你作出评价:
0/300

以下选自学员评价

暂无精选评价