登录后再学习,可使用学习中心、个人中心等更完善的课程服务。立即登录>
关闭

批量计算 Batch 概述

  • 7 课时
  • 1.3K 学过
  • 10 分
批量计算大数据解决方案大数据

课程概述

在大数据的环境下,腾讯云批量计算Batch为有大数据计算业务的企业、科研等单位提供高性价比且易用的计算服务。Batch可根据用户的批处理规模,智能管理作业和调动最佳资源,使用户更多的精力集中在如何分析和处理数据结果上。

本课程将带领大家了解腾讯云批量计算Batch服务,通过常规批量数据处理流程和大数据的批量计算的对比展现批量计算的特点。课程还将介绍批量计算的应用场景。最后将引入腾讯云批量计算Batch的介绍,以及它相比于自建集群的优势。

【课程目标】

了解大数据批量计算的处理流程

了解大数据批量计算的使用场景

了解批量计算Batch的特点和优势

【适用对象】

开发、运维

【课程大纲】

知识模块

简介

数据场景下的批量计算

批量计算概述,常规数据处理流程,大数据的批量计算

批量计算特点与应用场景

批量计算特点,批量计算应用场景

腾讯云批量计算VS自建集群

自建集群,腾讯云批量计算

机构简介

腾讯产业互联网学堂

腾讯云旗下面向云生态用户的一站式学习成长平台

讲义

本节课程介绍批量计算相关概念。

从三个方面来给大家介绍。首先使用批量计算通常是在大数据场景下,我们会进一步介绍批量计算的特点,以及它的应用场景,同时自己搭建集群和直接使用腾讯云批量计算产品之间的区别。

第一讲是批量计算相关的概念以及常规的数据处理流程,大数据下的批量计算。

批量计算的主要是为了应对海量批处理作业的需求,本身是一个分布式的计算平台,根据业务需要,必须具备这样的一个功能。

首先能够合理的分配计算资源,包括cpu和内存。进行计算的时候是以作业的形式提交,每一个作业当中包含多个数据流程,比如一个计算需求可能是通过多个计算步骤共同实现的,涉及到数据流的管理,通常会使用可视化和托运的方式来进行前后顺序以及整个业务逻辑数据流的组成。最后要能够把相应的结果保存下来,保存的方式通常是使用对象存储或者使用导出的方式保存到特定的位置。通常对于比较常用的或者反复计算流程,可以记录下来作为一个业务模板使用。

课程评价(1)

感谢你参加本课程,请你作出评价:
0/300

以下选自学员评价

奥特曼打***2555
2019-11-26
非常不错的课程