科学计算
在现代科学和工程中,数值计算工程师会遇到大量复杂的数学计算问题。这些问题突出的共性表现在高维数、计算规模大、多时空尺度、强非线性等方面。批量处理Batch拥有一套完整的并行计算框架,适配常见的并行模型(MPI应用)。利用海量弹性的云资源,有力地支撑高性能科学计算应用软件和算法。
影视和效果图渲染
在影视、广告、建筑规划等视觉创作行业中,内容制作者和后期制作公司需要使用到海量机器来完成影视特效、三维动画、特效图等相关渲染工作,批量处理 Batch 为用户提供了自动化内容渲染工作流水线的能力,用户可以构建自己的渲染依赖流程,同时利用 Batch 的海量资源和作业调度能力来高效的完成视觉创作工作。
基因测序
生物信息公司或实验室利用测序仪获取基因组序列的原始文件,在完成基因组序列的初步分析后将信息上传到云上存储系统,比如对象存储或文件存储,然后通过腾讯云批量计算 Batch 对信息进行更进一步分析。
图1
如图1所示,Batch的核心概念包括计算环境和作业。计算环境是由一个或多个计算节点组成。每一个计算节点可能是一个CVM云服务器,一台黑石物理机,或者一个Docker容器。作业运行于计算环境中,由一个或多个具有前后依赖关系的任务组成。一个作业就是一个基本的工作流。需要进一步了解Batch,请移步《腾讯云批量计算介绍》。
{
"ComputeEnv": {
"EnvName": "test compute env",
"EnvDescription": "test compute env",
"EnvType": "MANAGED",
"EnvData": {
"InstanceType": "S1.SMALL2",
"ImageId": "{cvm image id}"
},
"InputMappings": [
{
"SourcePath": "cos://{bucket}-{app id}.cos.{region}.myqcloud.com/.ssh",
"DestinationPath": "~/.ssh"
},
{
"SourcePath": "cos://{bucket}-{app id}.cos.{region}.myqcloud.com/subtask/",
"DestinationPath": "/usr/local/subtask/"
}
],
"DesiredComputeNodeCount": 100
}
}
{
"Job": {
"JobName": "test job",
"Priority": 1,
"Tasks": [
{
"TaskName": "hello",
"TaskInstanceNum": 1,
"ComputeEnvId": "{env id}",
"InputMappings": [
{
"SourcePath": "cos://{bucket}-{app id}.cos.{region}.myqcloud.com/input/data",
"DestinationPath": "{local path}"
}
],
"OutputMappings": [
{
"SourcePath": "{local path}",
"DestinationPath": "cos://{bucket}-{app id}.cos.{region}.myqcloud.com/output/data"
}
],
"Application": {
"DeliveryForm": "PACKAGE",
"Command": "mpiexec -f $ BATCH_ENV_PRIVATE_IPS ~/main.sh",
"PackagePath": "cos://{bucket}-{app id}.cos.{region}.myqcloud.com/main.tar.gz"
}
}
],
"Dependence": []
}
}
[1] Azure.Use multi-instance tasks to run Message Passing Interface (MPI) applications in Batch, https://docs.microsoft.com/en-us/azure/batch/batch-mpi
[2] StarCluster User Manual, http://star.mit.edu/cluster/docs/latest/manual/index.html
[3] MPICH Guide, http://www.mpich.org/documentation/guides/
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。