阿里云批量计算使用教程

(批量计算(BatchCompute)是一种适用于大规模并行批处理作业的分布式云服务。BatchCompute可支持海量作业并发规模,系统自动完成资源管理,作业调度和数据加载,并按实际使用量计费。BatchCompute广泛应用于电影动画渲染、生物数据分析、多媒体转码、金融保险分析、科学计算等领域。)

功能特性

1. 提交作业

用户使用工具(如SDK,命令行工具等)向 BatchCompute 提交作业,BatchCompute 使用用户指定的镜像(如:ubuntu)启动虚拟机(VM), 在虚拟机中运行用户程序, 运行完成后释放虚拟机(VM)。

BatchCompute中使用OSS作为持久化存储。您可以在程序运行完成时将结果数据保存到OSS中。在批量计算中,也可以通过文件接口的方式访问OSS上的数据,请参阅OSS挂载功能。

BatchCompute程序默认运行在VM中,也可以支持 Docker容器。 

也就是说,您可以自定义ECS镜像或者使用Docker,在镜像中安装自己需要的任何软件,用来运行您的任何程序。

作业描述

用户需要提交一个作业(Job)描述JSON文件到批量计算服务,该JSON文件中详细描述了需要执行哪些程序(可以多个程序),运行哪些程序需要启动多少台机器,机器的规格(内存和CPU等),运行日志打印到哪里,完成后结果输出到哪里等。

一个作业(Job)包含多个任务(Task), 按照您指定DAG描述的顺序执行。

每个任务定义了使用哪个镜像,使用什么实例规格,运行哪个程序,需要多少台机器运行,还有结果存储在哪里等。

2. 管理我的作业

您可以使用工具(控制台,命令行工具等),查看我提交的作业,可以停止,重启,或删除作业。 查看各个任务的情况,各个实例(VM实例)的情况和日志。下图是控制台的作业管理界面:

3. 使用集群

由于每次运行程序前需要启动虚拟机,会占用一定的时间(一般几分钟左右),遇到忙时有可能申请不到资源(虚拟机被其他客户使用了),您提交作业后可能需要等待一段时间才能运行。

如果您想要提高运行效率,可以先创建好集群,指定需要的虚拟机数量(比如:5台)和镜像ID,BatchCompute会为您分配好机器并启动,这些机器会一直处于运行状态,一旦您提交作业上来,就可以直接运行,效率较高。

4. 自定义镜像

您提交作业或者创建集群时,可以使用批量计算官方提供的镜像,也可以使用自定义镜像。自定义镜像的好处是,可以自己安装需要的软件。

课程列表:

课时1:Docker应用使用演示

课时2:控制台提交和管理作业

课时3:命令行工具安装和配置

课时4:命令行工具提交和管理作业

课时5:云渲染管理系统使用演示

课时6:自定义镜像

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • (批量计算(BatchCompute)是一种适用于大规模并行批处理作业的分布式云服务。BatchCompute可支...
    xmvip01阅读 270评论 0 0
  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 136,833评论 19 139
  • 前一段感恩节,当大家都在转发各种感人祝福的时候,我什么也没做,我知道我首先想到感恩的肯定是我的父母,但我不是一个容...
    紫怡澜阅读 505评论 0 1
  • 结束只在一瞬,不敢遥想,惟愿继续,只要还有继续。
    此时节阅读 370评论 1 0
  • 如果没有你 我该是多么陶醉 那初春的暖阳啊 沐浴我心中最柔软的地方 如果没有你 我该是多么欢畅 那嫩绿的小草啊 吐...
    Ss修媛阅读 141评论 0 0

友情链接更多精彩内容