概述
在腾讯云 EMR 上提供了开箱可用的 Alluxio 服务,以帮助腾讯云客户可以快速实现分布式内存级缓存加速、简化数据管理等。同时还可以通过腾讯云 EMR 控制台或 API 接口,使用配置下发功能,快速配置多层级缓存和元数据管理等,获取一站式监控告警等功能。
注意:
开启 Kerberos 的 EMR 集群暂不支持购买时或后安装部署 Alluxio 组件。
准备
创建基于 Alluxio 的 EMR 集群
本节主要说明如何在腾讯云 EMR 上创建开箱即用的 Alluxio 集群。EMR 创建集群提供了购买页创建和 API 创建两种方式。
购买页创建集群
您需要登录腾讯云 EMR 购买页,在购买页选择支持的 Alluxio 发布版本,并且在可选组件列表中勾选 Alluxio 组件。
![](https://qcloudimg.tencent-cloud.cn/image/document/4a73c4fb7a72d3574ee0a0a2de8a4f4d.png)
其他的选项可根据业务具体场景,进行个性化配置,创建过程中的具体选项可参考 创建 EMR 集群。
![](https://qcloudimg.tencent-cloud.cn/image/document/4a73c4fb7a72d3574ee0a0a2de8a4f4d.png)
API 创建集群
基础配置
创建一个带 Alluxio 组件的腾讯云 EMR 集群,默认会把 HDFS 挂载到 Alluxio 上,并使用内存作为单层 level0 存储。如果有需要更改更符合业务特性的多级存储,或者其他对应优化项,可以使用配置下发功能来完成相关配置。
![](https://qcloudimg.tencent-cloud.cn/image/document/d97c93742ef0be2010ec043054319b60.png)
在配置下发后,部分配置需要重启 Alluxio 服务才能生效。
![](https://qcloudimg.tencent-cloud.cn/image/document/684ba661c2b68555604179f5a917dc78.png)
更多配置下发和重启策略细节,可参考 配置下发 和 重启组件。
![](https://qcloudimg.tencent-cloud.cn/image/document/d97c93742ef0be2010ec043054319b60.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/684ba661c2b68555604179f5a917dc78.png)
基于 Alluxio 加速计算存储分离
腾讯云 EMR 基于腾讯云对象存储(COS)提供了计算存储分离能力,默认直接访问对象存储中的数据时,应用程序没有节点级数据本地性或跨应用程序缓存。使用 Alluxio 加速将缓解这些问题。
在腾讯云 EMR 集群上默认已部署使用 COS 作为 UFS 的依赖 jar 包,只需授予访问 COS 的权限,并把 COS mount 到 Alluxio 上即可使用。
授权
Mount
登录到 EMR 任意一台机器,挂载 COS 到 Alluxio。
alluxio fs mount <alluxio-path> <source-path>