文档中心 云 HDFS 产品简介

产品简介

最近更新时间:2019-08-22 16:52:47

云 HDFS(Cloud HDFS,CHDFS)是腾讯云一种提供标准 HDFS 访问协议、卓越性能、分层命名空间的分布式文件系统。

CHDFS 主要解决大数据场景下海量数据存储和数据分析,能够为大数据用户在无需更改现有代码的基础上,将本地自建的 HDFS 文件系统无缝迁移至具备高可用性、高扩展性、低成本、可靠和安全的 CHDFS 上。

通过在腾讯云平台创建 CHDFS,即可在腾讯云多个 CVM、CPM 2.0或者容器等计算资源内通过 HDFS 协议接口访问 CHDFS,从而实现文件的访问及共享。

产品优势

易于使用

通过使用 CHDFS,可以极大降低维护本地 HDFS 成本,同时应用程序无需任何更改,仅仅通过修改相关配置项即可无缝迁移上云。
CHDFS SDK 可以在所有 Apache Hadoop 2.x 环境中使用,同时也支持在腾讯云大数据套件 EMR 产品中使用。

无限容量

CHDFS 存储空间无上限,满足客户海量大数据存储与分析,同时可以进行存储容量的动态扩缩容。

卓越性能

通过提供原子目录操作的分层命名空间,实现海量大数据处理时优异的存储性能。

多维度安全

CHDFS 提供多维度安全机制来保障数据安全:

  • 通过权限 ACL,实现授权地址和访问类型控制。
  • 通过 VPC 方式,实现网络访问隔离。
  • 接入 CAM,实现不同账号授权,满足客户安全且精细化的管理需求。

应用场景

CHDFS 主要适用于大数据分析及机器学习这类高数据吞吐量要求的业务场景。

针对大数据分析及机器学习场景,CHDFS 提供了高吞吐数据访问能力,通过计算与存储分离方式,可以极大的发挥计算资源的灵活性,同时实现存储数据永久保存,降低客户大数据分析及机器学习的资源成本。

所有通过自建 HDFS 存储服务的业务场景,尤其是大数据 Hadoop 离线分析类业务场景,均可使用 CHDFS 来进行适配。