首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    0661-6.2.0-Hadoop数据备份与恢复

    在Hadoop集群中,数据文件是以Block的方式存储在HDFS上,而HDFS上数据的名称,副本存储的地址等都是通过NameNode上的元数据来保存的。Hive的数据库和表的数据也是保存在HDFS中,而Hive的元数据metastore则保存在关系型数据库中。这些文件和数据如果丢失或者损坏,都会导致相应的服务不可用,Hadoop集群可以启用某些组件和服务的高可用或者备份,来应对可能出现数据损坏问题。但是在集群需要迁移,集群需要扩容或者缩容,或者其他情况,集群可能会面对数据安全风险的时候,我们可以通过主动备份这些数据,来保证数据安全。本文主要讲述如何备份NameNode元数据,如何备份MariaDB元数据库,如何备份HDFS中的数据,以及如何从这些备份中恢复。

    05

    基于SCF实现批量备份Elasticsearch索引到COS

    在采用ELK架构的日志应用场景中,通常我们会按天或者按小时创建索引,从而避免单个索引的数据量太大。如果我们需要对过去一段时间的老索引进行冷备份,比如通过快照备份到S3或者腾讯云的对象存储服务COS中,然后降低索引的副本数量或者直接从ES删除索引,可以采取的方式有多种。一种是手动调用ES的API,一次性备份所有的老索引到COS中,但是如果数据量较大时只使用一个快照可能因为数据传输中断而导致快照执行失败;另外一种方式是自己编写脚本,通过crontab定时执行脚本对过去某一天或几天的索引打快照,执行成功后再对其它的索引打快照;本文尝试使用SCF(腾讯云无服务器云函数)对按小时新建的索引,持续批量的打快照到COS。

    04
    领券