暂无搜索历史
归档,archive。Hive 具有内置支持,可将现有分区中的文件转换为 Hadoop 存档(HAR),这样一个曾经由 100 个文件组成的分区只能占用约 3 ...
hadoop 的 kms的元数据是保存在本地的,比如加密的请求打到A,元数据保存在A机器上,如果解密的请求打到B机器上,就会失败。为了解决这个问题,使用cos作...
DistCp(distributed copy)是用于大型内部/集群内复制的工具。它使用 MapReduce 来实现其分发、错误处理和恢复、报告的功能。它将文件...
写作本系列文章的背景是我们要在大数据平台/企业数据湖场景下给出中心化的用户身份认证方案。此前,我们实现过Windows AD + Kerberos的集成方案,由...
涉及组件版本为:hdfs-3.2.2,yarn-3.2.2,openldap-2.4.44,spark-3.2.2,krb5-1.15.1
注,本次使用腾讯云EMR的 StarRocks-V1.1.0 ,starrocks-2.2.2
在 common.runtime.properties中的 druid.extensions.loadList 中添加 "druid-s3-extensions...
由于业务需要,添加了在hive原来的表上增加了新字段(alter table partition_test add columns(ads string); )...
在EMR集群上按小时跑的spark sql 任务有时会失败,在driver端的日志中可以看到报错: org.apache.spark.sql.catalyst....
查阅HUE代码,发现hive链接的客户端都是在本地生产的,也就是在 hiveserver2.py 中来完成初始化的。该文件在EMR集群上的路径为 /usr/l...
问题现象:在hive的分区表中删除了分区,命令执行返回成功,但是hdfs上对应的分区目录却没有删除。
在kibana上创建了相关的 iml(索引生命周期管理),删除7天前的索引,后面发现一直没删除相关索引。
之前使用的0.10版本的hive,hql查询if语句如下:SELECT IF(split(m.phone_platform,'_')[1] LIKE '4%' ...
登陆 kibana 依次点击 Stack Management , Index Lifecycle Policies,Create Policy 来创建ILM
es 集群的磁盘存储过小的话,常常会遇到磁盘存储超90%,甚至100%。此时就需要清理一部分过期的数据释放磁盘空间,或者扩容磁盘容量。
腾讯云 Elasticsearch 目前提供5个版本:5.6.4、6.4.3、6.8.2、7.5.1、7.10.1版本。具体选择那个版本根据实际需求选择。建议选...
腾讯科技有限公司 · 产品架构工程师 (已认证)
暂未填写个人简介
暂未填写技能专长
暂未填写学校和专业
暂未填写个人网址