Sqoop是一种用于在Apache Hadoop和结构化数据存储（如关系数据库）之间传输数据的开源工具。它允许用户在Hadoop分布式文件系统（HDFS）和外部...

HiveServer2 服务默认不启用鉴权功能，这样的话随意输入密码都能连接上，容易造成安全隐患，下面讲解下如何配置Hiveserver2 的 Custom 鉴...

在EMR集群带公网master节点部署sentry服务，Impala的GROUP组需要在Impala server节点上进行创建系统组与之关联。

为了提升广大用户的文档的使用体验，现推出【大数据】产品文档定向捉虫活动。邀请大家对指定产品文档进行体验，反馈文档问题就有机会获得腾讯云电子代金券、京东储值卡和神...

自建开源大数据平台会随着企业数据的增长遇到：性能慢、扩容周期长、平台稳定性差、运维难、投入成本高等问题。在这里我们将从 EMR 的简介、EMR与自建Hadoop...

在EMR集群上按小时跑的spark sql 任务有时会失败，在driver端的日志中可以看到报错： org.apache.spark.sql.catalyst....

上一节我们讲到了大数据的存储 ： https://cloud.tencent.com/developer/article/1878422

腾讯云数据仓库PostgreSql TDSQL，PingCAP的TiDB，阿里的OceanBase，华为云DWS，都是HTAP的业内常用数仓，可以一站式解决需求...

实时即未来，最近在腾讯云Oceanus进行实时计算服务，以下为flink写入Kudu实践中的总结。分享给大家~

数据湖（Data lake）是一种将数据以原始格式存储在同一个系统或存储库的设计思想。它可以实现在一份数据之上进行多种数据计算，以避免为了多种计算场景而导致数据...

导语 | 传统HADOOP生态系统使用YARN管理/调度计算资源，该系统⼀般具有明显的资源使⽤周期。实时计算集群资源消耗主要在⽩天，而数据报表型业务则安排在离线...

有需求了解一下Opentsdb的源码，然后想着能在本地run起来，打些断点和日志来跟一下，然后兴致勃勃去网上找了资料看看能否快速run起来，但是发现所有的博客、...

BufferedMutator主要用来异步批量的将数据写入一个hbase表，就像Htable一样。通过Connection获取一个实例。

Apache Sentry 是Cloudera公司发布的一个Hadoop开源组件，截止目前还是Apache的孵化项目，它提供了细粒度级、基于角色的授权以及多租户...

关于Kerberos与Ldap两个方案，此处就不再赘述，分别参考我的另外两篇文章：

Kerberos是由麻省理工（MIT）开发，对三方进行验证鉴权的服务安全管理系统。该系统很好的体现了西方三权分立的思想，其名字也很形象，来源于希腊神话地狱三个脑...

考虑到多数场景是迁移整个Hive数据库，该篇文章只介绍迁移的第二种，即元数据及Hive数据全量迁移。

本篇章继续Impala查询机制相关的探索和学习，本篇主要讲解join优化器的优化原理和思路。

近年来，随着大数据规模的增长，以及大数据应用的发展，大数据技术的架构也在持续演进。早期的技术架构是计算资源和存储资源高度融合，计算和存储资源一体化存在以下明显的...

导语 | 腾讯内部每日都需要对海量的游戏营销活动数据做效果分析，而活动参与人数的去重一直是一项难点。本文将为大家介绍腾讯游戏营销活动分析系统——奕星，在去重服务...