如何使用SAML配置Cloudera Manager的身份验证

在前面Fayson介绍了《如何使用Shibboleth搭建IDP服务并集成OpenLDAP》，通过Shibboleth的IDP服务提供SAML认证服务，本篇文章...

如何在CDH中安装和使用StreamSets

StreamSets由Informatica前首席产品官Girish Pancha和Cloudera前开发团队负责人Arvind Prabhakar于2014年...

如何在Centos7.2安装HDP2.6

5.集群完整性检查，包括 HDFS 文件系统、MapReduce、Hive 等是否可以正常运行。

如何使用Beeline连接Impala

Beeline是HiveServer2提供的一个新的命令行工具，基于SQLLine CLI的JDBC客户端。Beeline有两种模式：嵌入和远程模式。嵌入模式类...

0927-Databricks X Tabular

Databricks 已同意收购由 Apache Iceberg 创建者领导的存储平台供应商 Tabular，以促进 Lakehouse 中的数据互操作性。

0926-Apache Iceberg的开源Catalog - Polaris Catalog

开源的文件和表格式因其互操作性潜力而引起了数据行业的极大兴趣，它使许多技术能够安全地在单个数据副本上操作。更高的互操作性不仅可以降低使用多种工具和处理引擎带来的...

0925-规划NameNode的heap

所有 Hadoop 进程都在 Java 虚拟机 (JVM) 上运行，每个守护进程都在集群中主机自己的 JVM 上运行。一般来说，生产集群的HDFS会配置Name...

0924-Hive on Tez性能调优

调优Hive on Tez查询没有一个通用的方法，查询的性能取决于数据的大小、文件类型、查询设计和查询模式。在做性能测试的时候，我们一般是通过调整配置参数或改写...

0923-7.1.9-使用S3 Gateway访问Ozone

1.要访问不在 /s3v 卷下的已有bucket，我们可以在/s3v卷中创建symlink

0922-7.1.9-使用Spark和Hive访问Ozone

0921-7.1.9-bucket布局和从HDFS拷贝数据到Ozone

4.使用ozone fs -cp命令复制文件的速度非常慢，因为只有一个客户端会在系统之间下载和上传文件。为了提升性能，需要让集群通过多个服务器并行地将文件直接从...

0920-7.1.9-Apache Ozone命令行简介

Ozone 客户端可以将 Ozone 作为文件系统和key-value存储进行访问，当 Ozone 与 HDFS 依赖项一起安装时，Ozone支持HDFS客户端...

0919-Apache Ozone安全架构

身份认证是 Ozone 组件识别用户身份的过程，Apache Ozone支持使用Kerberos和security tokens的强身份认证。

0918-Apache Ozone简介

Ozone 是 Hadoop 的分布式对象存储系统，具有易扩展和冗余存储的特点。Ozone 不仅能存储数十亿个不同大小的对象，还支持在容器化环境（比如 Kube...

0917-7.1.9-如何在CDP中使用H2安装YARN Queue Manager

CDP中的YARN Queue Manager是一个单独的服务，用来管理Capacity Scheduler配置，同时包含一个UI界面方便Hadoop管理员在全...

0916-5.16.2-如何将Hive元数据库从外部PostgreSQL转换到MySQL

2.停止Hive服务，在配置中搜索“database”，修改数据库配置到MySQL库

0915-7.1.7-Kafka Connectors for SAP HANA测试

Kafka原生没有提供SAP HANA的Connector，GitHub开源项目Kafka Connectors for SAP提供了kafka与SAP之间的C...

0914-7.1.7-如何用Doris创建Hive和Iceberg Catalog

Doris支持多源数据目录（Multi-Catalog）功能，旨在能够更方便对接外部数据目录，以增强Doris的数据湖分析和联邦数据查询能力。Multi-Cat...

0913-7.7.1-Replication Manager使用优化

在当前CDP的大部分的场景中，PART_COL_STATS和TAB_COL_STATS这两张Hive元数据表都会比较大。因为这两张表是分别存放分区表和非分区表的...

0912-7.1.7-Impala同一查询耗时差距过大问题分析

本文档主要描述在日常业务业务查询过程中，元数据以及统计信息一切正常的情况下，发现同一SQL，在impala中查询kudu表，有时跑3~5秒，有时跑13多秒的情况...