腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
Hadoop实操
专注Apache Hadoop,CDH和HDP的实操,如安装部署,安全配置,排障过程,经验分享,性能
专栏成员
举报
974
文章
2437988
阅读量
707
订阅数
订阅专栏
申请加入专栏
全部文章(974)
hive(209)
其他(200)
github(175)
专用宿主机(165)
hadoop(161)
大数据(141)
kerberos(120)
sql(115)
https(99)
数据库(98)
spark(96)
apache(70)
git(56)
hbase(54)
node.js(53)
云数据库 SQL Server(52)
java(49)
yarn(49)
开源(47)
api(46)
kafka(38)
python(35)
parcel(34)
http(31)
编程算法(30)
TDSQL MySQL 版(29)
存储(29)
网络安全(28)
jdbc(26)
访问管理(25)
xml(23)
腾讯云测试服务(23)
shell(22)
linux(21)
jdk(21)
bash(20)
lucene/solr(17)
bash 指令(17)
ssh(17)
mapreduce(15)
dns(15)
网站(14)
负载均衡(13)
html(13)
打包(13)
jar(13)
安全(13)
windows(13)
postgresql(12)
负载均衡缓存(12)
zookeeper(12)
文件存储(11)
tcp/ip(11)
数据(11)
容器(10)
oracle(9)
flink(9)
机器学习(8)
json(8)
windows server(8)
nginx(8)
容器镜像服务(8)
人工智能(7)
数据分析(7)
DNS 解析 DNSPod(6)
javascript(6)
深度学习(6)
云推荐引擎(6)
kubernetes(6)
数据迁移(6)
SSL 证书(5)
企业(5)
缓存(5)
erp(5)
anaconda(5)
数据处理(5)
tensorflow(4)
scala(4)
maven(4)
神经网络(4)
分布式(4)
jvm(4)
面向对象编程(4)
unity(4)
rpc(4)
ntp(4)
配置(4)
单片机(3)
嵌入式(3)
access(3)
ide(3)
unix(3)
数据备份(3)
yum(3)
微信(3)
c++(2)
jquery(2)
全文检索(2)
批量计算(2)
云数据库 MySQL(2)
ftp(2)
物联网(2)
sas(2)
nat(2)
腾讯云开发者社区(2)
云数据库 postgresql(2)
云计算(2)
Elasticsearch Service(2)
impala(2)
session(2)
string(2)
对象(2)
服务(2)
集群(2)
接口(2)
客户端(2)
内存(2)
同步(2)
文件系统(2)
云服务器(1)
官方文档(1)
ios(1)
c 语言(1)
php(1)
go(1)
actionscript(1)
css(1)
android(1)
nosql(1)
mvc(1)
flask(1)
eclipse(1)
搜索引擎(1)
ubuntu(1)
centos(1)
apt-get(1)
spring(1)
归档存储(1)
云数据库 MongoDB(1)
数据库一体机 TData(1)
消息队列 CMQ 版(1)
数据加密服务(1)
流量服务(1)
mongodb(1)
vr 视频解决方案(1)
express(1)
devops(1)
自动化(1)
运维(1)
html5(1)
决策树(1)
npm(1)
grep(1)
jenkins(1)
spring cloud(1)
socket编程(1)
数据可视化(1)
微服务(1)
nest(1)
任务调度(1)
密钥管理服务(1)
jupyter notebook(1)
分类算法(1)
ascii(1)
ipv6(1)
迁移(1)
负载测试(1)
智能客服机器人(1)
数据湖(1)
add(1)
client(1)
cloud(1)
com(1)
daemon(1)
databricks(1)
datasource(1)
dfs(1)
eof(1)
exit(1)
gateway(1)
grafana(1)
h2(1)
hana(1)
hdfs(1)
heap(1)
host(1)
io(1)
kill(1)
ldap(1)
monitoring(1)
mysql(1)
openldap(1)
private(1)
project(1)
queue(1)
replication(1)
sap(1)
status(1)
tabular(1)
visualization(1)
window(1)
worker(1)
布局(1)
部署(1)
测试(1)
队列(1)
管理(1)
架构(1)
脚本(1)
开发(1)
连接(1)
命令行(1)
生命周期(1)
协议(1)
性能(1)
异常(1)
优化(1)
主机(1)
标签(1)
搜索文章
搜索
搜索
关闭
0901-安装Python3.8
数据库
anaconda
sql
云数据库 SQL Server
parcel
CDP7.1.8及更高版本中Hue使用Python3环境,因此必须在集群的所有节点安装Python3.8。同时还必须为PostgreSQL、MySQL或MariaDB数据库安装相应的驱动包,确保Hue通过驱动包可以正常的访问数据库,如下操作步骤主要基于CentOS7版本:
Fayson
2022-12-14
865
0
0877-1.6.2-SQL Stream Builder(SSB)概述
云数据库 SQL Server
flink
大数据
postgresql
sql
1.什么是SQL Stream Builder Cloudera Streaming Analytics(CSA)提供了一个易于使用的交互式SQL Stream Builder(SSB)作为服务,用于通过 SQL创建对数据流的查询。 SQL Stream Builder (SSB)是一个功能全面的交互式UI工具,可以使用SQL创建有状态的流处理作业。通过使用 SQL,您可以简单轻松地声明过滤、聚合、路由和以其他方式改变数据流的表达式。SSB 是一个作业管理接口,可用于在流上编写和运行 SQL,以及为结果创
Fayson
2022-04-15
1K
0
0865-5.16.2-如何搭建DolphinScheduler集群并与安全的CDH集成
数据库
云数据库 SQL Server
sql
大数据
Apache DolphinScheduler(以下简称:DS)是一个分布式去中心化,易扩展的可视化DAG工作流任务调度平台。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。本篇文档主要介绍如何搭建DolphinScheduler集群并与安全的CDH集群集成。
Fayson
2021-11-02
2.7K
0
0833-如何使用Prometheus监控MySQL
云数据库 SQL Server
https
网络安全
数据库
sql
在《如何安装及使用Prometheus》文中有对Prometheus 做简单的介绍,并且通过node_exporter的模板示例介绍了如何监控主机信息。本文主要介绍如何使用Prometheus监控MySQL数据库信息
Fayson
2021-04-19
1.9K
0
0829-5.15.1-Hive锁表导致CM无法启动异常分析
云数据库 SQL Server
数据库
sql
专用宿主机
hive
本文描述了一次CDH集群中,Hive锁表导致集群元数据MySQL的Hive MetaStore锁表,从而引起CM服务中断并且无法重启的异常分析。
Fayson
2021-03-11
1.5K
0
0791-5.13.1-Hive视图执行show create table被截断异常分析
hive
专用宿主机
数据库
sql
云数据库 SQL Server
当对Hive的VIEW执行SHOW CREATE TABLE时,结果输出只有部分,会被截断,这个表现在Hue,Beeline以及Hive CLI中都会存在,如下所示。
Fayson
2020-07-24
1.7K
0
Calcite技术研究
数据处理
apache
云数据库 SQL Server
sql
数据库
Apache Calcite是一个基础的软件框架,它提供了查询处理、查询优化以及查询语言支持的能力。很多流行的开源数据处理系统例如Apache Hive,Apache Storm,ApacheFlink,Druid等都采用了它。
Fayson
2020-02-24
2.3K
0
0752-7.0.3-如何在CDP DC7.0.3安装Ranger
云数据库 SQL Server
在前面的文章中,Fayson介绍了《如何在Redhat7.6中安装CDP DC7.0.3》和《如何在CDP DC7.0.3集群部署Flink1.9.1》,基于前面的集群环境,本篇文章Fayson主要介绍如何在CDP DC7.0.3集群安装Ranger。
Fayson
2020-02-24
1.9K
0
如何在CDH5.16.2中部署Apache Dolphin Scheduler 1.2.0
云数据库 SQL Server
数据库
sql
bash
bash 指令
官网 : https://dolphinscheduler.apache.org/en-us/
Fayson
2020-02-18
2.2K
0
Hive 终于等来了 Flink
云数据库 SQL Server
其实比较也没啥意义,不同社区发展的目标总是会有差异,而且 Flink 在真正的实时流计算方面投入的精力很多。不过笔者想表达的是,Apache Hive 已经成为数据仓库生态系统的焦点,它不仅是一个用于大数据分析和 ETL 的 SQL 引擎,也是一个数据管理平台,所以无论是 Spark,还是 Flink,或是 Impala、Presto 等,都会积极地支持集成 Hive 的功能。
Fayson
2020-02-10
2.6K
0
0505-使用Apache Hive3实现跨数据库的联邦查询
jdbc
云数据库 SQL Server
apache
sql
数据库
如今的企业内部一般都有多个系统用于数据存储和数据处理。这些不同的系统各自服务于不同的应用场景或案例。除了传统的RDBMS如Oracle DB,Teradata或PostgreSQL之外,团队可能还使用了Apache Kafka用作流式处理,使用Apache Druid来保存时序数据,使用Apache Phoenix进行快速索引查找。此外,他们可能还使用了云存储服务或HDFS来批量存储数据。
Fayson
2019-11-28
1.6K
0
SparkSQL 在有赞的实践
hive
云数据库 SQL Server
网站
sql
spark
有赞数据平台从 2017 年上半年开始,逐步使用 SparkSQL 替代 Hive 执行离线任务,目前 SparkSQL 每天的运行作业数量5000个,占离线作业数目的55%,消耗的 cpu 资源占集群总资源的50%左右。本文介绍由 SparkSQL 替换 Hive 过程中碰到的问题以及处理经验和优化建议,包括以下方面的内容:
Fayson
2019-11-28
1.7K
0
0513-开源软件如何统治世界
开源
linux
云数据库 SQL Server
云计算
就在5年前,投资者对于开源软件这种商业模式依旧持怀疑态度。他们都认为Redhat就像一片雪花(意指看上去很美腻,但随时可能化为虚无),当时也没有其他开源公司在软件领域获得较为出彩的成绩。
Fayson
2019-11-28
593
0
0498-Hue Sqoop1的编辑器中执行Sqoop作业失败问题分析
云数据库 SQL Server
jdbc
hadoop
大数据
专用宿主机
Hue做为Hadoop平台的一款UI工具,提供了丰富的功能。可以通过Hue访问Hadoop的文件系统、Hive、Impala、HBase、Solr、Sqoop等。集成了Oozie实现界面化工作流调度流程,同样也可以集成第三方APP及SQL等。本篇文章Fayson主要介绍在使用Hue提供的Sqoop1编辑功能执行Sqoop作业异常问题分析。
Fayson
2019-11-27
1.4K
0
0519-如何解决Cloudera Manager主机页面出现重复主机异常
ide
云数据库 SQL Server
企业
数据库
sql
通过Cloudera Manager主页访问“主机”页面,发现其中一台主机有2条重复的记录,一条有角色相关信息但是心跳明显超时很久了,另外一台有心跳但是没有主机角色信息,而且所有主机都是未知状态,如下:
Fayson
2019-11-27
1.2K
0
0536-5.15.0-如何使用Hue集成RDBMS数据库
全文检索
数据库
云数据库 SQL Server
sql
hive
Hue是一个以Hadoop平台为基础的Web客户端工具,Hue不仅可以集成大数据平台的Hive、Impala、HBase、Solr等组件,提供易于操作的Web界面。同样在3.8版本以后还提供了Notebook组件(支持多种编程语言),可以参考Fayson前面的文章《如何在Hue中添加Spark Notebook》。Hue同时也支持集成RDBMS数据库(Oracle、Postgresql、MySQL等),本篇文章Fayson以MySQL为例介绍如何在Hue中集成MySQL数据库。
Fayson
2019-11-27
1K
0
0733-7.0.3-如何在Redhat7.6中安装CDP DC7.0.3
云数据库 SQL Server
CDP DC7.0.3是Cloudera与Hortonworks合并后,第一个融合CDH和HDP所有组件的on-premise版本,CDP Data Center主要由Cloudera Runtime构成,Cloudera Runtime由超过35个开源项目组成,当然CDP Data Center还包括其它功能如管理功能Cloudera Manager,Key Management,专业支持等,如下图所示:
Fayson
2019-11-27
2.1K
0
0709-5.16.2-如何将CM的外部PostgreSQL数据库迁移至MySQL服务
数据库
云数据库 SQL Server
postgresql
sql
hive
在前面的文章《5.16.2-如何将CM内嵌PostgreSQL服务迁移至外部PostgreSQL服务》介绍了将CM内嵌的PostgreSQL迁移至外部PostgreSQL,因为CM内嵌的PostgreSQL数据库不支持直接迁移至MySQL。本篇文章Fayson主要介绍如何将集群使用的外部PostgreSQL迁移至MySQL数据库。
Fayson
2019-10-09
1.9K
0
0711-6.3.0-如何将CM的外部PostgreSQL数据库迁移至MySQL服务
数据库
postgresql
云数据库 SQL Server
sql
hive
在前面的文章《6.3.0-如何将CM内嵌PostgreSQL服务迁移至外部PostgreSQL服务》介绍了将CM内嵌的PostgreSQL迁移至外部PostgreSQL,因为CM内嵌的PostgreSQL数据库不支持直接迁移至MySQL。本篇文章Fayson主要介绍如何将集群使用的外部PostgreSQL迁移至MySQL数据库。
Fayson
2019-10-09
1.7K
0
0695-5.10.2-如何将CM的外部PostgreSQL数据库迁移至MySQL服务
数据库
postgresql
云数据库 SQL Server
sql
访问管理
在前面的文章《如何将CM内嵌PostgreSQL服务迁移至外部PostgreSQL服务》介绍了将CM内嵌的PostgreSQL迁移至外部PostgreSQL,因为CM内嵌的PostgreSQL数据库不支持直接迁移至MySQL。本篇文章Fayson主要介绍如何将集群使用的外部PostgreSQL迁移至MySQL数据库。
Fayson
2019-09-03
1.5K
0
点击加载更多
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档