腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
Hadoop实操
专注Apache Hadoop,CDH和HDP的实操,如安装部署,安全配置,排障过程,经验分享,性能
专栏作者
举报
960
文章
2322513
阅读量
704
订阅数
订阅专栏
申请加入专栏
全部文章
hive
其他
github
专用宿主机
hadoop
大数据
kerberos
sql
https
数据库
spark
apache
git
hbase
node.js
云数据库 SQL Server
java
yarn
api
开源
kafka
python
parcel
http
编程算法
TDSQL MySQL 版
网络安全
jdbc
访问管理
存储
xml
腾讯云测试服务
shell
linux
jdk
bash
lucene/solr
bash 指令
ssh
mapreduce
dns
网站
负载均衡
html
打包
jar
windows
负载均衡缓存
zookeeper
postgresql
文件存储
tcp/ip
安全
oracle
容器
flink
机器学习
json
windows server
nginx
容器镜像服务
人工智能
数据分析
DNS 解析 DNSPod
javascript
深度学习
云推荐引擎
kubernetes
数据迁移
SSL 证书
企业
缓存
erp
anaconda
数据处理
tensorflow
scala
maven
神经网络
分布式
jvm
面向对象编程
unity
rpc
ntp
单片机
嵌入式
access
ide
unix
数据备份
yum
微信
数据
c++
jquery
全文检索
批量计算
云数据库 MySQL
ftp
物联网
sas
nat
腾讯云开发者社区
云数据库 postgresql
云计算
Elasticsearch Service
impala
session
配置
同步
云服务器
官方文档
ios
c 语言
php
go
actionscript
css
android
nosql
mvc
flask
eclipse
搜索引擎
ubuntu
centos
apt-get
spring
归档存储
云数据库 MongoDB
数据库一体机 TData
消息队列 CMQ 版
数据加密服务
流量服务
mongodb
vr 视频解决方案
express
devops
自动化
运维
html5
决策树
npm
grep
jenkins
spring cloud
socket编程
数据可视化
微服务
nest
任务调度
密钥管理服务
jupyter notebook
分类算法
ascii
ipv6
迁移
负载测试
智能客服机器人
数据湖
add
client
cloud
com
daemon
datasource
exit
grafana
host
io
kill
ldap
monitoring
openldap
private
project
replication
status
visualization
window
worker
部署
服务
集群
脚本
内存
生命周期
优化
主机
标签
搜索文章
搜索
搜索
关闭
0871-6.3.2-如何基于CDH6环境编译Hudi-0.9.0并使用
打包
spark
专用宿主机
json
大数据
1.文档编写目的 Apache Hudi是一个Data Lakes的开源方案,是Hadoop Updates and Incrementals的简写,它是由Uber开发并开源的Data Lakes解决方案。Hudi 是一个丰富的平台,用于构建具有增量数据管道的流式数据湖,具有如下基本特性/能力: Hudi能够摄入(Ingest)和管理(Manage)基于HDFS之上的大型分析数据集,主要目的是高效的减少入库延时。 Hudi基于Spark来对HDFS上的数据进行更新、插入、删除等。 Hudi在HDFS数据集上
Fayson
2022-03-21
2.6K
0
0518-如何在Impala中使用UDF获取SessionId
maven
c++
打包
Hive在UDF中获取sessionId可以直接使用提供的java API,但是该UDF如果移植到Impala中是无法获取到Impala连接的SessionId的,要想获取Impala的SessionId,需要用C++来编写。
Fayson
2019-11-27
991
0
0535-5.15.0-Oozie中创建Ssh Action指定ssh端口号
ssh
打包
jar
apache
github
考虑到服务器的安装,有些系统管理员会将服务器默认的SSH端口修改其它端口,这时在Hue上创建Oozie Ssh Action的WorkFlow时无法指定服务器的SSH端口号,导致Ssh Action执行失败。本篇文章Fayson主要介绍如何让Oozie的Ssh Action支持端口指定。
Fayson
2019-11-27
1.5K
0
Impala查询卡顿分析案例
linux
腾讯云测试服务
打包
https
作者简介:黄权隆,Cloudera研发工程师,Apache Impala PMC & Comitter,毕业于北大计算机系网络所数据库实验室,曾就职于Hulu大数据基础架构团队,负责大数据系统的维护和二次开发,主要负责Impala和HBase方向。现就职于Cloudera,专注于Impala开发。
Fayson
2019-11-06
2.9K
0
你为什么还在用存储过程?
存储
数据库
打包
sql
存储过程(Stored Procedure)是在大型数据库系统中,一组为了完成特定功能的SQL 语句集,它存储在数据库中,一次编译后永久有效,用户通过指定存储过程的名字并给出参数(如果该存储过程带有参数)来执行它。存储过程是数据库中的一个重要对象。
Fayson
2019-07-09
853
0
0650-6.2.0-通过UDF实现Hive&Impala的中文拼音排序
hive
jar
java
编程算法
打包
由上面两张图可以看出,在Hive和Impala中排序都失败了,没有按照期望中的中文对应的拼音进行排序。
Fayson
2019-06-17
1.8K
0
0645-6.2.0-为什么我在CDH6上使用Spark2.4 Thrift失败了
专用宿主机
打包
spark
hive
hadoop
Fayson在前面的文章中介绍过什么是Spark Thrift,Spark Thrift的缺陷,以及Spark Thrift在CDH5中的使用情况,参考《0643-Spark SQL Thrift简介》。
Fayson
2019-06-04
3.3K
0
0598-6.2.0-如何基于FTP的方式访问CDH中HDFS文件系统
大数据
hadoop
打包
ftp
maven
访问HDFS的方式很多,常用的有命令行方式、通过Hadoop提供的API访问、也可以通过挂载NFS的方式访问,在前面的文章Fayson也都有介绍过。本篇文章Fayson主要介绍使用FTP的方式来访问HDFS,这里介绍一个开源的小工具hdfs-over-ftp,简单易用的实现了基于FTP的方式对HDFS上文件进行上传和下载等功能。本篇文章Fayson主要介绍如何基于C6编译hdfs-over-ftp工具,并进行安装部署及验证。
Fayson
2019-04-28
1.7K
0
0588-6.1.0-命令行动态指定MapReduce运行参数无效问题分析
mapreduce
hadoop
jar
面向对象编程
打包
在本地完成MapReduce程序的开发后,打包提交到服务器上,然后在命令行使用hadoop jar命令运行,并在运行时动态的指定参数(如:Map和Reduce的内、资源池等参数)。通过在命令行添加“-D mapreduce.job.queuename=资源池名”的方式来指定。本篇文章Fayson主要讲述动态指定MapReduce作业参数无效问题分析。
Fayson
2019-04-28
1.1K
0
0539-5.15.0-HBase-Spark无法在Spark2编译通过问题解决
spark
打包
hbase
TDSQL MySQL 版
https
在Spark2代码中使用hbase-spark依赖包访问HBase时,编写的代码无法完成编译,在编译的过程中提示如下错误:
Fayson
2019-03-07
1.6K
1
非Kerberos环境下Kafka数据到Flume进Hive表
hive
kafka
java
打包
前面Fayson讲过《如何在Kerberos环境使用Flume采集Kafka数据并写入HDFS》,本篇文章主要讲述如何在非Kerberos环境下将Kafka数据接入Flume并写入Hive表。本文的数据流如下:
Fayson
2018-03-29
2.1K
1
如何使用java命令从非集群节点向CDH集群提交MapReduce作业
专用宿主机
kerberos
mapreduce
xml
打包
在前面文章Fayson讲过《如何使用hadoop命令向CDH集群提交MapReduce作业》和《如何跨平台在本地开发环境提交MapReduce作业到CDH集群》,但有些用户需要在非CDH集群的节点提交作业,这里实现方式有多种一种是将该节点加入CDH集群管理并部署GateWay角色,可以参考Fayson前面的文章《如何给CDH集群增加Gateway节点》,还有一种方式就是使用java命令向CDH集群提交MR作业。本篇文章主要讲述如何使用java命令向CDH集群提交MapReduce作业
Fayson
2018-03-29
977
0
CM启动报InnoDB engine not found分析
云数据库 SQL Server
数据库
sql
hadoop
打包
将/tmp目录权限修改为777,重启mysql和cloudera-scm-server服务
Fayson
2018-03-29
1.1K
0
没有更多了
社区活动
Python精品学习库
代码在线跑,知识轻松学
点击查看
【玩转EdgeOne】征文进行中
限时免费体验,发文即有奖~
立即参加
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·干货材料·成员作品·最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档