腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
Hadoop实操
专注Apache Hadoop,CDH和HDP的实操,如安装部署,安全配置,排障过程,经验分享,性能
专栏成员
举报
974
文章
2437161
阅读量
707
订阅数
订阅专栏
申请加入专栏
全部文章(974)
hive(209)
其他(200)
github(175)
专用宿主机(165)
hadoop(161)
大数据(141)
kerberos(120)
sql(115)
https(99)
数据库(98)
spark(96)
apache(70)
git(56)
hbase(54)
node.js(53)
云数据库 SQL Server(52)
java(49)
yarn(49)
开源(47)
api(46)
kafka(38)
python(35)
parcel(34)
http(31)
编程算法(30)
TDSQL MySQL 版(29)
存储(29)
网络安全(28)
jdbc(26)
访问管理(25)
xml(23)
腾讯云测试服务(23)
shell(22)
linux(21)
jdk(21)
bash(20)
lucene/solr(17)
bash 指令(17)
ssh(17)
mapreduce(15)
dns(15)
网站(14)
负载均衡(13)
html(13)
打包(13)
jar(13)
安全(13)
windows(13)
postgresql(12)
负载均衡缓存(12)
zookeeper(12)
文件存储(11)
tcp/ip(11)
数据(11)
容器(10)
oracle(9)
flink(9)
机器学习(8)
json(8)
windows server(8)
nginx(8)
容器镜像服务(8)
人工智能(7)
数据分析(7)
DNS 解析 DNSPod(6)
javascript(6)
深度学习(6)
云推荐引擎(6)
kubernetes(6)
数据迁移(6)
SSL 证书(5)
企业(5)
缓存(5)
erp(5)
anaconda(5)
数据处理(5)
tensorflow(4)
scala(4)
maven(4)
神经网络(4)
分布式(4)
jvm(4)
面向对象编程(4)
unity(4)
rpc(4)
ntp(4)
配置(4)
单片机(3)
嵌入式(3)
access(3)
ide(3)
unix(3)
数据备份(3)
yum(3)
微信(3)
c++(2)
jquery(2)
全文检索(2)
批量计算(2)
云数据库 MySQL(2)
ftp(2)
物联网(2)
sas(2)
nat(2)
腾讯云开发者社区(2)
云数据库 postgresql(2)
云计算(2)
Elasticsearch Service(2)
impala(2)
session(2)
string(2)
对象(2)
服务(2)
集群(2)
接口(2)
客户端(2)
内存(2)
同步(2)
文件系统(2)
云服务器(1)
官方文档(1)
ios(1)
c 语言(1)
php(1)
go(1)
actionscript(1)
css(1)
android(1)
nosql(1)
mvc(1)
flask(1)
eclipse(1)
搜索引擎(1)
ubuntu(1)
centos(1)
apt-get(1)
spring(1)
归档存储(1)
云数据库 MongoDB(1)
数据库一体机 TData(1)
消息队列 CMQ 版(1)
数据加密服务(1)
流量服务(1)
mongodb(1)
vr 视频解决方案(1)
express(1)
devops(1)
自动化(1)
运维(1)
html5(1)
决策树(1)
npm(1)
grep(1)
jenkins(1)
spring cloud(1)
socket编程(1)
数据可视化(1)
微服务(1)
nest(1)
任务调度(1)
密钥管理服务(1)
jupyter notebook(1)
分类算法(1)
ascii(1)
ipv6(1)
迁移(1)
负载测试(1)
智能客服机器人(1)
数据湖(1)
add(1)
client(1)
cloud(1)
com(1)
daemon(1)
databricks(1)
datasource(1)
dfs(1)
eof(1)
exit(1)
gateway(1)
grafana(1)
h2(1)
hana(1)
hdfs(1)
heap(1)
host(1)
io(1)
kill(1)
ldap(1)
monitoring(1)
mysql(1)
openldap(1)
private(1)
project(1)
queue(1)
replication(1)
sap(1)
status(1)
tabular(1)
visualization(1)
window(1)
worker(1)
布局(1)
部署(1)
测试(1)
队列(1)
管理(1)
架构(1)
脚本(1)
开发(1)
连接(1)
命令行(1)
生命周期(1)
协议(1)
性能(1)
异常(1)
优化(1)
主机(1)
标签(1)
搜索文章
搜索
搜索
关闭
0855-1.9.2-CDSW1.9的新功能
编程算法
ipv6
tcp/ip
作为 CML 中现有引擎的替代品,ML Runtimes 比当前的单体引擎(monolithic Engines)更轻量级。通过指定所需的Editor, Kernel, Edition和Version,一个流水线式的Runtime将用于在Sessions, Jobs, Experiments, Models和Applications中运行用户的代码。
Fayson
2021-07-28
739
0
CDP Private Cloud Base 7.1.5正式GA
tcp/ip
hive
apache
大数据
1.对一部分平台组件的FIPS 140-2合规性支持,通过使用FIPS 140-2验证的加密模块,并在启用了FIPS模式的Redhat和CentOS操作系统上进行部署,现在可以配置CDP Private Cloud Base组件使用符合FIPS的加密技术;
Fayson
2021-04-19
702
0
0766-6.3.3-如何实现Kafka跨网络访问
kafka
linux
编程算法
tcp/ip
hadoop
在使用Kafka时会遇到内外网的场景,即Kafka集群使用内网搭建,在内网和外网均有客户端需要消费Kafka的消息,同时在集群内由于使用内网环境通信,因此不必太过考虑通信的加密,所以在内网使用非安全的协议也能够通信,但对于外网环境出于安全考虑,只允许通过安全的协议访问Kafka集群,本文档介绍如何基于双网卡来配置Kafka。
Fayson
2020-05-16
3.4K
0
0530-6.1-如何只是迁移NameNode或JournalNode
大数据
tcp/ip
Fayson在上一篇文章《0528-6.1-如何迁移NameNode相关角色》中介绍过通过Cloudera Manager迁移管理节点NameNode,JournalNode和Failover Controller三个角色到其它节点。本文主要介绍如何只是迁移NameNode+Failover Controller或JournalNode角色。
Fayson
2019-11-28
1.2K
0
0526-6.1-如果你不小心删了一个NameNode1
大数据
tcp/ip
专用宿主机
在启用了HDFS HA的集群,2个NameNode节点上一般都会部署三个角色:NameNode,JournalNode和Failover Controller。在实际生产中,我们有时会碰到一个情况,你不小心删掉了某个NameNode节点上的所有角色包括NameNode,JournalNode和Failover Controller,或者你不小心通过Cloudera Manager直接从主机管理列表里移除了该NameNode节点,然后你想再把这个节点加回去的时候,发现无论如何HDFS服务都没办法正常使用了。本文Fayson会在一个HDFS HA的CDH集群中模拟这种情况,然后尝试去解决,即先删除一个NameNode,然后如何通过配置将该NameNode重新加回到HDFS服务中。
Fayson
2019-11-28
954
0
0528-6.1-如何迁移NameNode相关角色
大数据
专用宿主机
tcp/ip
这里我们假设一个场景,你已经有一个CDH集群了,因为硬件或者OS升级,你需要把这个节点服务器拿出来进行维护处理,如果是DataNode是比较简单的,可以很简单的进行下线甚至暴力删除都可以直接将其从集群中剥离出来,但是如果这个节点是NameNode呢。其实Cloudera Manager也提供了界面化迁移角色的功能,比较方便,我们知道NameNode节点一般都会同时有NameNode,JournalNode和Failover Controller角色,Fayson本文会主要介绍如何迁移NameNode相关角色。
Fayson
2019-11-28
1.5K
0
0531-6.1-如何手动迁移JournalNode
tcp/ip
大数据
Fayson在上一篇文章《0530-6.1-如何只是迁移NameNode或JournalNode》,主要介绍了通过Cloudera Manager来界面化向导式迁移JournalNode,本文Fayson主要会实操演示如何手动迁移JournalNode角色。
Fayson
2019-11-28
1.3K
0
0532-6.1-如果你的NameNode服务器坏了并且无法恢复
tcp/ip
大数据
Fayson在最近写了很多关于NameNode恢复,或者NameNode角色迁移相关的文章,但都是基于HDFS已经启用HA的情况来操作的包括你将要阅读的本文,这也是Hadoop作为一个生产系统所必须的,当然假如万一你没有启用HDFS HA,涉及单个NameNode的备份恢复或者迁移节点,可以参考Fayson很早之前的一篇文章《NameNode <em>Metadata</em>备份和恢复最佳实践》。
Fayson
2019-11-28
918
0
0729-6.3.0-如何修改CDSW1.6中Docker服务的默认网关
容器
容器镜像服务
tcp/ip
javascript
CDSW服务Docker组件启动时自动创建docker0网桥,其默认IP为172.17.0.1。该网段的网关与公司的网关冲突,导致服务器上挂载的公共盘不能正常使用, Agent服务也与Cloudera Manager失去了联系。由于修改公司的网关影响范围大,所以本篇文章Fayson主要介绍如何修改CDSW服务Docker组件的默认网关。
Fayson
2019-11-14
1.4K
0
0692-5.16.1-外部客户端跨网段访问Hadoop集群方式(续)
大数据
tcp/ip
hadoop
node.js
网站
在生产环境的CDH集群中,为了分开集群对网络的使用会为集群配备两套网络(管理网段和数据网段),数据网段主要用于集群内部数据交换,一般使用万兆网络以确保集群内数据传输性能,管理网段主要用于集群管理,一般使用千兆网络。一般情况下在集群外进行集群管理和数据传输的都是通过千兆网络进行交互,在集群外是无法直接访问集群内的万兆网络。
Fayson
2019-08-28
2.4K
0
0563-06-如何在FreeIPA上管理域名解析
dns
DNS 解析 DNSPod
tcp/ip
前面Fayson文章讲了《0558-01-如何在Redhat7上安装FreeIPA》、《0559-02-如何在Redhat7上安装FreeIPA的客户端》等,文中也介绍了FreeIPA集成了DNS服务。在安装CDSW服务时则需要为服务器配置泛域名解析,本篇文章主要介绍如何在FreeIPA上添加DNS的泛域名解析。
Fayson
2019-04-29
3.6K
0
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档