Hadoop实操-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

Hadoop实操

专注Apache Hadoop，CDH和HDP的实操，如安装部署，安全配置，排障过程，经验分享，性能

专栏成员

974

文章

2436463

阅读量

707

订阅数

0855-1.9.2-CDSW1.9的新功能

编程算法 ipv6 tcp/ip

作为 CML 中现有引擎的替代品，ML Runtimes 比当前的单体引擎(monolithic Engines)更轻量级。通过指定所需的Editor, Kernel, Edition和Version，一个流水线式的Runtime将用于在Sessions, Jobs, Experiments, Models和Applications中运行用户的代码。

2021-07-28

7390

CDP Private Cloud Base 7.1.5正式GA

tcp/ip hive apache 大数据

1.对一部分平台组件的FIPS 140-2合规性支持，通过使用FIPS 140-2验证的加密模块，并在启用了FIPS模式的Redhat和CentOS操作系统上进行部署，现在可以配置CDP Private Cloud Base组件使用符合FIPS的加密技术；

2021-04-19

7020

0766-6.3.3-如何实现Kafka跨网络访问

kafka linux 编程算法 tcp/ip hadoop

在使用Kafka时会遇到内外网的场景，即Kafka集群使用内网搭建，在内网和外网均有客户端需要消费Kafka的消息，同时在集群内由于使用内网环境通信，因此不必太过考虑通信的加密，所以在内网使用非安全的协议也能够通信，但对于外网环境出于安全考虑，只允许通过安全的协议访问Kafka集群，本文档介绍如何基于双网卡来配置Kafka。

2020-05-16

3.4K0

0530-6.1-如何只是迁移NameNode或JournalNode

大数据 tcp/ip

Fayson在上一篇文章《0528-6.1-如何迁移NameNode相关角色》中介绍过通过Cloudera Manager迁移管理节点NameNode，JournalNode和Failover Controller三个角色到其它节点。本文主要介绍如何只是迁移NameNode+Failover Controller或JournalNode角色。

2019-11-28

1.2K0

0526-6.1-如果你不小心删了一个NameNode1

大数据 tcp/ip 专用宿主机

在启用了HDFS HA的集群，2个NameNode节点上一般都会部署三个角色：NameNode，JournalNode和Failover Controller。在实际生产中，我们有时会碰到一个情况，你不小心删掉了某个NameNode节点上的所有角色包括NameNode，JournalNode和Failover Controller，或者你不小心通过Cloudera Manager直接从主机管理列表里移除了该NameNode节点，然后你想再把这个节点加回去的时候，发现无论如何HDFS服务都没办法正常使用了。本文Fayson会在一个HDFS HA的CDH集群中模拟这种情况，然后尝试去解决，即先删除一个NameNode，然后如何通过配置将该NameNode重新加回到HDFS服务中。

2019-11-28

9540

0528-6.1-如何迁移NameNode相关角色

大数据专用宿主机 tcp/ip

这里我们假设一个场景，你已经有一个CDH集群了，因为硬件或者OS升级，你需要把这个节点服务器拿出来进行维护处理，如果是DataNode是比较简单的，可以很简单的进行下线甚至暴力删除都可以直接将其从集群中剥离出来，但是如果这个节点是NameNode呢。其实Cloudera Manager也提供了界面化迁移角色的功能，比较方便，我们知道NameNode节点一般都会同时有NameNode，JournalNode和Failover Controller角色，Fayson本文会主要介绍如何迁移NameNode相关角色。

2019-11-28

1.5K0

0531-6.1-如何手动迁移JournalNode

tcp/ip 大数据

Fayson在上一篇文章《0530-6.1-如何只是迁移NameNode或JournalNode》，主要介绍了通过Cloudera Manager来界面化向导式迁移JournalNode，本文Fayson主要会实操演示如何手动迁移JournalNode角色。

2019-11-28

1.3K0

0532-6.1-如果你的NameNode服务器坏了并且无法恢复

tcp/ip 大数据

Fayson在最近写了很多关于NameNode恢复，或者NameNode角色迁移相关的文章，但都是基于HDFS已经启用HA的情况来操作的包括你将要阅读的本文，这也是Hadoop作为一个生产系统所必须的，当然假如万一你没有启用HDFS HA，涉及单个NameNode的备份恢复或者迁移节点，可以参考Fayson很早之前的一篇文章《NameNode <em>Metadata</em>备份和恢复最佳实践》。

2019-11-28

9170

0729-6.3.0-如何修改CDSW1.6中Docker服务的默认网关

容器容器镜像服务 tcp/ip javascript

CDSW服务Docker组件启动时自动创建docker0网桥，其默认IP为172.17.0.1。该网段的网关与公司的网关冲突，导致服务器上挂载的公共盘不能正常使用， Agent服务也与Cloudera Manager失去了联系。由于修改公司的网关影响范围大，所以本篇文章Fayson主要介绍如何修改CDSW服务Docker组件的默认网关。

2019-11-14

1.4K0

0692-5.16.1-外部客户端跨网段访问Hadoop集群方式(续)

大数据 tcp/ip hadoop node.js 网站

在生产环境的CDH集群中，为了分开集群对网络的使用会为集群配备两套网络（管理网段和数据网段），数据网段主要用于集群内部数据交换，一般使用万兆网络以确保集群内数据传输性能，管理网段主要用于集群管理，一般使用千兆网络。一般情况下在集群外进行集群管理和数据传输的都是通过千兆网络进行交互，在集群外是无法直接访问集群内的万兆网络。

2019-08-28

2.4K0

0563-06-如何在FreeIPA上管理域名解析

dns DNS 解析 DNSPod tcp/ip

前面Fayson文章讲了《0558-01-如何在Redhat7上安装FreeIPA》、《0559-02-如何在Redhat7上安装FreeIPA的客户端》等，文中也介绍了FreeIPA集成了DNS服务。在安装CDSW服务时则需要为服务器配置泛域名解析，本篇文章主要介绍如何在FreeIPA上添加DNS的泛域名解析。

2019-04-29

3.6K0

没有更多了

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态