首页
学习
活动
专区
工具
TVP
发布

大数据学习笔记

专栏成员
533
文章
780909
阅读量
73
订阅数
Java API访问HA方式的HDFS
对于namenode是HA高可用集群时,客户端远程访问hdfs有两种实现方法: (1)将所有关于namenode的参数写入Configuration对象中 (2)将配置文件core-site.xml和hdfs-site.xml文件复制到项目的src目录下
程裕强
2022-05-06
9990
两个NameNode都处在StandBy模式
今天发现两个NameNode都处在StandBy模式 📷 📷 尝试重启hdfs,两个NameNode依然处在StandBy模式 后来发现停止HDFS时,NameNode1不能停止 [root@bigdata01-test hadoop]# stop-dfs.sh Stopping namenodes on [bigdata01-test bigdata02-test] bigdata01-test: no namenode to stop bigdata02-test: stopping namenode
程裕强
2022-05-06
6490
logstash 6.x 收集syslog日志
1、logstash端 关闭logstash所在机器的rsyslog,释放514端口号 [root@node1 config]# systemctl stop rsyslog [root@node1 config]# systemctl status rsyslog ● rsyslog.service - System Logging Service Loaded: loaded (/usr/lib/systemd/system/rsyslog.service; enabled; vendor pre
程裕强
2022-05-06
7520
BindException: Cannot assign requested address (Bind failed)解决办法
百度了BindException: Cannot assign requested address (Bind failed),网友们提供的方法不能解决我的遇到的问题。 最后意外发现时我的配置文件zoo.cfg配置错误:
程裕强
2022-05-06
1.5K0
HDFS块丢失
(2)hdfs fsck / | egrep -v ‘^.+$’ | grep -v eplica
程裕强
2022-05-06
6390
Linux防火墙端口开发与关闭(CentOS 7)
比如node1节点已经启动了Tomcat,需要开发8080,8009,8005等端口
程裕强
2022-05-06
1.3K0
ZooKeeper典型应用
参考了:https://www.jianshu.com/p/84ad63127cd1
程裕强
2022-05-06
3990
ElasticSearch 6.x 学习笔记:24.Java API连接Elasticsearch
https://www.elastic.co/guide/en/elasticsearch/client/java-api/current/transport-client.html
程裕强
2022-05-06
2710
ElasticSearch 6.x 学习笔记:19.搜索高亮
参照官方文档 https://www.elastic.co/guide/en/elasticsearch/reference/6.1/search-request-highlighting.html
程裕强
2022-05-06
4270
ElasticSearch 6.x 学习笔记:3.Kibana插件
注意,ElasticSearch版本是6.1.1,kibana的版本必须对应,所以,此处下载kibana-6.1.1-linux-x86_64.tar.gz
程裕强
2022-05-06
4640
ElasticSearch 6.x 学习笔记:2.head插件
ElasticSearch-head是一个H5编写的ElasticSearch集群操作和管理工具,可以对集群进行傻瓜式操作。
程裕强
2022-05-06
3520
Hadoop基础教程-第9章 HA高可用(9.2 HDFS 高可用配置)
因为前面我们已经配置启动了普通的Hadoop相关服务,需要先停止相关服务并清除数据。 (1)停止Hadoop服务 首先停止YARN
程裕强
2022-05-06
2650
Hadoop基础教程-第9章 HA高可用(9.1 HDFS 高可用介绍)
HDFS HA(High Availability)高可用配置官方参考网址 http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html
程裕强
2022-05-06
8260
Hadoop基础教程-第8章 Zookeeper(8.5 Zookeeper内存数据库)
ZooKeeper的数据模型是一棵树,而从使用角度看, Zookeeper就像一个内存数据库一样。在这个内存数据库中,存储了整棵树的内容,包括所有的节点路径、节点数据及其ACL信息等,Zookeeper会定时将这个数据存储到磁盘上。 Zookeeper内存数据库是通过ZKDatabase类实现, 内部属性包括dataTree,sessionsWithTimeouts,snapLog,commitedLog。
程裕强
2022-05-06
3440
Hadoop基础教程-第8章 Zookeeper(8.4 Zookeeper集群模式)
Running ZooKeeper in standalone mode is convenient for evaluation, some development, and testing. But in production, you should run ZooKeeper in replicated mode. 单机模式的ZooKeeper便于评估,开发和测试。但在生产中,我们应该以集群模式运行ZooKeeper。
程裕强
2022-05-06
2100
Hadoop基础教程-第7章 MapReduce进阶(7.7 MapReduce 全排序)
MapReduce默认只是保证同一个分区内的Key是有序的,但是不保证全局有序。如果我们将所有的数据全部发送到一个Reduce,那么不就可以实现结果全局有序。所以前文7.6节二次排序已经实现了最终结果有序,也就是全排序。 MapReduce全排序的方法1: 每个map任务对自己的输入数据进行排序,但是无法做到全局排序,需要将数据传递到reduce,然后通过reduce进行一次总的排序,但是这样做的要求是只能有一个reduce任务来完成。
程裕强
2022-05-06
2050
Hadoop基础教程-第7章 MapReduce进阶(7.6 MapReduce 二次排序)
MapReduce框架对处理结果的输出会根据key值进行默认的排序,这个默认排序可以满足一部分需求,但是也是十分有限的。在我们实际的需求当中,往往有要对reduce输出结果进行二次排序的需求。所谓二次排序,先按第1个字段进行排序,然后对第1个字段相同的数据,再按第2个字段进行排序。
程裕强
2022-05-06
1900
Hadoop基础教程-第7章 MapReduce进阶(7.5 MapReduce 连接)
连接操作,也就是常说的join操作,是数据分析时经常用到的操作。 比如有两份数据data1和data2,进行关键词连接是一个很通用的问题,如果数据量比较小,可以在内存中完成连接。如果数据量比较大,在内存进行连接操会发生内存溢出。MapReduce join就是用来解决大数据的连接问题。
程裕强
2022-05-06
1690
Hadoop基础教程-第7章 MapReduce进阶(7.4 自定义Key类型)
原文地址:http://blog.csdn.net/chengyuqiang/article/details/73441493
程裕强
2022-05-06
2110
Hadoop基础教程-第7章 MapReduce进阶(7.2 MapReduce工作机制)
原文地址:http://blog.csdn.net/chengyuqiang/article/details/73382034
程裕强
2022-05-06
2110
点击加载更多
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档