Jed的技术阶梯-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

Jed的技术阶梯

专栏成员

220

文章

384124

阅读量

48

订阅数

018.访问者模式

网络安全数据库 sql 编程算法 windows

现在有这样一个需求，我要把公司中的所有人员信息都打印汇报上去，每一个员工都有这些信息：名字、性别、薪水，我们来看类图：

2021-01-06

3590

001.企业级CentOS7.6操作系统的安装

linux centos windows tcp/ip 存储

在选择好系统镜像之后，如果选择安装程序光盘映像文件，会自动安装系统，虽然方便，但是会安装太多的服务和程序，并且会自动分区，所有我们选择稍后安装系统来手动的安装系统。

2020-03-25

1.3K0

001. Flink产生的背景以及简介

windows spark 数据处理大数据

实时处理是指从数据产生到根据该数据计算的结果产生之间的这段延迟可以满足业务的需求，假如业务需求是延迟不超过10ms，而你的处理延迟为15ms，就不能算实时处理，而假如业务要求处理数据的延迟为30min，而你的数据可以在20min内计算出来，这也算实时处理。

2019-08-02

2.1K0

002. Flink入门案例-WordCount批处理

1. WordCount批处理Java版 package com.bairong.flink.java; import org.apache.flink.api.common.functions.FlatMapFunction; import org.apache.flink.api.java.ExecutionEnvironment; import org.apache.flink.api.java.operators.AggregateOperator; import org.apache.flink

2019-07-25

8580

zookeeper-3.4.10的安装配置

zookeeper hadoop windows linux http

leader：能接收所有的读写请求，也可以处理所有的读写请求，而且整个集群中的所有写数据请求都是由leader进行处理 follower：能接收所有的读写请求，但是读数据请求自己处理，写数据请求转发给leader observer：跟follower的唯一的区别就是没有选举权和被选举权因为hadoop01、hadoop02和hadoop03具有选举权，所以它们的角色是变化的，当leader宕机，会重新选举leader，而hadoop04的角色是observer，所以它没有选举和被选举权，只负责处理请求要求：整个zookeeper集群中可以参与选举的节点的个数为奇数个，因为zookeeper的选举机制为半数机制，即超过一半的节点投票给某个节点，该节点就是新的leader

2018-09-13

1.7K0

Hadoop高可用(HA)集群搭建

hadoop windows linux jdk zookeeper

HA：High Available，高可用在Hadoop 2.0之前，在HDFS集群中NameNode存在单点故障 (SPOF：A Single Point of Failure) 对于只有一个NameNode的集群，如果NameNode机器出现故障(比如宕机或是软件、硬件升级)，那么整个集群将无法使用，直到NameNode重新启动

2018-09-13

4.3K0

Hadoop伪分布式集群搭建

hadoop 分布式 linux windows jdk

---- 软件准备一台Linux虚拟机我用的CentOS-6.6的一个虚拟机，主机名为repo 参考在Windows中安装一台Linux虚拟机该虚拟机中安装了JDK 参考在Linux中安装JDK 该虚拟机可以免秘钥登录自身参考配置各台虚拟机之间免秘钥登录 hadoop安装包下载地址：https://mirrors.aliyun.com/apache/hadoop/common/ 我用的hadoop2.6.5 ---- 1. 把hadoop安装包上传到服务器并解压 [root@r

2018-09-13

1K0

Hadoop完全分布式集群搭建

hadoop 分布式 windows linux jdk

集群中只有mapred-site.xml.template，可以从这个文件进行复制

2018-09-13

8950

配置各台虚拟机之间免秘钥登录

windows linux ssh 安全 shell

/root/.ssh目录原先不存在，使用ssh命令登录自身后就可以自动创建.ssh目录

2018-09-13

2K0

Hbase伪分布式集群搭建

hbase 分布式 linux windows http

---- 环境准备一台Linux虚拟机我用的CentOS-6.6的一个虚拟机，主机名为repo 参考在Windows中安装一台Linux虚拟机 hbase安装包下载地址：https://mirrors.aliyun.com/apache/hbase/ 我用的hbase-1.2.6 ---- 1. 把hbase安装包上传到服务器并解压 [root@repo ~]# tar -zxvf hbase-1.2.6-bin.tar.gz -C /opt/ 2. 配置HBASE_HOME环境变量 [r

2018-09-13

8340

Hbase完全分布式集群搭建

hbase 分布式 hadoop windows linux

---- 环境准备服务器集群我用的CentOS-6.6版本的4个虚拟机，主机名为hadoop01、hadoop02、hadoop03、hadoop04，另外我会使用hadoop用户搭建集群(生产环境中root用户不是可以任意使用的) 关于虚拟机的安装可以参考以下两篇文章：在Windows中安装一台Linux虚拟机通过已有的虚拟机克隆四台虚拟机服务器集群中已经搭建了hadoop集群(完全分布式和HA集群都可以) 参考 Hadoop完全分布式集群搭建 Hadoop高可用(HA)集群

2018-09-13

2.7K0

Spark伪分布式集群搭建

spark 分布式 linux windows http

---- 软件准备一台Linux虚拟机我用的CentOS-6.6的一个虚拟机，主机名为repo 参考在Windows中安装一台Linux虚拟机 spark安装包下载地址：https://mirrors.aliyun.com/apache/spark/ 我用的spark-2.2.0-bin-hadoop2.7.tgz 要根据自己机器中的hadoop版本选择对应的spark版本 ---- (1) 把安装包上传到服务器并解压 [root@repo soft]# tar -zxvf spark-2

2018-09-13

1.6K0

Spark完全分布式集群搭建

spark 分布式 hadoop windows linux

比如分别把这两个文件重命名为start-spark-all.sh和stop-spark-all.sh 原因：如果集群中也配置HADOOP_HOME，那么在HADOOP_HOME/sbin目录下也有start-all.sh和stop-all.sh这两个文件，当你执行这两个文件，系统不知道是操作hadoop集群还是spark集群。修改后就不会冲突了，当然，不修改的话，你需要进入它们的sbin目录下执行这些文件，这肯定就不会发生冲突了。我们配置SPARK_HOME主要也是为了执行其他spark命令方便。

2018-09-13

1.3K0

Spark HA集群搭建

spark hadoop windows linux zookeeper

比如分别把这两个文件重命名为start-spark-all.sh和stop-spark-all.sh 原因：如果集群中也配置HADOOP_HOME，那么在HADOOP_HOME/sbin目录下也有start-all.sh和stop-all.sh这两个文件，当你执行这两个文件，系统不知道是操作hadoop集群还是spark集群。修改后就不会冲突了，当然，不修改的话，你需要进入它们的sbin目录下执行这些文件，这肯定就不会发生冲突了。我们配置SPARK_HOME主要也是为了执行其他spark命令方便。

2018-09-13

1.4K0

Kafka单节点与伪分布式集群搭建

分布式 hadoop zookeeper windows linux

所谓Kafka伪分布式，就是一个节点启动多个Kafka服务，只需要新增加server.properties配置文件，并按照新的配置文件再启动一个服务即可，当然数量可以看自己心情，我这里就再启动一个kafka服务

2018-09-13

2.2K0

Kafka集群搭建

hadoop zookeeper windows linux http

---- 环境准备服务器集群我用的CentOS-6.7版本的3个虚拟机，主机名为hadoop01、hadoop02、hadoop03，这3台虚拟机既是zookeeper集群，又是kafka集群(但在生产环境中，这两个集群一般搭建在不同的机架中)，另外我会使用hadoop用户搭建集群(生产环境中root用户不是可以任意使用的) 关于虚拟机的安装可以参考以下两篇文章：在Windows中安装一台Linux虚拟机通过已有的虚拟机克隆四台虚拟机 Zookeeper集群参考zookeeper-3.

2018-09-13

1.4K0

《Maven实战》全书总结

maven jvm linux bash windows

把MAVEN_HOME/conf/seettings.xml cp 到 ~/.m2/下，在.m2下的settings.xml中所作的配置就是用户级别的配置，而直接编辑MAVEN_HOME/conf/seettings.xml所作的配置是全局的配置

2018-09-13

1.9K0

没有更多了

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态