大数据那些事

118 篇文章
8.7K 次阅读
25 人订阅

全部文章

gzq大数据

用hutool进行RSA编码及解码

先通过网上随机生成一组密钥对(公钥与私钥),分别定义为PUBLIC_KEY、PRIVATE_KEY,随后进行如下操作(以下操作是公钥加密,私钥解密,如果想反过来...

6520
gzq大数据

记录完全分布式开发zookeeper hadoop flume kafka hbase

先写坑:练习都是在自己的用户下(非root用户),一定要随时注意自己的目录的权限,用sftp来上传 最终做成的样子 |

5220
gzq大数据

记录vmware的bug failed to install hcmon deriver

今天想换一个版本的vmware,先卸载了本机的vmware,但是在安装vmware的时候手贱,安装一半的时候点了个取消,再次安装时就报如上错误failed to...

5810
gzq大数据

springboot整合postgre和hbase实现互相交互功能

此项目是一个小测试,将postgre中的某些字段读取到hbase中变成某个表的列族,其中postgre和hbase已经在云服务器上建立好,用的docker技术,...

5620
gzq大数据

SpringBoot整合HBase将数据写入Docker中的HBase

在之前的项目里,docker容器中已经运行了HBase,现将API操作HBase实现数据的增删改查 通过SpringBoot整合Hbase是一个很好的选择 ...

9240
gzq大数据

docker中部署hadoop、zookeeper、hbase伪分布式并上传到阿里云远程仓库

docker有一点好处就是,一次完成,处处运行,所以此次并非直接在centos系统上直接运行hadoop,而是在docker容器(container)里进行安装...

6921
gzq大数据

记录yarn被攻击的解决办法

目前如果在腾讯云服务器上部署hadoop框架开启yarn时可能会被黑客攻击(8088yarn计算端口)。 我已经踩雷,出现的结果就是我的用户下的所有文件都被删...

10520
gzq大数据

用java程序完成从kafka队列读取消息到sparkstreaming再从sparkstreaming里把数据导入mysql中

有一段时间没好好写博客了,因为一直在做一个比较小型的工程项目,也常常用在企业里,就是将流式数据处理收集,再将这些流式数据进行一些计算以后再保存在mysql上,这...

6510
gzq大数据

用java程序操作hadoop,intellji IDEA和maven的使用

如果用hadoop直接操作,还要学一些专门的hadoop指令,其实也可以用java代码来操作hadoop 首先电脑上安装intellig IDEA,notep...

8510
gzq大数据

一个网卡下设置两个ip地址

7020
gzq大数据

防火墙(14)——实现路由转发功能(2)

在刚才的主机上,我已经安装好了httpd,可以通过:netstat -tunlp查看到:

6540
gzq大数据

防火墙(13)——实现路由转发功能(1)

首先我们要准备三台虚拟机: 我的第一台当做客户端:ip为192.168.19.180(NAT模式) 我的第二台当做转发功能端:首先得配置两个网卡,网卡的配置...

8830
gzq大数据

防火墙(12)——查看协议被连接的次数、通过连接状态来写规则

一般情况下,我们的默认policy都是DROP,所以我们要用如下命令去修改: iptables -P INPUT DROP iptables -P OU...

5920
gzq大数据

防火墙(10)——禁止含有某些敏感字段发出去、限制连接数量(单ip地址)

首先我们项禁止有关page的页面输出,先看apache的网页页面里面有page,所以使用如下语法禁止查看相关字段的数据包的输出:

7720
gzq大数据

LVS(5)——关于ipvsadm第一次启动失败的原因

每次在启动的时候都会去导入该文件下的文件,但是在我们的该目录下并没有这样一个文件:

8210
gzq大数据

LVS(4)——规则相关操作

我们会发现,它将我们的域名给解析了,并且保存的http其实就是默认的80端口 可以查看/etc/hosts文件:

5820
gzq大数据

LVS(3)——针对于真实主机的增删改操作

其中route代表的是directrouting调度方法,LVS一共用四种调度方法: NAT Tunneling DirectRouting FULLNA...

8920
gzq大数据

防火墙(9)——禁止某个时间段内访问我们的web

首先我们要准备一台linux虚拟机。 随后我们要在我们的虚拟机上安装apache服务:yum install httpd -y 随后可以curl以下我们的主...

6310
gzq大数据

LVS(2)——针对于LVS的增删改方法

(2)编辑集群 默认的调度算法是wlc,其实还有许多其他的调度算法,可以用如下方法去实现:

8210
gzq大数据

防火墙(8)——iptables有关网卡的禁止

ps:在设置完网卡信息以后,要使用systemctl restart network/service network restart。 要测试此项目,我们首先...

7110

扫码关注云+社区

领取腾讯云代金券