参考博客:linux下ElasticSearch.6.2.2集群安装与head、Kibana、X-Pack..插件的配置安装
其中模板虚拟机的安装部署可参见:「VMware安装Linux CentOS 7.7系统」
rsync 是一款开源的、快速的、多功能的、可实现全量及增量的本地或远程数据同步备份的优秀工具。Rsync软件适用于unix/linux/windows等多种操作系统平台。
在实际使用中并不需要对ansible配置进行修改,或者说只有需要的时候才修改ansible配置。
[root@mini01 ~]# cat /etc/hosts 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 10.0.0.11 mini01 10.0.0.12 mini02 10.0.0.13 mini03 10.0.0.14 mini04 10.0.0.15 mini05
形成良好的基础编码规范与风格,对于自己以及团队协作都有很大的好处。本文主要介绍pylint工具的使用 ,来协助自己规范代码。
如果想了解curl选项的详细说明,请参考前一篇文章「Linux curl 命令详解」。
hadoop-ha严格来说应该分成各个组件的HA机制——HDFS的HA、YARN的HA
上一篇文章我们安装了SonarQube-7.3,让我们可以在页面查看代码质量。但是具体的扫描工作则需要SonarQube Scanner完成。
1. 生产实践 1 1.每个ES上面都启动一个Kibana 2 2.Kibana都连自己的ES 3 3.前端Nginx负载均衡、ip_hash + 验证 + ACL 2. kibana部署 2.1. 软件部署 1 [yun@mini01 software]$ pwd 2 /app/software 3 [yun@mini01 software]$ tar xf kibana-6.3.2-linux-x86_64.tar.gz 4 [yun@mini01 software]$ mv kibana-6.
但我不希望它仅仅是一个博客,而是能够成为一个处于自己现实生活之外、自由、实验、不用畏惧他人眼光甚至可以独断专行的地方。
如果启动spark shell时没有指定master地址,但是也可以正常启动spark shell和执行spark shell中的程序,其实是启动了spark的local模式,该模式仅在本机启动一个进程,没有与集群建立联系。
Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。
3、 该用户也被 ansible 使用,因为几乎所有的生产环境都是禁止 root 远程登录的(因此该 yun 用户也进行了 sudo 提权)。
1、集群启动后,可以查看文件,但是上传文件时报错,打开web页面可看到namenode正处于safemode状态,怎么处理?
Sonar 是一个用于代码质量管理的开放平台。通过插件机制,Sonar 可以集成不同的测试工具,代码分析工具,以及持续集成工具。与持续集成工具(例如 Hudson/Jenkins 等)不同,Sonar 并不是简单地把不同的代码检查工具结果(例如 FindBugs,PMD 等)直接显示在 Web 页面上,而是通过不同的插件对这些结果进行再加工处理,通过量化的方式度量代码质量的变化,从而可以方便地对不同规模和种类的工程进行代码质量管理。
JavaEE:后台应用都会涉及Linux系统、应用程序的部署、运维、分布式集群、大数据、云计算、……
ELK官网https://www.elastic.co/products 分别提供包进行下载安装。
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/sinat_35512245/article/details/76692810
安装 pip install bypy 📷 然后,登录 bypy info 📷 复制这个连接,打开并登录百度账户 进行授权 bypy -h 帮助信息 root@HeannysPi:~# bypy -h usage: bypy [-h] [-V] [-d] [-v] [-r RETRY] [-q] [-t TIMEOUT] [-s SLICE] [--chunk CHUNK] [-e] [-f] [--no-resume-download] [--includ
1. 主机规划 主机名称 外网IP 内网IP 操作系统 备注 安装软件 mini01 10.0.0.11 172.16.1.11 CentOS 7.4 ssh port:22 Hadoop 【NameNode SecondaryNameNode】 mini02 10.0.0.12 172.16.1.12 CentOS 7.4 ssh port:22 Hadoop 【ResourceManager】 mini03 10.0.0.13 172.16.1.13 CentOS 7.4 ssh port:22 Ha
分而治之:将大文件、大批量文件,分布式存放在大量服务器上,以便于采取分而治之的方式对海量数据进行运算分析;
我们如果使用Dockerfile来构建Docker镜像,如果一不小心就会导致镜像大小超过1G,这是非常恐怖的。一般也都是好几百兆。较大的镜像往往会导致移植,迁移缓慢。Dockerfile就像代码一样需要持续去进行优化。使用下面的4个优化方案,可以大幅度的减小镜像的大小。
点击流日志每天都10T,在业务应用服务器上,需要准实时上传至数据仓库(Hadoop HDFS)上
本文章是在 Hadoop2.7.6_07_HA高可用 的基础上完成的,所以不清楚的可参见这篇文章。
在一个完整的大数据处理系统中,除了hdfs+mapreduce+hive组成分析系统的核心之外,还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统,而这些辅助工具在hadoop生态体系中都有便捷的开源框架,如图所示:
SNAT(Source Network Address Translation 源地址转换)是Linux防火墙的一种地址转换操作,也是iptables命令中的一种数据包控制类型,其作用是根据指定条件修改数据包的源IP地址。 DNAT(Destination Network Address Translation 目标地址转换)是Linux防火墙的另一种地址转换操作,同样也是iptables命令中的一种数据包控制类型,其作用是可以根据指定条件修改数据包的目标IP地址和目标端口。
1. 主机规划 主机名称 外网IP【外部访问】 内网IP 操作系统 备注 安装软件 docker01 10.0.0.11 172.16.1.11 CentOS 7.2 zookeeper-3.4.5【集群】 docker02 10.0.0.12 172.16.1.12 CentOS 7.2 zookeeper-3.4.5【集群】 docker03 10.0.0.13 172.16.1.13 CentOS 7.2 zookeeper-3.4.5【集群】 docker04 10.0.0.14 172.16
该文章是基于 Hadoop2.7.6_01_部署 、 Hive-1.2.1_01_安装部署 进行的
其中zookeeper的安装可参见:Hbase-2.0.0_01_安装部署
最近给一台服务器升级PHP,默认安装的系统是RedHat Linux Enterpris(企业版)5.6, 自带的PHP是5.1.6,mysql是5.0.9,但安装最新的phpMyAdmin要求PHP最低都要5.2版本。所以要升级PHP
China Alibaba Cloud Computing http://mirrors.aliyun.com/centos/ 阿里巴巴 China Beijing Institute of Technology http://mirror.bit.edu.cn/centos/ 北京理工大学 China Beijing Teletron Telecom Engineering http://mirrors.btte.net/centos/ 北京电子电信工程 China BitComm Ltd. http://mirrors.pubyun.com/centos/ 公云 China CDS China http://mirrors.yun-idc.com/centos/ ftp://mirrors.yun-idc.com/centos/ rsync://mirrors.yun-idc.com/centos/ 首都在线 China China University of Geosciences http://mirrors.cug.edu.cn/centos/ 中国地质大学 China Dalian Neusoft University of Information http://mirrors.neusoft.edu.cn/centos/ ftp://mirrors.neusoft.edu.cn/centos/ 东软 China Grand Cloud http://mirrors.grandcloud.cn/centos/ 盛大云 China Huazhong University of Science and Technology http://mirrors.hust.edu.cn/centos/ rsync://mirrors.hust.edu.cn/centos/ 华中科技大学 China NetEase http://mirrors.163.com/centos/ 网易 China Northeastern University, Shenyang Liaoni http://mirror.neu.edu.cn/centos/ 东北大学 China Qiming College of Huazhong University of Science and Technology http://mirrors.hustunique.com/centos/ rsync://mirrors.hustunique.com/centos/ 华中科技大学 China Sohu Inc, Beijing P.R. China http://mirrors.sohu.com/centos/ 搜狐 China The Linux open source community mirror http://mirrors.skyshe.cn/centos/ rsync://mirrors.skyshe.cn/centos/ 中国linux开源社团 China University of Science and Tech of China http://centos.ustc.edu.cn/centos/ 中国科技大学 China - Hong Kong Web Services Ltd. http://mirror.vpshosting.com.hk/pub/linux/centos/ ftp://mirror.vpshosting.com.hk/pub/linux/centos/ Hong Kong 01LINK NETWORK SERVICES LIMITED http://centos.01link.hk/ ftp://centos.01link.hk/ rsync://centos.01link.hk/centos/ Hong Kong CommuniLink Internet Limited http://centos.communilink.net/ ftp://centos.communilink.net/centos/ Hong Kong i-System Technology Limited http://centos.uhost.h
更换国内源可以加快软件包的安装 腾讯云源:https://mirrors.tencent.com/help/centos.html
更改文件权限为644,文件夹为755 find ./ -type f -print |xargs chmod 644;find ./ -type d -print|xargs chmod 755
可以去这个 https://download.docker.com/linux/static/stable/x86_64/ 下载.tgz格式的docker离线安装包 https://download.docker.com/linux/centos/7/x86_64/stable/Packages/下载.rpm格式的docker离线安装包 或者下载我演示的docker-ce-17.12.1.ce-1.el7.centos.x86_64.rpm版本
PAM是一组安全机制的模块,系统管理员可以用来轻易地调整服务程序的认证方式,而不必对应用程序进行任何修改。
业务组件包括:MySQL、memcached、nginx、PHP、haproxy、keepalived
深知广大爱好Java的人学习是多么困难,没视频没资源,上网花钱还老被骗。为此我呕心沥血整理了这套Java教程,不管你是不懂电脑的小白,还是已经步入开发的大牛,这套路线路你都值得拥有,小白看上面的视频可以成功学会Java并且顺利工作,大神看了上面的资源肯定会谆谆乐道,教程的宗旨就是分享,专业,便利,让喜爱Java的人,都能平等的学习。
之前《Saltstack_使用指南》详细讲解了saltstack的使用。那么从这节开始实战讲解,当然不会再像之前那样详细说明了。只是讲一些系统规划之类的信息。
领取专属 10元无门槛券
手把手带您无忧上云