Ambari 是 hortonworks推出的管理监控Hadoop集群的Web工具，此处的Hadoop集群不单单指Hadoop集群，而是泛指hadoop 整个生态，包括Hdfs，yarn,Spark,Hive,Hbase,Zookeeper，druid等等，管理指的是可以通过Ambari对整个集群进行动态管理，包括集群的部署，修改，删除，扩展等，监控指Ambari实时监控集群的运行状况，包括运行内存，剩余内存，CPU使用率，节点故障等。所以通过Ambari可以简化对集群的管理和监控，让开发者更多的聚焦与业务逻辑。 Ambari + HDP介绍： Ambari：WEB应用程序，后台为Ambari Server，负责与HDP部署的集群工作节点进行通讯，集群控制节点包括Hdfs，Spark，Zk，Hive，Hbase等等。 HDP：HDP包中包含了很多常用的工具，比如Hadoop，Hive，Hbase，Spark等 HDP-Util：包含了公共包，比如ZK等一些公共组件。 老的集群部署方式： 1. 集群配置(免密登陆，静态IP，防火墙) 2. JDK，MySql 部署 (Hive相关表结构管理，如果没有用到Hive，无需安装) 3. Hadoop Hdfs 部署(修改配置) (分布式文件存储) 4. Hadoop Yarn 部署(修改配置) (MapReduce 任务调度) 5. (可选) Zookeeper部署，需要修改NameNode 和 ResourceManager 的配置文件 6. Hive 部署 (数据仓库，对Hdfs上保存的数据进行映射管理) 7. HBase 部署 (NoSQL数据库，进行数据存储) 8. (可选) Flume，Sqoop 部署(主要用于数据采集，数据迁移) 9. Spark 部署 (计算框架部署) 10. 后面还需要部署 监控框架等等， 部署准备：MySql,JDK,Hadoop,Hive,HBase,Zookeeper,Spark,Flume,Sqoop等 部署缺点：以上全部部署都是通过命令行来部署，麻烦复杂，容易出错，动态扩展较难，无集群监控 部署优点：整体可控，对集群内部运行逻辑比较清楚，只部署需要的服务，所以对集群要求(内存，CPU及硬盘) 可以不是很高 Ambari 集群部署方式： 1. 集群配置(免密登陆，静态IP，防火墙) 2. JDK，MySql 部署 (需要配置Ambari，Hive，Hbase等多张表) 3. 部署Ambari 服务 4. 通过Ambari Web工具 部署Hdfs，Spark，Hive，Zk，Hbase，Flume等，想怎么部署就怎么部署，鼠标选择服务和需要部署的节点即可 5. 通过Ambari Web工具进行集群监控，并且对警告及错误进行处理 部署准备：MySql,JDK,Ambari,HDP,HDP-Util，和上面老的部署方式相比，是不是少了很多 部署注意事项：通过Ambari部署集群对集群节点机器要求比较高，因为有好多关于AmbariServer服务会部署在同一个管理节点上，同时其他集群节点也会同时部署很多其他服务，这对节点的配置(CPU，内存，硬盘)要求比较高，可能运行不起来。 部署优点：部署简单，一键部署，方便监控，方便扩展，多集群同时管理 Ambari 部署步骤： 1. 单节点:Ntp,java,selinux,hosts,hostname,ip 2. 克隆节点，修改ip及hostname 3. 安装mysql，配置免密登陆 4. 安装httpd，配置本地ambari+HDP 的yum源 5. Ambari Server安装及初始化 6. Ambari Server 通过向导安装集群 7. Ambari 使用介绍 8. Hdfs HA的高可用 9. 接下来就可以根据我们的需求使用集群了，这部分后面会有专门章节针对Hadoop MR 和Spark进行详细解读。
大数据平台的开发环境搭建，我们前面已经说过了，需要搭建Hdfs，Yarn，Spark，HBase，Hive，ZK等等，在开发环境下搭建是用于开发测试的，全部部署在VM 虚拟机里面，小数据量小运算量还可以，数据量运算量一旦上来，虚拟机是玩不转的，这就牵涉到生产环境的Hadoop的生态搭建，难道也需要我们一步一步来搭建吗？ 几台还可以，那么上百台呢？ 难道也需要一台台搭建吗？ 显然不可以，有没有什么好的Hadoop生态的搭建工具呢？ 国外有俩家企业做了这些事，hortonworks公司推出的Ambari+HDP套件 和 Cloudrea公司推出的 CM+CDH 套件，不过这俩家公司 18年底合并了,不过这并不影响我们的使用。 2. CM+CDH介绍 CM是Cloudrea Manager的简称，是Cloudrea 提供的生产环境的Hadoop 生态部署工具，工具套件为CM+CDH,CM负责监控动态管理及部署Hadoop生态服务，CDH里面包含了绝大多数的Hadoop生态中的服务，包含Hdfs，Yarn，ZK，Hive，Hbase，Flume，Sqoop，Spark等。整体上与前面说所得Ambari + HDP类似。 CM+CDH有免费版和收费版，收费版当然功能更加强悍，比如支持回滚，滚动升级，支持Kerberos，SAML/LDAP支持，SNMP支持，自动化备份和灾难恢复，不过在我们看来，免费版已经够我们使用了。 这里简单和Ambari + HDP对已一下，CDH在部署Hadoop生态上，整体与HDP类似，通过WEB端动态部署Hadoop生态， Name Web Server Tools hortonworks Ambari HDP HDP-Util Cloudrea CM CDH CDH-Util CM+CDH套件组成 CM：WEB应用程序，后台为Ambari Server，负责与HDP部署的集群工作节点进行通讯，集群控制节点包括Hdfs，Spark，Zk，Hive，Hbase等等。 CDH：HDP包中包含了很多常用的工具，比如Hadoop，Hive，Hbase，Spark等 CDH-Util：包含了公共包，比如ZK等一些公共组件。 3. CM+CDH 部署
git clone https://github.com/hepyu/docker-ambari-2.7.git
1、服务器环境1.1 修改主机名称1.2 修改ip地址1.3 linux修改hosts并添加集群主机1.4 windows修改hosts文件并添加集群主机2、免密配置2.1 切换root用户2.2 生成公钥与私钥对2.3 将公钥复制到目标机器，并测试免密登录是否成功2.4 集群其他主机免密配置2.5 异常演示3、关闭防火墙3.1 防火墙设置3.2 设置之后3.3 设置之前4、禁用selinux4.1 selinux介绍4.2 设置selinux5、安装JDK5.1 上传jdk5.2 配置Java环境变量5.3 检查Java环境是否生效6、安装mysql6.1 mysql安装6.2 mysql设置6.3 修改密码6.4 上传驱动7、安装httpd服务7.1 httpd介绍7.1 安装httpd服务7.2 查看httpd服务7.3 tips:网页访问本地文件内容8、安装ntp服务8.1 ntp介绍8.2 安装8.3 修改ntp.conf配置8.4 时钟同步8.5 检查时钟同步效果9、搭建yum环境和创建ambari本地源9.1 安装yum工具9.2 安装9.3 创建repo文件9.4 分发repo文件9.4 生成本地yum源10、安装ambari10.1 在mysql中创建ambari用户和授权10.2 安装ambari10.2 初始化配置10.3 初始化ambari数据库10.4 启动ambari10.5 报错及解决10.6 ambari页面配置步骤10.6.1 第1步 启动安装10.6.2 第2步 输出集群名称10.6.3 第3步 选择版本、选择本地仓库及路径10.6.4 第4步 输入集群节点名称、私钥10.6.5 节点认证10.6.6 选择服务10.6.7 分配主节点10.6.8 分配从节点和客户端10.6.9 自定义服务10.6.10 确认配置10.6.11 安装部署11、启动服务11.1 java权限问题11.2 hive元数据初始化
执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
如果Greenplum是单节点的安装或者想单台机器运行pxf，可以把cluster命令是pxf init/pxf start/pxf stop等
1. 服务器准备 1 主机名 1.1 修改hostname
CDP 私有云基础版是 Cloudera Data Platform (CDP) 的本地版本。这款产品结合了 Cloudera Enterprise Data Hub 和 Hortonworks Data Platform Enterprise 的优点以及整个堆栈的新功能和增强功能。这种统一分发是一个可扩展且可定制的平台，您可以在其中安全地运行多种类型的工作负载。CDP 是一个简单、快速、安全的企业分析和管理平台，具有以下功能：
上篇分享HDP3.1.4对照2.6.x的新特性，本篇文字整体分享下HDP3.1.4+Ambari2.7.4集群部署。各位看官走着~
我这里创建了一个普通用户名为admin，并且具有sudo权限，4个节点都需要有这个用户。
Centos 最小化安装：各个节点进行：网络配置(Nat 模式且可以共享主机网络)
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
本文介绍了从Ambari迁移到HDP的步骤和注意事项。主要包括了升级前检查、配置迁移、数据迁移、应用迁移、高可用和性能优化、验证和测试、以及常见问题。
OushuDB是由Apache HAWQ创始团队基于HAWQ打造的新一代数据仓库(New Data Warehouse)。该产品采用了存储与计算分离技术架构，具有MPP的所有优点，还具有弹性，支持混合工作负载和高扩展性等优点。作为HAWQ的增强版，OushuDB遵循ANSI-SQL标准，兼容Oracle、Greenplum Database和PostgreSQL，提供PB级数据交互式查询能力，提供对主要BI工具的描述性分析和AI支持。
（一）准备工作 1、准备几台机器 10.1.51.100 ambariserver 本地mirrorserver及ambari server都在这一台机器 10.1.51.10 master 10.1.51.11 slave1 10.1.51.12 slave2 2、都创建管理用户hadoop 3、做ssh免密码登录(ambariserver到其他机器的，hadoop用户) ssh-keygen cd .ssh cat id_rsa.pub >> authorized_keys chmod 700 ~/.ssh chmod 600 ~/.ssh/authorized_keys 注意，免密码一定要互相登陆一次，让他记住密码 4、设置sudo免密码(hadoop用户)---后续所有操作都在hadoop用户下去做 在各节点上进入root: visudo 加入如下内容： hadoop ALL=(ALL) NOPASSWD: ALL 5、Maximum Open File Descriptors(10000) 检查语句 ulimit -Sn ulimit -Hn sudo vi /etc/security/limits.conf @hadoop soft nproc 262144 @hadoop hard nproc 262144 @hadoop soft nofile 262144 @hadoop hard nofile 262144 sudo vi /etc/security/limits.d/90-nproc.conf @hadoop soft nproc 262144 以上改动重启才能生效，最好同时执行ulimit -u 10240 命令，是其立即生效。（ulimit 命令很多啊） 6、Check Existing Package Versions 7、Set up Service User Accounts(设置服务用户账户) http://docs.hortonworks.com/HDPDocuments/Ambari-2.0.0.0/Ambari_Doc_Suite/ADS_v200.html#ref-70627b43-7d78-4cbb-8df8-e3f43cbd8422 hdp的各个服务运行在不同的linux账户下，如果你创建了这些账户，ambari就会直接用，否则他会自动创建，但是自动创建的用户不知道密码是什么，但是还是可以 sudo su hdfs进入到这些用户下，不过这样就不方便了。 比较好的办法是自己创建的账户，使用ambari安装组件时选择自定义账户即可(UID >= 1000)。 8、Enable NTP on the Cluster and on the Browser Host 集群各节点，包括安装ambari webui的机器都得开启ntp服务已同步时间，如果有条件，局域网应该有ntp服务器 To check that the NTP service is on, run the following command on each host:chkconfig --list ntpd To set the NTP service to start on reboot, run the following command on each host:chkconfig ntpd on To turn on the NTP service, run the following command on each host:service ntpd start 9、Check DNS(可以选择10) 集群所有机器必须配置正向和反向DNS,如果条件不允许，就设置/etc/hosts文件，每个节点都得改 10、/etc/hosts 1.2.3.4 <fully.qualified.domain.name> //一行一个 注意：这两行千万不要删除 127.0.0.1 localhost.localdomain localhost ::1 localhost6.localdomain6 localhost6 vi /etc/sysconfig/network NETWORKING=yesNETWORKING_IPV6=yes HOSTNAME=<fully.qualified.domain.name> 11、关闭防火墙 12、Disable SELinux and PackageKit and check the umask Value set SELINUX=disabled in /etc/selinux/config sudo vi /etc/yum/pluginconf.d/refresh-packagekit.conf 设置：enabled=0 Ambari supports a umask value
以下，都是收集于网友、群友安装 ambari 或部署 hdp 集群时出现的问题，挤时间写了个疑难问题解答汇总，希望能够快速帮小伙伴们定位解决问题。觉得文章靠谱的小伙伴，希望能转发、点赞、在看三连走一波~
https://www.psvmc.cn/article/2022-03-31-bigdata-environment.html
这篇文章之前也写过类似的，已经有很多人在看了，也有很多朋友在这过程中碰到了困难，私聊我。为了提高各自的工作效率，所以我又将文章完善了一版，这应该算是第三版了。
一、HAWQ高可用简介 HAWQ作为一个传统数仓在Hadoop上的替代品，其高可用性至关重要。通常硬件容错、HAWQ HA、HDFS HA是保持系统高可用时需要考虑并实施的三个层次。另
如果手工安装Hadoop集群,在管理和后继部署中，越来越多的问题不断出现，主要如下：
Apache Ambari是一个基于Web的支持Apache Hadoop集群的供应、管理和监控的开源工具， Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。提供Web UI进行可视化的集群管理，简化了大数据平台的安装、使用难度。
使用 ambari 来搭建 hdp 集群，前前后后搭了不下10遍，之前一直没有完整的总结整个过程，最近有空正好记录一下。
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/wzy0623/article/details/80194003
本文主要讲解如何部署Kylin集群，采取多个Kylin实例共享HBase存储的模式，如果需要事先了解Kylin基本概念的朋友可以查看《Apache Kylin基本原理及概念》。
前面已经完成了HAWQ的安装部署，也了解了HAWQ的系统架构与主要组件，下面开始使用它。HAWQ作为Hadoop上的一个服务提供给用户，与其它所有服务一样，最基本的操作就是启动、停止、
baseurl=http://192.168.199.50/ambari/centos7/
参考网址： http://www.ibm.com/developerworks/cn/opensource/os-cn-bigdata-ambari/index.html http://docs.hortonworks.com/HDPDocuments/Ambari-2.4.2.0/bk_ambari-installation/content/index.html
手动安装Hadoop的朋友都知道，这是一个痛苦的过程。一天时间，你能够把上千台机器全部安装完成么？包括Hive、Spark、Hbase等。
注：主机名修改后需要重启机器才可彻底生效。如果用户不想重启，可使用命令 hostnamectlset-hostname node1.ambari.com来修改主机名，可使用命令 hostname来检验主机名是否修改成功。这种修改方式只是暂时的，待机器重启后就恢复原样 localhost了。
7月13日，Hortonworks在其官网宣布发布HDP3.0，相关介绍可以参考Fayson昨天的文章《Hortonworks正式发布HDP3.0》，最近又更新到了HDP3.0.1。本文档Fayson主要描述如何在Redhat7.4安装HDP3.0.1。HDP与CDH的安装步骤一致，主要包括以下四部分：
Apache Ambari是对Hadoop进行监控、管理和生命周期管理的基于网页的开源项目。它也是一个为Hortonworks数据平台选择管理组建的项目。Ambari支持管理的服务有： Apache HBase Apache HCatalog Apache Hadoop HDFS Apache Hive Apache Hadoop MapReduce Apache Oozie Apache Pig Apache Sqoop Apache Templeton Apache Zookeeper
Apache Ambari是对Hadoop进行监控、管理和生命周期管理的基于网页的开源项目。它也是一个为Hortonworks数据平台选择管理组建的项目。Ambari支持管理的服务有：
时不时就有小伙伴微信里面问我有没有做过，为已有的 ambari 集群修改主机名？之前是有修改过 ip 的，主机名还真没修改过，只能给他提供一份官方的步骤：
大数据平台，涉及到很多软件产品，如果刚刚入行Hadoop，直接下载软件包，手动配置文件的方式，并没有那么直观和容易。
安装过 hadoop 集群的人都应该清楚，hadoop 生态从安装、配置到后期运维是一个非常艰辛的过程，一般来说安装 hadoop 可能就需要几天时间，运维一个小型集群同样需要几个人。ambari 和 cloudera Manager 这两个系统，目的就是简化 hadoop 生态集群的安装、配置，同时提高 hadoop 运维效率，以及对 hadoop 集群进行监控。
是由于系统的python版本过高，导致验证ssl失败，将python降级为2.7.5以下或修改每个安装节点的python证书验证配置文件，执行以下命令修改：
5.集群完整性检查，包括 HDFS 文件系统、MapReduce、Hive 等是否可以正常运行。
下载链接: https://pan.baidu.com/s/1rlqZejpZZqio9RPzgnGOEg 提取码: j47n ；内有jdk-8u151-linux-x64.tar.gz和mysql-connector-java.jar文件。
在ambari的setup中我们可以选择使用默认的postgresql，也可以自定义使用其他数据库，此处选用mariadb，便于后期管理维护
【大数据入门：手把手教你搭建Hadoop】Ambari2.7.4+HDP3.1.4+CentOS7离线搭建详细图文教程（上）
以ubuntu-1804-2为server，在ubuntu-1804-2进行如下修改
我们常使用的Hadoop平台包括Apache Hadoop，CDH和HDP，有时我们会碰到需要迁移平台的情况，举个例子，比如你已经一直在使用Apache Hadoop2.4，近期看到CDH6附带Hadoop3发布了，想迁移到CDH并且做整个平台的所有组件升级。平台迁移和平台升级的方式基本一样的，一般有2种大的选择，第一种是原地升级即直接在原有平台上操作，该办法操作效率较高，马上看到效果，但往往风险较高，比如升级失败回滚方案不完善，跨大版本比如Hadoop2到Hadoop3可能HDFS还有丢数据的风险；第二种是拷贝数据的方式升级，需要额外的服务器资源，会新搭平台，然后把旧的平台的数据拷贝过去，数据拷贝完毕后，再把旧集群的机器下线了慢慢加入到新集群，该方法一般实施周期较长，但是风险较小。根据实际情况可以选择不同的方式来进行平台迁移或者平升级，另外对于两种方案还可以具体细化分类出不同的方案，比如第一种方案考虑提前备份数据或者备份关键数据等，本文Fayson不做细化讨论。
本章我们开始正式搭建大数据环境，目标是构建一个稳定的可以运维监控的大数据环境。我们将采用Ambari搭建底层的Hadoop环境，使用原生的方式搭建Flink，Druid，Superset等实时计算环境。使用大数据构建工具与原生安装相结合的方式，共同完成大数据环境的安装。
如上图所示，Ambari 部署 HDP 时，Select Version 时页面数据是哪来的呢？今天就来解析下。
Fayson为了方便接下来从HDP迁移到CDH的工作，这里先补充一篇如何禁用HDP的HDFS的HA，从HDP原地迁移到CDH，如果你的原HDP集群有HA的话，为了因为Zookeeper，JournalNode配置带来的不适应，先取消HA会更保险一些。这里还是要吐槽一下HDP的HDFS HA功能，使用Ambari可以界面化的启用HA，但是要禁用会非常非常麻烦，需要手动做很多个步骤才能最终取消成功。Cloudera Manager还是要方便很多，这一块可以参考Fayson之前的文章《如何使用Cloudera Manager启用HDFS的HA》和《如何使用Cloudera Manager禁用HDFS HA》。本文Fayson主要是介绍如何手动禁用HDP的HDFS的HA。前置条件当然是你使用Ambari开启了HDFS的HA了，如何开启Fayson在本文就不会再做描述了。
最新的CDH已经没有了社区版，也就是说以后使用新版本的Cloudera Manager和CDH都是要收费的，这对于很多小公司来说，可能无法承受。转向Ambari是他们的一个可选项。Ambari是Apache的一个顶级开源项目，开源是其最大的优势，开源也意味着Ambari可以灵活地进行扩展，集成更多的数据组件，对于需要定制化和二次开发的企业来说，Ambari也极具吸引力。
之前一直用的开源社区的版本，最近突然想到找一个好的商业版本用着，然后一直使用，然后就定上了hdp和cdh，都装上去了，但是cdh使用难度太大了，和开源版本的差距比较大，api不会使用，需要学它的cdk。hdp和开源版差不多，也是经过了优化了的，也是开源的，有一个管理界面，比社区版要好，这个安装过程废了很大的劲儿才搞成功的，发出来跟大家分享一下。 hdp的安装折腾了好久，它的下载地址网址不像CDH那么难找，不过它的设置相对CDH简单很多，一键式安装，而且都是免费的软件。 1.首先要下载它们的安
该文是关于介绍如何使用 Elasticsearch 进行日志搜索的内容。文章首先介绍了 Elasticsearch 的基本概念和架构，然后详细讲解了如何使用 Elasticsearch 进行日志搜索。文章还介绍了 Elasticsearch 的各种插件和工具，以及如何在实践中进行配置和部署。
今天又有朋友咨询我 ambari 相关的问题，注册主机步骤出错。他说他试了好几次，无奈只能加我好友来寻求帮助。
我们本篇文章主要讲述如何去同步远程服务器中的HDP数据源到本地，并将其作为局域网yum安装源。
领取专属 10元无门槛券
手把手带您无忧上云
