OushuDB是由Apache HAWQ创始团队基于HAWQ打造的新一代数据仓库(New Data Warehouse)。该产品采用了存储与计算分离技术架构，具有MPP的所有优点，还具有弹性，支持混合工作负载和高扩展性等优点。作为HAWQ的增强版，OushuDB遵循ANSI-SQL标准，兼容Oracle、Greenplum Database和PostgreSQL，提供PB级数据交互式查询能力，提供对主要BI工具的描述性分析和AI支持。
本文介绍了从Ambari迁移到HDP的步骤和注意事项。主要包括了升级前检查、配置迁移、数据迁移、应用迁移、高可用和性能优化、验证和测试、以及常见问题。
我们本篇文章主要讲述如何去同步远程服务器中的Ambari数据源到本地，并将其作为局域网yum安装源。
一、准备工作： 1.基本工具 yum rpm scp curl wget pdsh 前几个一般系统都自带了，pdsh需要自己装 ： yum install pdsh 这个命令没有成功执行 自己下载pdsh.tar.bz2，用tar -jxvf filename.tar.bz解压。之后进入filename文件夹，执行./configure,然后执行make和make install命令。安装结束。
四年多前，入职一家大厂大数据部门主要工作就是从ambari集成大数据组件服务开始做起，当时需要把机器学习平台集成到大数据平台，当时把ambari进行了大量的修改，形成了一套完整的私有化平台，不仅是换了一层皮肤，而且把企业当中自研的组件和服务也集成进来，还在上面加入了用户登陆体系、安全认证体系、监控告警体系、license管理、自动增机器，在我看来应该是ambari最深入使用的一波人了。
使用 ambari 来搭建 hdp 集群，前前后后搭了不下10遍，之前一直没有完整的总结整个过程，最近有空正好记录一下。
该版本相对 2.7.5 版本以来，共有 26 个 contributors 提交了 114 个 commits 以及修改了 557 个文件。详情见：https://github.com/apache/ambari/compare/release-2.7.5...release-2.7.6
Ambari 是什么 Ambari 跟 Hadoop 等开源软件一样，也是 Apache Software Foundation 中的一个项目，并且是顶级项目。目前最新的发布版本是 2.0.1，未来不久将发布 2.1 版本。就 Ambari 的作用来说，就是创建、管理、监视 Hadoop 的集群，但是这里的 Hadoop 是广义，指的是 Hadoop 整个生态圈（例如 Hive，Hbase，Sqoop，Zookeeper 等），而并不仅是特指 Hadoop。用一句话来说，Ambari 就是为了让
https://www.psvmc.cn/article/2022-03-31-bigdata-environment.html
Ambari是hadoop分布式集群配置管理工具，是由hortonworks主导的开源项目。它已经成为apache基金会的孵化器项目，已经成为hadoop运维系统中的得力助手，引起了业界和学术界的关注。
当我们为了体验ambari安装很多服务时，因为安装过多，导致机器很卡，或者暂时用不到，还容易除错，那么我来教你如何卸载。
1. 服务器准备 1 主机名 1.1 修改hostname
如果手工安装Hadoop集群,在管理和后继部署中，越来越多的问题不断出现，主要如下：
时不时就有小伙伴微信里面问我有没有做过，为已有的 ambari 集群修改主机名？之前是有修改过 ip 的，主机名还真没修改过，只能给他提供一份官方的步骤：
执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
本文由 伯乐在线 - zhique 翻译，xxmen 校稿。未经许可，禁止转载！ 英文出处：Ram Sriharsha。欢迎加入翻译组。 Apache Spark 为数据科学提供了许多有价值的工具。随着 Apache Spark 1.3.1 技术预览版的发布，强大的 Data Frame API 也可以在 HDP 上使用数据科学家使用数据挖掘和可视化来帮助构造问题架构并对学习进行微调。Apache Zeppelin 正好能够帮他们做到这些。 Zeppelin 是一个基于 Web 的 notebook 服务器
Ambari 跟 Hadoop 等开源软件一样,也是 Apache Software Foundation 中的一个项目,并且是顶级项目.目前最新的发布版本是 2.1.2. 就 Ambari 的作用来说,就是创建,管理,监视 Hadoop 的集群,但是这里的 Hadoop 是广义,指的是 Hadoop 整个生态圈(例如 Hive,Hbase,Sqoop,Zookeeper 等),而并不仅是特指 Hadoop. 用一句话来说,Ambari 就是为了让 Hadoop 以及相关的大数据软件更容易使用的一个工具. 说到这里,大家就应该明白什么人最需要 Ambari 了.那些苦苦花费好几天去安装,调试 Hadoop 的初学者是最能体会到 Ambari 的方便之处的. 而且,Ambari 现在所支持的平台组件也越来越多,例如流行的 Spark,Storm 等计算框架,以及资源调度平台 YARN 等,我们都能轻松地通过 Ambari 来进行部署. Ambari 自身也是一个分布式架构的软件,主要由两部分组成:Ambari Server 和 Ambari Agent.简单来说,用户通过 Ambari Server 通知 Ambari Agent 安装对应的软件; Agent 会定时地发送各个机器每个软件模块的状态给 Ambari Server,最终这些状态信息会呈现在 Ambari 的 GUI,方便用户了解到集群的各种状态,并进行相应的维护.
Apache Ambari是一个基于Web的支持Apache Hadoop集群的供应、管理和监控的开源工具， Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。提供Web UI进行可视化的集群管理，简化了大数据平台的安装、使用难度。
自从 2020 年开始，我就发觉网上使用 Ambari 的同学多了很多，随着 cloudera 收购 hdp 并进入收费模式，越来越多的企业选择了 Ambari 来管理大数据平台，Ambari 集成第三方服务的需求也就变得越来越常见。
最新的CDH已经没有了社区版，也就是说以后使用新版本的Cloudera Manager和CDH都是要收费的，这对于很多小公司来说，可能无法承受。转向Ambari是他们的一个可选项。Ambari是Apache的一个顶级开源项目，开源是其最大的优势，开源也意味着Ambari可以灵活地进行扩展，集成更多的数据组件，对于需要定制化和二次开发的企业来说，Ambari也极具吸引力。
Centos 最小化安装：各个节点进行：网络配置(Nat 模式且可以共享主机网络)
手动安装Hadoop的朋友都知道，这是一个痛苦的过程。一天时间，你能够把上千台机器全部安装完成么？包括Hive、Spark、Hbase等。
安装过 hadoop 集群的人都应该清楚，hadoop 生态从安装、配置到后期运维是一个非常艰辛的过程，一般来说安装 hadoop 可能就需要几天时间，运维一个小型集群同样需要几个人。ambari 和 cloudera Manager 这两个系统，目的就是简化 hadoop 生态集群的安装、配置，同时提高 hadoop 运维效率，以及对 hadoop 集群进行监控。
今天又有朋友咨询我 ambari 相关的问题，注册主机步骤出错。他说他试了好几次，无奈只能加我好友来寻求帮助。
Ambari 是 hortonworks推出的管理监控Hadoop集群的Web工具，此处的Hadoop集群不单单指Hadoop集群，而是泛指hadoop 整个生态，包括Hdfs，yarn,Spark,Hive,Hbase,Zookeeper，druid等等，管理指的是可以通过Ambari对整个集群进行动态管理，包括集群的部署，修改，删除，扩展等，监控指Ambari实时监控集群的运行状况，包括运行内存，剩余内存，CPU使用率，节点故障等。所以通过Ambari可以简化对集群的管理和监控，让开发者更多的聚焦与业务逻辑。 Ambari + HDP介绍： Ambari：WEB应用程序，后台为Ambari Server，负责与HDP部署的集群工作节点进行通讯，集群控制节点包括Hdfs，Spark，Zk，Hive，Hbase等等。 HDP：HDP包中包含了很多常用的工具，比如Hadoop，Hive，Hbase，Spark等 HDP-Util：包含了公共包，比如ZK等一些公共组件。 老的集群部署方式： 1. 集群配置(免密登陆，静态IP，防火墙) 2. JDK，MySql 部署 (Hive相关表结构管理，如果没有用到Hive，无需安装) 3. Hadoop Hdfs 部署(修改配置) (分布式文件存储) 4. Hadoop Yarn 部署(修改配置) (MapReduce 任务调度) 5. (可选) Zookeeper部署，需要修改NameNode 和 ResourceManager 的配置文件 6. Hive 部署 (数据仓库，对Hdfs上保存的数据进行映射管理) 7. HBase 部署 (NoSQL数据库，进行数据存储) 8. (可选) Flume，Sqoop 部署(主要用于数据采集，数据迁移) 9. Spark 部署 (计算框架部署) 10. 后面还需要部署 监控框架等等， 部署准备：MySql,JDK,Hadoop,Hive,HBase,Zookeeper,Spark,Flume,Sqoop等 部署缺点：以上全部部署都是通过命令行来部署，麻烦复杂，容易出错，动态扩展较难，无集群监控 部署优点：整体可控，对集群内部运行逻辑比较清楚，只部署需要的服务，所以对集群要求(内存，CPU及硬盘) 可以不是很高 Ambari 集群部署方式： 1. 集群配置(免密登陆，静态IP，防火墙) 2. JDK，MySql 部署 (需要配置Ambari，Hive，Hbase等多张表) 3. 部署Ambari 服务 4. 通过Ambari Web工具 部署Hdfs，Spark，Hive，Zk，Hbase，Flume等，想怎么部署就怎么部署，鼠标选择服务和需要部署的节点即可 5. 通过Ambari Web工具进行集群监控，并且对警告及错误进行处理 部署准备：MySql,JDK,Ambari,HDP,HDP-Util，和上面老的部署方式相比，是不是少了很多 部署注意事项：通过Ambari部署集群对集群节点机器要求比较高，因为有好多关于AmbariServer服务会部署在同一个管理节点上，同时其他集群节点也会同时部署很多其他服务，这对节点的配置(CPU，内存，硬盘)要求比较高，可能运行不起来。 部署优点：部署简单，一键部署，方便监控，方便扩展，多集群同时管理 Ambari 部署步骤： 1. 单节点:Ntp,java,selinux,hosts,hostname,ip 2. 克隆节点，修改ip及hostname 3. 安装mysql，配置免密登陆 4. 安装httpd，配置本地ambari+HDP 的yum源 5. Ambari Server安装及初始化 6. Ambari Server 通过向导安装集群 7. Ambari 使用介绍 8. Hdfs HA的高可用 9. 接下来就可以根据我们的需求使用集群了，这部分后面会有专门章节针对Hadoop MR 和Spark进行详细解读。
出错的Java文件编码和CheckStyle设置的编码不同。CheckStyle里设置的编码是UTF-8
baseurl=http://192.168.199.50/ambari/centos7/
大家好，许久没更新了，这段时间忙着换工作和交接过度（对，换工作了）；另一方面，这段时间试着搭建了一下分布式集群，本来打算跟大家详细分享一下，由于是零基础，中间还有好多没弄清楚，所以先简单分享几种安装思路： 搭建Hadoop、Spark分布式集群，前面的几步一样： 装虚拟机，我用的是Vmware Workstation，装Ubuntu或CentOS系统； 开启系统的root用户； 复制若干台虚拟机； 每台都安装ssh，实现这若干台虚拟机的免密码通信。 之后： 你可以纯手动来安装、利用Ambari半自动安装、或
这篇文章之前也写过类似的，已经有很多人在看了，也有很多朋友在这过程中碰到了困难，私聊我。为了提高各自的工作效率，所以我又将文章完善了一版，这应该算是第三版了。
本章我们开始正式搭建大数据环境，目标是构建一个稳定的可以运维监控的大数据环境。我们将采用Ambari搭建底层的Hadoop环境，使用原生的方式搭建Flink，Druid，Superset等实时计算环境。使用大数据构建工具与原生安装相结合的方式，共同完成大数据环境的安装。
以ubuntu-1804-2为server，在ubuntu-1804-2进行如下修改
大数据平台，涉及到很多软件产品，如果刚刚入行Hadoop，直接下载软件包，手动配置文件的方式，并没有那么直观和容易。
以下，都是收集于网友、群友安装 ambari 或部署 hdp 集群时出现的问题，挤时间写了个疑难问题解答汇总，希望能够快速帮小伙伴们定位解决问题。觉得文章靠谱的小伙伴，希望能转发、点赞、在看三连走一波~
最近需要做些spark的工作，所以弄了几台dell7500就这么准备开始搭建集群，之前用过几台更破的台式机搭建过一次，折腾了半个月之久，终于成功搭建，这次不想走老路，所以网上查了一下，发现一个神器AMBARI，可以部署、管理集群，果然是个好东西，所以就拿来用，但是在安装的过程中碰到了许许多多的问题，所以现在把安装过程总结一下，放到这里，以方便下次安装或者其他有对ambari感兴趣的同学可以参考之。 安装过程大量查阅了网上的相关资料，主要是https://cwiki.apache.or
该文介绍了如何监控Hadoop YARN集群，包括JVM分析和Ganglia、Ambari监控系统。通过这些方法，管理员可以实时监控集群状态，实现集群资源有效管理和利用。
下载链接: https://pan.baidu.com/s/1rlqZejpZZqio9RPzgnGOEg 提取码: j47n ；内有jdk-8u151-linux-x64.tar.gz和mysql-connector-java.jar文件。
注：主机名修改后需要重启机器才可彻底生效。如果用户不想重启，可使用命令 hostnamectlset-hostname node1.ambari.com来修改主机名，可使用命令 hostname来检验主机名是否修改成功。这种修改方式只是暂时的，待机器重启后就恢复原样 localhost了。
Ambari是apache下面的开源项目，主要通过web UI方式对Hadoop集群进行统一创建和管理，以节省Hadoop集群的运维成本。本文通过安装过程中的截图简要介绍一下相关步骤供需要的朋友参考。
hbase 启动不起来，通常是因为节点日期不同步。 HDFS 无法启动，通常是因为hdfs 进入了安全模式，需要先退出来，再启动。
如果遇到该情况，首先前往 /var/log/ambari-agent/ambari-agent.log 查看日志输出。
上篇讲了CentOS 6.5下安装Ambari的过程（见 http://www.linuxidc.com/Linux/2014-12/110823.htm ），本人将安装Ambari的主机名改为ambari。
1、服务器环境1.1 修改主机名称1.2 修改ip地址1.3 linux修改hosts并添加集群主机1.4 windows修改hosts文件并添加集群主机2、免密配置2.1 切换root用户2.2 生成公钥与私钥对2.3 将公钥复制到目标机器，并测试免密登录是否成功2.4 集群其他主机免密配置2.5 异常演示3、关闭防火墙3.1 防火墙设置3.2 设置之后3.3 设置之前4、禁用selinux4.1 selinux介绍4.2 设置selinux5、安装JDK5.1 上传jdk5.2 配置Java环境变量5.3 检查Java环境是否生效6、安装mysql6.1 mysql安装6.2 mysql设置6.3 修改密码6.4 上传驱动7、安装httpd服务7.1 httpd介绍7.1 安装httpd服务7.2 查看httpd服务7.3 tips:网页访问本地文件内容8、安装ntp服务8.1 ntp介绍8.2 安装8.3 修改ntp.conf配置8.4 时钟同步8.5 检查时钟同步效果9、搭建yum环境和创建ambari本地源9.1 安装yum工具9.2 安装9.3 创建repo文件9.4 分发repo文件9.4 生成本地yum源10、安装ambari10.1 在mysql中创建ambari用户和授权10.2 安装ambari10.2 初始化配置10.3 初始化ambari数据库10.4 启动ambari10.5 报错及解决10.6 ambari页面配置步骤10.6.1 第1步 启动安装10.6.2 第2步 输出集群名称10.6.3 第3步 选择版本、选择本地仓库及路径10.6.4 第4步 输入集群节点名称、私钥10.6.5 节点认证10.6.6 选择服务10.6.7 分配主节点10.6.8 分配从节点和客户端10.6.9 自定义服务10.6.10 确认配置10.6.11 安装部署11、启动服务11.1 java权限问题11.2 hive元数据初始化
目前市场上常见的企业级大数据平台型的产品主流的有两个，一个是Cloudera公司推出的CDH，一个是Hortonworks公司推出的一套HDP，其中HDP是以开源的Ambari作为一个管理监控工具，CDH对应的是Cloudera Manager，国内也有像星环这种公司专门做大数据平台。我们公司最初是使用CDH的环境，近日领导找到我让我基于Ambari做一个公司自己的数据平台产品。最初接到这个任务我是拒绝的，因为已经有了很完善很成熟的数据平台产品，小公司做这个东西在我看来是浪费人力物力且起步太晚。后来想想如果公司如果有自己数据平台的产品后续在客户面前也能证明自己的技术实力且我个人也能从源码级别更深入的学习了解大数据生态圈的各个组件。
1.从GitHub上下载ambari文件到本地，https://github.com/sequenceiq/docker-ambari
Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。
我们本篇文章主要讲述如何去同步远程服务器中的HDP数据源到本地，并将其作为局域网yum安装源。
在ambari的setup中我们可以选择使用默认的postgresql，也可以自定义使用其他数据库，此处选用mariadb，便于后期管理维护
多机部署问题，当集群规模增加后，机器出问题机率增加，在部署或更新中可能会出现机器故障
在单机的情况下，是通过docker添加server和client镜像，来创建三个容器来模拟真实的主机的。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
