OushuDB是由Apache HAWQ创始团队基于HAWQ打造的新一代数据仓库(New Data Warehouse)。该产品采用了存储与计算分离技术架构，具有MPP的所有优点，还具有弹性，支持混合工作负载和高扩展性等优点。作为HAWQ的增强版，OushuDB遵循ANSI-SQL标准，兼容Oracle、Greenplum Database和PostgreSQL，提供PB级数据交互式查询能力，提供对主要BI工具的描述性分析和AI支持。
本文介绍了从Ambari迁移到HDP的步骤和注意事项。主要包括了升级前检查、配置迁移、数据迁移、应用迁移、高可用和性能优化、验证和测试、以及常见问题。
Fayson为了方便接下来从HDP迁移到CDH的工作，这里先补充一篇如何禁用HDP的HDFS的HA，从HDP原地迁移到CDH，如果你的原HDP集群有HA的话，为了因为Zookeeper，JournalNode配置带来的不适应，先取消HA会更保险一些。这里还是要吐槽一下HDP的HDFS HA功能，使用Ambari可以界面化的启用HA，但是要禁用会非常非常麻烦，需要手动做很多个步骤才能最终取消成功。Cloudera Manager还是要方便很多，这一块可以参考Fayson之前的文章《如何使用Cloudera Manager启用HDFS的HA》和《如何使用Cloudera Manager禁用HDFS HA》。本文Fayson主要是介绍如何手动禁用HDP的HDFS的HA。前置条件当然是你使用Ambari开启了HDFS的HA了，如何开启Fayson在本文就不会再做描述了。
Ambari 借鉴了很多成熟分布式软件的 API 设计。 Rest API 就是一个很好地体现。通过 Ambari 的 Rest API，可以在脚本中通过 curl 维护整个集群。 并且，我们可以用 Rest API 实现一些无法在 Ambari GUI 上面做的操作。下面是一些实例。
hbase 启动不起来，通常是因为节点日期不同步。 HDFS 无法启动，通常是因为hdfs 进入了安全模式，需要先退出来，再启动。
本文由 伯乐在线 - zhique 翻译，xxmen 校稿。未经许可，禁止转载！ 英文出处：Ram Sriharsha。欢迎加入翻译组。 Apache Spark 为数据科学提供了许多有价值的工具。随着 Apache Spark 1.3.1 技术预览版的发布，强大的 Data Frame API 也可以在 HDP 上使用数据科学家使用数据挖掘和可视化来帮助构造问题架构并对学习进行微调。Apache Zeppelin 正好能够帮他们做到这些。 Zeppelin 是一个基于 Web 的 notebook 服务器
手动安装Hadoop的朋友都知道，这是一个痛苦的过程。一天时间，你能够把上千台机器全部安装完成么？包括Hive、Spark、Hbase等。
ambari HDFS-HA 回滚 查看hdfs的信息 curl -u admin:admin -H "X-Requested-By: ambari" -X GET http://centos1:8
大数据平台，涉及到很多软件产品，如果刚刚入行Hadoop，直接下载软件包，手动配置文件的方式，并没有那么直观和容易。
安装过 hadoop 集群的人都应该清楚，hadoop 生态从安装、配置到后期运维是一个非常艰辛的过程，一般来说安装 hadoop 可能就需要几天时间，运维一个小型集群同样需要几个人。ambari 和 cloudera Manager 这两个系统，目的就是简化 hadoop 生态集群的安装、配置，同时提高 hadoop 运维效率，以及对 hadoop 集群进行监控。
大家好，我是 create17。自从 2017 年就开始围绕 Ambari 做相关工作。期间做过 Ambari 安装部署、页面生产级别的汉化、Ambari 自定义服务集成、前端页面开发、后端 API 接口开发、Ambari Server HA、部分原生 bug 修改，以及 HDP 相关常用组件的基本使用。
本篇文章主要讲解Ambari的一些基础知识，让大家对Ambari有一个潜意识的认识。
示例基于Centos7安装Hue,安装前需要安装大量的软件和包，因为python和c必须的依赖包
多机部署问题，当集群规模增加后，机器出问题机率增加，在部署或更新中可能会出现机器故障
执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
大数据架构的目的是处理传统数据库系统无法处理的过大或复杂的数据的摄取、处理和分析。
之前一直用的开源社区的版本，最近突然想到找一个好的商业版本用着，然后一直使用，然后就定上了hdp和cdh，都装上去了，但是cdh使用难度太大了，和开源版本的差距比较大，api不会使用，需要学它的cdk。hdp和开源版差不多，也是经过了优化了的，也是开源的，有一个管理界面，比社区版要好，这个安装过程废了很大的劲儿才搞成功的，发出来跟大家分享一下。 hdp的安装折腾了好久，它的下载地址网址不像CDH那么难找，不过它的设置相对CDH简单很多，一键式安装，而且都是免费的软件。 1.首先要下载它们的安
baseurl=http://192.168.199.50/ambari/centos7/
使用 ambari 来搭建 hdp 集群，前前后后搭了不下10遍，之前一直没有完整的总结整个过程，最近有空正好记录一下。
Ambari是hadoop分布式集群配置管理工具，是由hortonworks主导的开源项目。它已经成为apache基金会的孵化器项目，已经成为hadoop运维系统中的得力助手，引起了业界和学术界的关注。
该版本相对 2.7.5 版本以来，共有 26 个 contributors 提交了 114 个 commits 以及修改了 557 个文件。详情见：https://github.com/apache/ambari/compare/release-2.7.5...release-2.7.6
https://www.psvmc.cn/article/2022-03-31-bigdata-environment.html
CDP 私有云基础版是 Cloudera Data Platform (CDP) 的本地版本。这款产品结合了 Cloudera Enterprise Data Hub 和 Hortonworks Data Platform Enterprise 的优点以及整个堆栈的新功能和增强功能。这种统一分发是一个可扩展且可定制的平台，您可以在其中安全地运行多种类型的工作负载。CDP 是一个简单、快速、安全的企业分析和管理平台，具有以下功能：
在可靠性、准确性和性能方面，人工智能和机器学习都严重依赖于大型设备。因为数据池越大，你就越能对模型进行训练。这就是为什么重要的数据平台能够高效地处理不同的数据流和系统，而不管数据的结构(或缺乏)、数据
Presto是由Facebook开发的一个分布式SQL查询引擎， 它被设计为用来专门进行高速、实时的数据分析。它的产生是为了解决Hive的MapReduce模型太慢以及不能通过BI或Dashboards直接展现HDFS数据等问题。Presto是一个纯粹的计算引擎，它不存储数据，其通过Connector获取第三方Storage服务的数据。
Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。
7月13日，Hortonworks在其官网宣布发布HDP3.0，包括Ambari2.7和SmartSense1.5。包括下载仓库与配套文档都正式GA。
针对近期搭建HDP3.1.4版本大数据集群，相较之前研究的HDP2.6.3版本，版本跨度大，为更好的了解掌握新版本的新特性，于是对两个版本及区间版本的技术演进做下梳理。
hosts文件添加 Knox 的{ {GATE_WAY}}ip的映射 就可以打开界面了
Ambari 是什么 Ambari 跟 Hadoop 等开源软件一样，也是 Apache Software Foundation 中的一个项目，并且是顶级项目。目前最新的发布版本是 2.0.1，未来不久将发布 2.1 版本。就 Ambari 的作用来说，就是创建、管理、监视 Hadoop 的集群，但是这里的 Hadoop 是广义，指的是 Hadoop 整个生态圈（例如 Hive，Hbase，Sqoop，Zookeeper 等），而并不仅是特指 Hadoop。用一句话来说，Ambari 就是为了让
我这里创建了一个普通用户名为admin，并且具有sudo权限，4个节点都需要有这个用户。
Succinctly 会计教程 一、会计简明指南 二、收入和费用 三、收入确认 四、组织账目 五、会计原则 六、会计制度报告 七、固定资产 八、应收账款 九、应付账款 十、库存 十一、工资单 十二、总结 十三、附录 Succinctly 安卓编程教程 一、设置 二、你好，安卓 三、活动生命周期 四、用户界面布局 五、用户界面小部件 六、片段 七、应用数据 Succinctly Arduino 教程 一、介绍和入门 二、使用发光二极管构建电路 三、使用按钮 四、使用蜂鸣器 五、测量环境条件 六、探测对象
托马斯·斯莫尔的ML / DL博客最近回顾了数据科学，机器学习和深度学习显著的进步-其中许多涉及R和/或微软。以下是他们的亮点： R Project R和Python保持其作为开放数据科学主要工具的领导地位。Python与R的争论仍在继续，一个新的共识是数据科学家应该考虑学习两者。R有一个更强大的统计和机器学习技术库，在使用小数据时更加灵活。Python更适合开发应用程序，而Python开源许可证对商业应用程序开发的限制较少。 R用户社区在2016年继续扩大。在2016年O'Reilly数据科学薪资调查
我们本篇文章主要讲述如何去同步远程服务器中的HDP数据源到本地，并将其作为局域网yum安装源。
Apache Ambari是一个基于Web的支持Apache Hadoop集群的供应、管理和监控的开源工具， Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。提供Web UI进行可视化的集群管理，简化了大数据平台的安装、使用难度。
1. 服务器准备 1 主机名 1.1 修改hostname
“ ambari自定义服务干货，非常干的那种”
最新的CDH已经没有了社区版，也就是说以后使用新版本的Cloudera Manager和CDH都是要收费的，这对于很多小公司来说，可能无法承受。转向Ambari是他们的一个可选项。Ambari是Apache的一个顶级开源项目，开源是其最大的优势，开源也意味着Ambari可以灵活地进行扩展，集成更多的数据组件，对于需要定制化和二次开发的企业来说，Ambari也极具吸引力。
如果手工安装Hadoop集群,在管理和后继部署中，越来越多的问题不断出现，主要如下：
时不时就有小伙伴微信里面问我有没有做过，为已有的 ambari 集群修改主机名？之前是有修改过 ip 的，主机名还真没修改过，只能给他提供一份官方的步骤：
一、准备工作： 1.基本工具 yum rpm scp curl wget pdsh 前几个一般系统都自带了，pdsh需要自己装 ： yum install pdsh 这个命令没有成功执行 自己下载pdsh.tar.bz2，用tar -jxvf filename.tar.bz解压。之后进入filename文件夹，执行./configure,然后执行make和make install命令。安装结束。
根据Hadoop官网的相关介绍和实际使用中的软件集，将Hadoop生态圈的主要软件工具简单介绍下，拓展对整个Hadoop生态圈的了解。
http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.4.2.0/ambari-2.4.2.0-centos6.tar.gz
SQL Server 2012与SQL Server 2008最重要的区别之一就是与Hadoop的兼容性。Hadoop允许用户处理大量的结构化和非结构化数据并快速从中获得观点，而且，因为Hadoop是开源的，成本较低。Hadoop与SQL Server 2012兼容的特性是微软与Hortonworks合作开发的，微软最近也宣布Microsoft HDInsight Server和Windows Azure HDInsight Service已经可以预览，这都使用户能够使用微软开发的Hadoop连接器来从数据
强大的身份验证和建立用户身份是 Hadoop 安全访问的基础。用户需要能够可靠地 “识别” 自己，然后在整个 Hadoop 集群中传播该身份。完成此操作后，这些用户可以访问资源（例如文件或目录）或与集群交互（如运行 MapReduce 作业）。除了用户之外，Hadoop 集群资源本身（例如主机和服务）需要相互进行身份验证，以避免潜在的恶意系统或守护程序 “冒充” 受信任的集群组件来获取数据访问权限。
（一）准备工作 1、准备几台机器 10.1.51.100 ambariserver 本地mirrorserver及ambari server都在这一台机器 10.1.51.10 master 10.1.51.11 slave1 10.1.51.12 slave2 2、都创建管理用户hadoop 3、做ssh免密码登录(ambariserver到其他机器的，hadoop用户) ssh-keygen cd .ssh cat id_rsa.pub >> authorized_keys chmod 700 ~/.ssh chmod 600 ~/.ssh/authorized_keys 注意，免密码一定要互相登陆一次，让他记住密码 4、设置sudo免密码(hadoop用户)---后续所有操作都在hadoop用户下去做 在各节点上进入root: visudo 加入如下内容： hadoop ALL=(ALL) NOPASSWD: ALL 5、Maximum Open File Descriptors(10000) 检查语句 ulimit -Sn ulimit -Hn sudo vi /etc/security/limits.conf @hadoop soft nproc 262144 @hadoop hard nproc 262144 @hadoop soft nofile 262144 @hadoop hard nofile 262144 sudo vi /etc/security/limits.d/90-nproc.conf @hadoop soft nproc 262144 以上改动重启才能生效，最好同时执行ulimit -u 10240 命令，是其立即生效。（ulimit 命令很多啊） 6、Check Existing Package Versions 7、Set up Service User Accounts(设置服务用户账户) http://docs.hortonworks.com/HDPDocuments/Ambari-2.0.0.0/Ambari_Doc_Suite/ADS_v200.html#ref-70627b43-7d78-4cbb-8df8-e3f43cbd8422 hdp的各个服务运行在不同的linux账户下，如果你创建了这些账户，ambari就会直接用，否则他会自动创建，但是自动创建的用户不知道密码是什么，但是还是可以 sudo su hdfs进入到这些用户下，不过这样就不方便了。 比较好的办法是自己创建的账户，使用ambari安装组件时选择自定义账户即可(UID >= 1000)。 8、Enable NTP on the Cluster and on the Browser Host 集群各节点，包括安装ambari webui的机器都得开启ntp服务已同步时间，如果有条件，局域网应该有ntp服务器 To check that the NTP service is on, run the following command on each host:chkconfig --list ntpd To set the NTP service to start on reboot, run the following command on each host:chkconfig ntpd on To turn on the NTP service, run the following command on each host:service ntpd start 9、Check DNS(可以选择10) 集群所有机器必须配置正向和反向DNS,如果条件不允许，就设置/etc/hosts文件，每个节点都得改 10、/etc/hosts 1.2.3.4 <fully.qualified.domain.name> //一行一个 注意：这两行千万不要删除 127.0.0.1 localhost.localdomain localhost ::1 localhost6.localdomain6 localhost6 vi /etc/sysconfig/network NETWORKING=yesNETWORKING_IPV6=yes HOSTNAME=<fully.qualified.domain.name> 11、关闭防火墙 12、Disable SELinux and PackageKit and check the umask Value set SELINUX=disabled in /etc/selinux/config sudo vi /etc/yum/pluginconf.d/refresh-packagekit.conf 设置：enabled=0 Ambari supports a umask value
Centos 最小化安装：各个节点进行：网络配置(Nat 模式且可以共享主机网络)
通常，我们在自定义服务集成开发中，会将集成服务的代码项目放置到 /var/lib/ambari-server/resources/stacks/HDP/<version>/services/ 目录下。这样子的前提就是 ambari 与 hdp 集群必须提前搭建好。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
云直播
