hbase 启动不起来，通常是因为节点日期不同步。 HDFS 无法启动，通常是因为hdfs 进入了安全模式，需要先退出来，再启动。
本文由 伯乐在线 - zhique 翻译，xxmen 校稿。未经许可，禁止转载！ 英文出处：Ram Sriharsha。欢迎加入翻译组。 Apache Spark 为数据科学提供了许多有价值的工具。随着 Apache Spark 1.3.1 技术预览版的发布，强大的 Data Frame API 也可以在 HDP 上使用数据科学家使用数据挖掘和可视化来帮助构造问题架构并对学习进行微调。Apache Zeppelin 正好能够帮他们做到这些。 Zeppelin 是一个基于 Web 的 notebook 服务器
特别说明：该专栏文章均来源自微信公众号《大数据实战演练》，欢迎关注！
大家好，我是ABC_123。本期分享一个之前做过的针对某物联网云平台的渗透测试案例，包括了对Hadoop生态系统的内网横向过程，由于内网很多都是Yarn、MapReduce、Spark、HDFS、Ambari、Hortonworks这些组件，平时很少遇到，由此开始了长达3个月的断断续续地一边学习，一边研究的历程。
“ ambari自定义服务干货，非常干的那种”
距离唯一一次搭建Hadoop集群，已是六年有余。那时候大数据的学习资料还是我从某宝25买来的，如今大数据已遍地开花。最近想写一些关于大数据的东西，例如Spark、flink等，想放在Yarn上跑，所以就从Hadoop的搭建开始写起。
该文是关于介绍如何使用 Elasticsearch 进行日志搜索的内容。文章首先介绍了 Elasticsearch 的基本概念和架构，然后详细讲解了如何使用 Elasticsearch 进行日志搜索。文章还介绍了 Elasticsearch 的各种插件和工具，以及如何在实践中进行配置和部署。
终于，要开始写点大数据相关的文章了。当真的要开始写老本行的时候，还是考虑了挺久的。一是不知道从何处写起，二是如何能写点有意思的。
公司的计算平台上，写入spark-history目录日志文件数超过设定阈值（1048576），导致任务失败。
7月13日，Hortonworks在其官网宣布发布HDP3.0，包括Ambari2.7和SmartSense1.5。包括下载仓库与配套文档都正式GA。
Ambari 是 hortonworks推出的管理监控Hadoop集群的Web工具，此处的Hadoop集群不单单指Hadoop集群，而是泛指hadoop 整个生态，包括Hdfs，yarn,Spark,Hive,Hbase,Zookeeper，druid等等，管理指的是可以通过Ambari对整个集群进行动态管理，包括集群的部署，修改，删除，扩展等，监控指Ambari实时监控集群的运行状况，包括运行内存，剩余内存，CPU使用率，节点故障等。所以通过Ambari可以简化对集群的管理和监控，让开发者更多的聚焦与业务逻辑。 Ambari + HDP介绍： Ambari：WEB应用程序，后台为Ambari Server，负责与HDP部署的集群工作节点进行通讯，集群控制节点包括Hdfs，Spark，Zk，Hive，Hbase等等。 HDP：HDP包中包含了很多常用的工具，比如Hadoop，Hive，Hbase，Spark等 HDP-Util：包含了公共包，比如ZK等一些公共组件。 老的集群部署方式： 1. 集群配置(免密登陆，静态IP，防火墙) 2. JDK，MySql 部署 (Hive相关表结构管理，如果没有用到Hive，无需安装) 3. Hadoop Hdfs 部署(修改配置) (分布式文件存储) 4. Hadoop Yarn 部署(修改配置) (MapReduce 任务调度) 5. (可选) Zookeeper部署，需要修改NameNode 和 ResourceManager 的配置文件 6. Hive 部署 (数据仓库，对Hdfs上保存的数据进行映射管理) 7. HBase 部署 (NoSQL数据库，进行数据存储) 8. (可选) Flume，Sqoop 部署(主要用于数据采集，数据迁移) 9. Spark 部署 (计算框架部署) 10. 后面还需要部署 监控框架等等， 部署准备：MySql,JDK,Hadoop,Hive,HBase,Zookeeper,Spark,Flume,Sqoop等 部署缺点：以上全部部署都是通过命令行来部署，麻烦复杂，容易出错，动态扩展较难，无集群监控 部署优点：整体可控，对集群内部运行逻辑比较清楚，只部署需要的服务，所以对集群要求(内存，CPU及硬盘) 可以不是很高 Ambari 集群部署方式： 1. 集群配置(免密登陆，静态IP，防火墙) 2. JDK，MySql 部署 (需要配置Ambari，Hive，Hbase等多张表) 3. 部署Ambari 服务 4. 通过Ambari Web工具 部署Hdfs，Spark，Hive，Zk，Hbase，Flume等，想怎么部署就怎么部署，鼠标选择服务和需要部署的节点即可 5. 通过Ambari Web工具进行集群监控，并且对警告及错误进行处理 部署准备：MySql,JDK,Ambari,HDP,HDP-Util，和上面老的部署方式相比，是不是少了很多 部署注意事项：通过Ambari部署集群对集群节点机器要求比较高，因为有好多关于AmbariServer服务会部署在同一个管理节点上，同时其他集群节点也会同时部署很多其他服务，这对节点的配置(CPU，内存，硬盘)要求比较高，可能运行不起来。 部署优点：部署简单，一键部署，方便监控，方便扩展，多集群同时管理 Ambari 部署步骤： 1. 单节点:Ntp,java,selinux,hosts,hostname,ip 2. 克隆节点，修改ip及hostname 3. 安装mysql，配置免密登陆 4. 安装httpd，配置本地ambari+HDP 的yum源 5. Ambari Server安装及初始化 6. Ambari Server 通过向导安装集群 7. Ambari 使用介绍 8. Hdfs HA的高可用 9. 接下来就可以根据我们的需求使用集群了，这部分后面会有专门章节针对Hadoop MR 和Spark进行详细解读。
Ambari 跟 Hadoop 等开源软件一样,也是 Apache Software Foundation 中的一个项目,并且是顶级项目.目前最新的发布版本是 2.1.2. 就 Ambari 的作用来说,就是创建,管理,监视 Hadoop 的集群,但是这里的 Hadoop 是广义,指的是 Hadoop 整个生态圈(例如 Hive,Hbase,Sqoop,Zookeeper 等),而并不仅是特指 Hadoop. 用一句话来说,Ambari 就是为了让 Hadoop 以及相关的大数据软件更容易使用的一个工具. 说到这里,大家就应该明白什么人最需要 Ambari 了.那些苦苦花费好几天去安装,调试 Hadoop 的初学者是最能体会到 Ambari 的方便之处的. 而且,Ambari 现在所支持的平台组件也越来越多,例如流行的 Spark,Storm 等计算框架,以及资源调度平台 YARN 等,我们都能轻松地通过 Ambari 来进行部署. Ambari 自身也是一个分布式架构的软件,主要由两部分组成:Ambari Server 和 Ambari Agent.简单来说,用户通过 Ambari Server 通知 Ambari Agent 安装对应的软件; Agent 会定时地发送各个机器每个软件模块的状态给 Ambari Server,最终这些状态信息会呈现在 Ambari 的 GUI,方便用户了解到集群的各种状态,并进行相应的维护.
示例基于Centos7安装Hue,安装前需要安装大量的软件和包，因为python和c必须的依赖包
本篇文章主要讲解Ambari的一些基础知识，让大家对Ambari有一个潜意识的认识。
我们常使用的Hadoop平台包括Apache Hadoop，CDH和HDP，有时我们会碰到需要迁移平台的情况，举个例子，比如你已经一直在使用Apache Hadoop2.4，近期看到CDH6附带Hadoop3发布了，想迁移到CDH并且做整个平台的所有组件升级。平台迁移和平台升级的方式基本一样的，一般有2种大的选择，第一种是原地升级即直接在原有平台上操作，该办法操作效率较高，马上看到效果，但往往风险较高，比如升级失败回滚方案不完善，跨大版本比如Hadoop2到Hadoop3可能HDFS还有丢数据的风险；第二种是拷贝数据的方式升级，需要额外的服务器资源，会新搭平台，然后把旧的平台的数据拷贝过去，数据拷贝完毕后，再把旧集群的机器下线了慢慢加入到新集群，该方法一般实施周期较长，但是风险较小。根据实际情况可以选择不同的方式来进行平台迁移或者平升级，另外对于两种方案还可以具体细化分类出不同的方案，比如第一种方案考虑提前备份数据或者备份关键数据等，本文Fayson不做细化讨论。
前面的文章介绍了《Kerberos原理--经典对话》、《Kerberos基本概念及原理汇总》、《基于ambari的Kerberos安装配置》、《Windows本地安装配置Kerberos客户端》，已经成功安装了Kerberos KDC server，也在Ambari上启用了Kerberos，接下来我们再来研究一下如何使用Kerberos。
Hadoop是由Apache基金会开发的一个大数据分布式系统基础架构，最早版本是2003年原Yahoo! Doug Cutting根据Google发布的学术论文研究而来。用户可以在不了解分布式底层细节的情况下，轻松地在Hadoop上开发和运行处理海量数据的应用程序。低成本、高可靠、高扩展、高有效、高容错等特性让Hadoop成为最流行的大数据分析系统，然而其赖以生存的HDFS和MapReduce组件却让其一度陷入困境——批处理的工作方式让其只适用于离线数据处理，在要求实时性的场景下毫无用武之地。因此，各
针对近期搭建HDP3.1.4版本大数据集群，相较之前研究的HDP2.6.3版本，版本跨度大，为更好的了解掌握新版本的新特性，于是对两个版本及区间版本的技术演进做下梳理。
根据Hadoop官网的相关介绍和实际使用中的软件集，将Hadoop生态圈的主要软件工具简单介绍下，拓展对整个Hadoop生态圈的了解。
Ambari 是什么 Ambari 跟 Hadoop 等开源软件一样，也是 Apache Software Foundation 中的一个项目，并且是顶级项目。目前最新的发布版本是 2.0.1，未来不久将发布 2.1 版本。就 Ambari 的作用来说，就是创建、管理、监视 Hadoop 的集群，但是这里的 Hadoop 是广义，指的是 Hadoop 整个生态圈（例如 Hive，Hbase，Sqoop，Zookeeper 等），而并不仅是特指 Hadoop。用一句话来说，Ambari 就是为了让
手动安装Hadoop的朋友都知道，这是一个痛苦的过程。一天时间，你能够把上千台机器全部安装完成么？包括Hive、Spark、Hbase等。
Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。Apache Ambari 支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeper、Sqoop和Hcatalog等的集中管理。也是5个顶级hadoop管理工具之一。Ambari能够安装安全的（基于Kerberos）Hadoop集群，以此实现了对Hadoop 安全的支持，提供了基于角色的用户认证、授权和审计功能，并为用户管理集成了LDAP和Active Directory。
好多人问我，这种「基于大数据平台的xxxx」的毕业设计要怎么做。这个可以参考之前写得关于我大数据毕业设计的文章大数据方向毕业设计，选题和实现思路。这篇文章是将对之前的毕设进行优化。
问题导读 1.文中哪些监控软件有邮件通知功能？ 2.监控粒度更细如何自定义实现？ 3.哪些监控软件可以自定义？ 企业转型大数据，随着发展，可能会遇到很多的问题。该如何知道磁盘的使用情况；遇到问题，该如何及时的报警通知。该如何知道各个组件的运行情况，各自暂用内存、磁盘、网络使用等，都可能是我们想获取的。由于监控软件，粒度比较粗，想定制监控内容，该如何定制，获取某个进程的信息.由于每个企业需求不一样，经常有些初学者想了解或则提问，我们到底该用哪个监控软件好。这里整合、统计一些监控软件的一些用途，大家可以选择
打开hue.ini文件，找到【yarn_clusters】【default】，修改spark_history_server_url值。
大家好，许久没更新了，这段时间忙着换工作和交接过度（对，换工作了）；另一方面，这段时间试着搭建了一下分布式集群，本来打算跟大家详细分享一下，由于是零基础，中间还有好多没弄清楚，所以先简单分享几种安装思路： 搭建Hadoop、Spark分布式集群，前面的几步一样： 装虚拟机，我用的是Vmware Workstation，装Ubuntu或CentOS系统； 开启系统的root用户； 复制若干台虚拟机； 每台都安装ssh，实现这若干台虚拟机的免密码通信。 之后： 你可以纯手动来安装、利用Ambari半自动安装、或
如果手工安装Hadoop集群,在管理和后继部署中，越来越多的问题不断出现，主要如下：
本文讲如何安装启动kafka,并进行测试，其中zookeepr是kafka自带的，本文基本按照官网文档进行安装启动的，并提出可能会出现的问题。官方文档：http://kafka.apache.org/quickstart 本文虚拟机系统：centos7，不过其他版本的Linux系统是一样的~
大数据平台的开发环境搭建，我们前面已经说过了，需要搭建Hdfs，Yarn，Spark，HBase，Hive，ZK等等，在开发环境下搭建是用于开发测试的，全部部署在VM 虚拟机里面，小数据量小运算量还可以，数据量运算量一旦上来，虚拟机是玩不转的，这就牵涉到生产环境的Hadoop的生态搭建，难道也需要我们一步一步来搭建吗？ 几台还可以，那么上百台呢？ 难道也需要一台台搭建吗？ 显然不可以，有没有什么好的Hadoop生态的搭建工具呢？ 国外有俩家企业做了这些事，hortonworks公司推出的Ambari+HDP套件 和 Cloudrea公司推出的 CM+CDH 套件，不过这俩家公司 18年底合并了,不过这并不影响我们的使用。 2. CM+CDH介绍 CM是Cloudrea Manager的简称，是Cloudrea 提供的生产环境的Hadoop 生态部署工具，工具套件为CM+CDH,CM负责监控动态管理及部署Hadoop生态服务，CDH里面包含了绝大多数的Hadoop生态中的服务，包含Hdfs，Yarn，ZK，Hive，Hbase，Flume，Sqoop，Spark等。整体上与前面说所得Ambari + HDP类似。 CM+CDH有免费版和收费版，收费版当然功能更加强悍，比如支持回滚，滚动升级，支持Kerberos，SAML/LDAP支持，SNMP支持，自动化备份和灾难恢复，不过在我们看来，免费版已经够我们使用了。 这里简单和Ambari + HDP对已一下，CDH在部署Hadoop生态上，整体与HDP类似，通过WEB端动态部署Hadoop生态， Name Web Server Tools hortonworks Ambari HDP HDP-Util Cloudrea CM CDH CDH-Util CM+CDH套件组成 CM：WEB应用程序，后台为Ambari Server，负责与HDP部署的集群工作节点进行通讯，集群控制节点包括Hdfs，Spark，Zk，Hive，Hbase等等。 CDH：HDP包中包含了很多常用的工具，比如Hadoop，Hive，Hbase，Spark等 CDH-Util：包含了公共包，比如ZK等一些公共组件。 3. CM+CDH 部署
Hue是一个可快速开发和调试Hadoop生态系统各种应用的一个基于浏览器的图形化用户接口。
目前市场上常见的企业级大数据平台型的产品主流的有两个，一个是Cloudera公司推出的CDH，一个是Hortonworks公司推出的一套HDP，其中HDP是以开源的Ambari作为一个管理监控工具，CDH对应的是Cloudera Manager，国内也有像星环这种公司专门做大数据平台。我们公司最初是使用CDH的环境，近日领导找到我让我基于Ambari做一个公司自己的数据平台产品。最初接到这个任务我是拒绝的，因为已经有了很完善很成熟的数据平台产品，小公司做这个东西在我看来是浪费人力物力且起步太晚。后来想想如果公司如果有自己数据平台的产品后续在客户面前也能证明自己的技术实力且我个人也能从源码级别更深入的学习了解大数据生态圈的各个组件。
https://www.psvmc.cn/article/2022-03-31-bigdata-environment.html
一、准备工作： 1.基本工具 yum rpm scp curl wget pdsh 前几个一般系统都自带了，pdsh需要自己装 ： yum install pdsh 这个命令没有成功执行 自己下载pdsh.tar.bz2，用tar -jxvf filename.tar.bz解压。之后进入filename文件夹，执行./configure,然后执行make和make install命令。安装结束。
0、前言 3月31日是 Spark 五周年纪念日，从第一个公开发布的版本开始，Spark走过了不平凡的5年：从刚开始的默默无闻，到13年的鹊起，14年的大爆发。Spark核心之上有分布式的机器学习，SQL，streaming和图计算库。 4月1日 spark 官方正式宣布 Spark 2.0 对Spark重构，更好支持手机等移动终端。Databricks创始人之一hashjoin透漏了相关的重构方法：利用Scala.js项目把Spark代码编译成JavaScript，然后利用Safari / Chrom
最近需要做些spark的工作，所以弄了几台dell7500就这么准备开始搭建集群，之前用过几台更破的台式机搭建过一次，折腾了半个月之久，终于成功搭建，这次不想走老路，所以网上查了一下，发现一个神器AMBARI，可以部署、管理集群，果然是个好东西，所以就拿来用，但是在安装的过程中碰到了许许多多的问题，所以现在把安装过程总结一下，放到这里，以方便下次安装或者其他有对ambari感兴趣的同学可以参考之。 安装过程大量查阅了网上的相关资料，主要是https://cwiki.apache.or
本文介绍了从Ambari迁移到HDP的步骤和注意事项。主要包括了升级前检查、配置迁移、数据迁移、应用迁移、高可用和性能优化、验证和测试、以及常见问题。
使用 ambari 来搭建 hdp 集群，前前后后搭了不下10遍，之前一直没有完整的总结整个过程，最近有空正好记录一下。
我这里创建了一个普通用户名为admin，并且具有sudo权限，4个节点都需要有这个用户。
Hadoop是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高传输率（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求（requirements）这样可以流的形式访问（streaming access）文件系统中的数据。
（1）2002年10月，Doug Cutting和Mike Cafarella创建了开源网页爬虫项目Nutch。
访问ip:8888/about/#step2，点击下载Oozie Editor/Dashboard，可以下载应用程序示例。如下图所示：
执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
大数据任务调度作为大数据建设中的核心基础设施。Apache DolphinScheduler是一个分布式、去中心化、易扩展的可视化DAG工作流任务调度系统，其致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。
Ambari 跟 Hadoop 等开源软件一样，也是 Apache Software Foundation 中的一个项目，并且是顶级项目。就 Ambari 的作用来说，就是创建、管理、监视 Hadoop 的集群，但是这里的 Hadoop 是广义，指的是 Hadoop 整个生态圈（例如 Hive，Hbase，Sqoop，Zookeeper 等）。它帮助我们更好的去管理Hadoop集群相关的服务，也支持一些扩展，可以让我们去定制一些服务。 你是不是为了配置hadoop集群伤透了脑筋？为了集群添加机器而头痛。如果你遇到了Ambari你就会发现，原来他就是你的救世主。 Ambari 自身也是一个分布式架构的软件，主要由两部分组成：Ambari Server 和 Ambari Agent。简单来说，用户通过 Ambari Server 通知 Ambari Agent 安装对应的软件；Agent 会定时地发送各个机器每个软件模块的状态给 Ambari Server，最终这些状态信息会呈现在 Ambari 的 GUI，方便用户了解到集群的各种状态，并进行相应的维护。 Ambari的详细介绍及相关信息可以浏览下面的网址，虽然他很NB，但是不是我们今天的重点！ Ambari——大数据平台的搭建利器
作为一个大数据开发人员，每天要与使用大量的大数据工具来完成日常的工作，那么目前主流的大数据开发工具有哪些呢？
大数据我们都知道hadoop，可是还会各种各样的技术进入我们的视野：Spark，Storm，impala，让我们都反映不过来。为了能够更好的架构大数据项目，这里整理一下，供技术人员，项目经理，架构师选
在单机的情况下，是通过docker添加server和client镜像，来创建三个容器来模拟真实的主机的。
作为一个大数据开发人员，每天要与使用大量的大数据工具来完成日常的工作，那么目前主流的大数据开发工具有哪些呢？加米谷大数据为大家介绍下大数据开发工具
得出结论, 如果计算 260G 的数据, 可能和计算 60G 的数据, 所需要的内存一样, Spark 会逐个取数据, 逐个计算, 计算完成后抛弃, 再取下一条
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
云直播
对象存储
