准备研究一下Pentaho的产品如何同Hadoop协同工作。从简单的开始，今天实验了一下Kettle连接Hadoop集群。 实验目的： 配置Kettle连接Hadoop集群的HDFS。 实验环境： 4台CentOS release 6.4虚拟机，IP地址为 192.168.56.101 192.168.56.102 192.168.56.103 192.168.56.104 192.168.56.101是Hadoop集群的主，运行NameNode进程。 192.168.56.102、192.168.56.103是Hadoop的从，运行DataNode进程。 192.168.56.104安装Pentaho的PDI，安装目录为/root/data-integration。 Hadoop版本：2.7.2 PDI版本：6.0 Hadoop集群的安装配置参考 http://blog.csdn.net/wzy0623/article/details/50681554 配置步骤： 1. 启动Hadoop的hdfs 在192.168.56.101上执行以下命令 start-dfs.sh 2. 拷贝Hadoop的配置文件到PDI的相应目录下 在192.168.56.101上执行以下命令 scp /home/grid/hadoop/etc/hadoop/hdfs-site.xml root@192.168.56.104:/root/data-integration/plugins/pentaho-big-data-plugin/hadoop-configurations/cdh54/ scp /home/grid/hadoop/etc/hadoop/core-site.xml root@192.168.56.104:/root/data-integration/plugins/pentaho-big-data-plugin/hadoop-configurations/cdh54/ 下面的配置均在192.168.56.104上执行 3. 在安装PDI的主机上建立访问Hadoop集群的用户 我的Hadoop集群的属主是grid，所以执行以下命令建立相同的用户 useradd -d /home/grid -m grid usermod -G root grid 4. 修改PDI安装目录的属主为grid mv /root/data-integration /home/grid/ chown -R grid:root /home/grid/data-integration 5. 编辑相关配置文件 cd /home/grid/data-integration/plugins/pentaho-big-data-plugin/hadoop-configurations/cdh54/ 在config.properties文件中添加如下一行 authentication.superuser.provider=NO_AUTH 把hdfs-site.xml、core-site.xml文件中的主机名换成相应的IP 修改后的config.properties、hdfs-site.xml、core-site.xml文件分别如图1、图2、图3所示。
Fayson在两年前的文章中介绍过CDH的卸载，参考《0008-如何卸载CDH（附一键卸载github源码）V1.2》，《0609-6.1.0-如何卸载CDH6.1》和《0621-6.2.0-如何卸载CDH6.2》。除非你是使用Cloudera官方提供的一键安装脚本安装的CDH，否则并没有现成的一键卸载的脚本供使用。
在CDH5.9版本及更新版本中，Hue新增一个全新工具从数据文件中创建Apache Solr的Collections,可以通过该工具轻松的将数据加载到Solr的Collection中。
Cloudera在2018年11月29日发布了CDH5.16.1版本，5.16.1的新功能可以参考前一篇文章《0466-CDH5.16.1和CM5.16.1的新功能》，2019年1月29日发布CDSW1.5。CDH5.13版本以后支持CDSW的Parcel安装，本篇文章Fayson就主要讲述如何通过CM5.16.1使用Parcel包安装CDSW1.5。
实验目的： 配置Kettle向Spark集群提交作业。 实验环境： 4台CentOS release 6.4虚拟机，IP地址为 192.168.56.101 192.168.56.102 192.168.56.103 192.168.56.104 192.168.56.101是Spark集群的主，运行Master进程。 192.168.56.102、192.168.56.103是Spark的从，运行Worker进程。 192.168.56.104安装Pentaho的PDI，安装目录为/home/grid/data-integration。 Hadoop版本：2.7.2 Spark版本：1.5.0 PDI版本：6.0 Spark集群的安装配置参考 http://blog.csdn.net/wzy0623/article/details/50946766 配置步骤： 1. 在PDI主机上安装Spark客户端 将Spark的安装目录和相关系统环境设置文件拷贝到PDI所在主机 在192.168.56.101上执行以下命令 scp -r /home/grid/spark 192.168.56.104:/home/grid/ scp /etc/profile.d/spark.sh 192.168.56.104:/etc/profile.d/ 下面的配置均在192.168.56.104上执行 2. 编辑相关配置文件 （1）在/etc/hosts文件中加如下两行 192.168.56.101 master 192.168.56.104 kettle master和kettle为各自主机的hostname （2）编辑spark-env.sh文件，写如下两行，如图1所示 export HADOOP_CONF_DIR=/home/grid/data-integration/plugins/pentaho-big-data-plugin/hadoop-configurations/cdh54 export SPARK_HOME=/home/grid/spark
温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。 Fayson的github： https://github.com/fayson/cdhproject 提示：代码块部分可以左右滑动查看噢 1.文档编写目的 ---- 现生产环境的集群版本为5.12.1，开发环境的CDH集群版本为5.10.0过低，需要将开发环境的CDH集群滚动升级至5.12.1版本，与生产环境版本一致。Fayson在前面的文章也有介绍《如何升级Cloudera Manager和CDH版本》，本篇文章Fayson主要介绍跨多
最近使用Sqoop从Hive导出数据到MySQL中，出现了一系列的问题，下面将这个问题记录一下，避免再度踩坑！
【大数据搭建HDP3.x】Ambari2.7.4+HDP3.1.4离线搭建教程（上）
在前面的文章中，Fayson介绍了《0733-7.0.3-如何在Redhat7.6中安装CDP DC7.0.3》，这里我们基于这个环境开始安装Kerberos。Kerberos是一个用于安全认证的第三方协议，并不是Hadoop专用，你可以将其用于其他系统。它采用了传统的共享秘钥方式，实现了在网络环境下不一定保证安全的环境下，Client和Server之间的通信，适用于Client/Server模型，由MIT开发和实现。而使用CDP DC可以较为轻松的实现洁面后的Kerberos集成，本文Fayson主要介绍如何在Readhat7.2的CDP DC7.0.3环境中启用Kerberos。
本篇博客,小菌为大家带来的是zookeeper的安装! 安装zookeeper前的注意事项:
下载地址：http://archive.cloudera.com/cm5/repo-as-tarball/5.7.0/cm5.7.0-centos7.tar.gz
Cloudera于2018年8月30日正式发布CDH6.0.0，至2019年2月19日，最新的迭代版本为CDH6.1.1，可能马上就会发布CDH6.2。CDH6是基于Hadoop3同时包含大量其他组件的大版本更新的发布版本，许多用户考虑到未来CDH的版本主要是基于C6，而CDH5会慢慢的停止更新，所以考虑新搭集群使用CDH6，或者想把已有的CDH5集群升级到CDH6。第一个问题就是需要考虑CDH5和CDH6的差别，通过分析一些差异看能否将已有的应用迁移或者直接部署到CDH6，兼容性稳定性是否存在问题等。出于这个目的，本文会从各个方面详细比较CDH5和CDH6的差别，从而让用户能够进行正确的判断并进行相应的选择。以下内容主要基于最新的CDH5.16.1和CDH6.1.1进行比较。最后再次强调，没有最好的技术，也没有最新的技术就是最好的，永远只有最合适的技术。
2.回到Cloudera Manager上点击HBase服务，然后进入Thrift的配置页。
Kudu官网没有提供好编译好的Kudu安装包，我们可以下载源码进行编译获取安装包，这里为了方便我们直接使用Cloudera 提供的CDH版本kudu安装包：
ansible是常用的运维工具，可大幅度简化整个部署过程，接下来会使用ansible来完成部署工作，如果您对ansible还不够了解，请参考《ansible2.4安装和体验》，部署操作如下图所示，在一台安装了ansible的电脑上运行脚本，由ansible远程连接到一台CentOS7.7的服务器上，完成部署工作：
上传到指定目录输入命令rz （如果没有这个命令 需要安装lrzsz插件 命令 yum -y install lrzsz）
在前面的文章中，Fayson介绍了《如何在Redhat7.4安装CDH6.0》，这里我们基于这个环境开始安装Kerberos。关于CDH启用Kerberos的文章，前面Fayson也介绍过《如何在CDH集群启用Kerberos》、《如何在Redhat7.3的CDH5.14中启用Kerberos》、《如何在Redhat7.4的CDH5.15中启用Kerberos》和《如何在CDH6.0.0-beta1中启用Kerberos》，通过本文，我们也可以来看看CDH6启用Kerberos有哪些不一样的地方。
除了常见的standalone模式，Flink还支持将任务提交到Yarn环境执行，任务所需的计算资源由Yarn Remource Manager来分配，如下图(来自Flink官网)：
。。。 查看之前的这篇安装jdk： https://mp.csdn.net/mdeditor/102639879# 保证至少有三个虚拟机，每个虚拟机完成上面操作
Fayson在之前的文章详细介绍了CDH5.13的新功能，参考《CDH5.13和CM5.13的新功能》。CDH5.13中默认打包了Kudu，我们在安装Kudu的时候再也不用单独下载Kudu的Parcel包，与其他组件一样直接增加服务即可。另外这个版本Kudu1.5支持Sentry的database，table以及column的SELECT/INSERT授权，旧的版本只能支持数据库或表的全部授权，不能区分SELECT和INSERT，且不支持列授权。
注意事项：HBase强依赖zookeeper和hadoop，安装HBase之前一定要保证zookeeper和hadoop启动成功，且服务正常运行
在开始之前,有一个注意事项:HBase强依赖zookeeper和hadoop，安装HBase之前一定要保证zookeeper和hadoop启动成功，且服务正常运行。
YARN是Hadoop2.x才有的，所以在介绍YARN之前，我们先看一下MapReduce1.x时所存在的问题：
7、启动集群 a)格式化集群 在第一个节点执行 hadoop namenode -format
注：本安装指南使用rpm的方式安装kudu，因为在测试过程中，发现源码编译安装kudu后部分命令无法使用，故放弃这种方式。
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/wzy0623/article/details/51601989
离线数据分析平台实战——080HBase介绍和安装 HBase介绍 HBase是参考google的bigtable的一个开源产品， 建立在hdfs之上的一个提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。 是一种介于nosql和RDBMs之间的一种数据库系统， 仅支持通过rowkey和range进行数据的检索，主要存储非结构化数据和半结构化数据。 HBase和Hadoop一样，目标是通过横向扩展，添加普通机器来增加存储性能和计算性能。 HBase特点： 大(一个表可以有上亿行以及百万级
CDH平台中的安全，认证（Kerberos/LDAP）是第一步，授权（Sentry）是第二步。如果要启用授权，必须先启用认证。但在CDH平台中给出了一种测试模式，即不启用认证而只启用Sentry授权。但强烈不建议在生产系统中这样使用，因为如果没有用户认证，授权没有任何意义形同虚设，用户可以随意使用任何超级用户登录HiveServer2或者Impala，并不会做密码校验。注：本文档仅适用于测试环境。
本文档主要描述离线环境下，CentOS6.5操作系统部署CDH5.12.1企业版的过程。本安装文档主要分为4个步骤：
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/wzy0623/article/details/51768968
相信大家在看了小菌的上一篇博客《Apache Hue 介绍》后,对Hue已经有了一个大致的理解。本篇博客，小菌将为大家带来Hue的安装,配置,编译！
1、使用sqoop技术将mysql的数据导入到Hive出现的错误如下所示： 第一次使用命令如下所示： 1 [hadoop@slaver1 sqoop-1.4.5-cdh5.3.6]$ bin/sqoop import --connect jdbc:mysql://localhost:3306/test --username root --password 123456 --table tb_user --hive-import --m 1 2 Warning: /home/hadoop/soft/s
HBase的集群环境搭建 注意事项：HBase强依赖zookeeper和hadoop， 安装HBase之前一定要保证zookeeper和hadoop启动成功，且服务正常运行 第一步：下载对应的HBase的安装包 所有关于CDH版本的软件包下载地址如下 http://archive.cloudera.com/cdh5/cdh/5/ HBase对应的版本下载地址如下 http://archive.cloudera.com/cdh5/cdh/5/hbase-1.2.0-cdh5.14.0.tar.gz 第二步
在CDH5.12.1集群中，默认安装的spark是1.6版本，这里需要将其升级为spark2.1版本。经查阅官方文档，发现spark1.6和2.x是可以并行安装的，也就是说可以不用删除默认的1.6版本，可以直接安装2.x版本，它们各自用的端口也是不一样的。
Flume + Kafka基本是日志实时采集的标准搭档了。 本篇文章基于Flume-ng-1.6.0-cdh5.7.0 + CentOS6.7 + JDK1.6+ 下载，安装JDK 1.解压到 ~/app 2.将java配置系统环境变量中: vi ~/.bash_profile export JAVA_HOME=/home/hadoop/app/jdk1.8.0_144 export PATH=$JAVA_HOME/bin:$PATH 3.source ~/.bash_profile下让其配置生
本文是由alice菌发表在：https://blog.csdn.net/weixin_44318830/article/details/102846055
Fayson在前面的文章中介绍过什么是Spark Thrift，Spark Thrift的缺陷，以及Spark Thrift在CDH5中的使用情况，参考《0643-Spark SQL Thrift简介》。
Hadoop版本： cdh5.0.1(manmual安装，未安装cloudera-manager相关)
<url>https://repository.cloudera.com/artifactory/cloudera-repos</url>
MapReduce源自Google的MapReduce论文，论文发表于2004年12月。Hadoop MapReduce可以说是Google MapReduce的一个开源实现。MapReduce优点在于可以将海量的数据进行离线处理，并且MapReduce也易于开发，因为MapReduce框架帮我们封装好了分布式计算的开发。而且对硬件设施要求不高，可以运行在廉价的机器上。MapReduce也有缺点，它最主要的缺点就是无法完成实时流式计算，只能离线处理。
问题导读： 1.安装cdh5伪分布配置文件在什么位置？ 2.不同的操作系统，cdh5的安装过程都包含哪些流程？ 3.在yarn上运行wordcount都需要哪些准备？ 4.CDH5是如何安装的？ 简介： 如果安装过Cloudera Manager5，我们可能会知道，这个安装还是比较曲折的，因为一旦网络中断，那么我们的安装失败率还是比较高的。如果我们只想了解CDH，我们安装CDH5.CDH5该如何安装，而它的安装确实比hadoop要简单些，我们这里介绍单节点伪分布安装及如何在yarn上运行word
准备工作 1, 配置hostname vi /etc/sysconfig/network 修改hostname： NETWORKING=yes HOSTNAME=master 通过 service network restart 重启网络服务生效。 vi /etc/hosts ,修改ip与主机名的对应关系
这篇博客,小菌分享的是大数据集群的安装部署,超级有效,希望能够帮助到大家!在正式部署之前,我们需要做一些准备工作。
本课程目标 本课程有以下几个目标： 第一：对hadoop没有了解的学员来说，可以帮助其了解在一般工作中hadoop的基本用法，以及对如何用hadoop有一定的了解。 第二：对hadoop有了解的学员来说，其一可以帮助学员加深对hadoop的了解，其二可以让学员对hadoop的实际应用场景有一个比较深入的了解。 Hadoop的主要应用场景 这里说的hadoop指的是以hadoop为中心的hadoop生态圈。 场景1：数据分析平台 场景2：推荐系统 场景3：业务系统的底层存储系统 场景4：业务监控系统
hive安装包scp在所有需要安装impala的节点上，因为impala需要引用hive的依赖包。
本文是《CDH5部署三部曲》的第二篇，上一篇《CDH5部署三部曲之一：准备工作》将集群所有机器做了必要的设置，今天一起来完成CDH的部署、启动、设置等操作；
wget –P /etc/yum.repos.d https://archive.cloudera.com/cm5/RedHat/7/x86_64/cm/cloudera-manager.repo
或者 ./runRemoteCmd.sh '~/och200/zookeeper/bin/zkServer-initialize.sh --myid=1' zoo
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
云直播
对象存储
