展开

关键词

指定版本的docker服务

说明 之前部署docker服务的时候都是最新的docker版本,并使用docker swarm部署大数据组件。 通过日志发现hbase找不到datanode的节点信息,因为hbase得到的是LB的IP而不是datanode本身的IP,最终导致hbase启动失败。 2. docker指定版本 1 # 必要的一些系统工具 2 # yum install -y yum-utils device-mapper-persistent-data lvm2 3 # 添加软件源信息 4 # yum-config-manager --add-repo http:mirrors.aliyun.comdocker-celinuxcentosdocker-ce.repo 5 # 查看可的版本信息 # 指定版本的docker服务29 # yum -y install docker-ce-17.09.0.ce-1.el7.centos 30 # 版本信息查看31 # docker -v32 Docker

76952

hive_学习_02_hive整合hbase(失败)

一、前言本文承接上一篇:hive_学习_01_hive环境搭建(单机) ,主要是记录 hive 整合hbase的流程二、环境准备1.环境准备操作系统 : linux CentOS 6.8jdk :1.7cdh 版本为: 5.9.3mysql :  5.1.73 hadoop-2.6.0-cdh5.9.3 hbase-1.2.0-cdh5.9.3hive-1.1.0-cdh5.9.32.mysql3.hadoop  参考:hadoop_学习_02_Hadoop环境搭建(单机)4. hbase参考:hbase_学习_01_HBase环境搭建(单机)5.hive参考:hive_学习_01_hive环境搭建(单机 2.关闭防火墙关闭防火墙,这样就可以在本机 window 中访问虚拟机的所有端口了CentOS 7版本以下输入:service iptables stopCentOS 7 以上的版本输入:systemctl 2.Hive整合HBase后的使用场景:(一)通过Hive把数据加载到HBase中,数据源可以是文件也可以是Hive中的表。(二)通过整合,让HBase支持JOIN、GROUP等SQL查询语法。

25320
  • 广告
    关闭

    腾讯云前端性能优化大赛

    首屏耗时优化比拼,赢千元大奖

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Hbase伪分布式集群搭建

    ----环境准备一台Linux虚拟机 我用的CentOS-6.6的一个虚拟机,主机名为repo 参考在Windows中一台Linux虚拟机 hbase包 下载地址:https:mirrors.aliyun.comapachehbase 我用的hbase-1.2.6----1. 把hbase包上传到服务器并解压# tar -zxvf hbase-1.2.6-bin.tar.gz -C opt2. 启动hbase# start-hbase.sh6. , Mon May 29 02:25:32 CDT 2017 hbase(main):001:0> hbase伪分布式集群搭建成功!

    44330

    Hbase-2.0.0_01_部署

    主机规划 主机名称 IP信息 内网IP 操作系统 软件 备注:运行程序 mini01 10.0.0.11 172.16.1.11 CentOS 7.4 jdk、hadoop、zookeeper、hbase QuorumPeerMain、NameNode、HMaster mini02 10.0.0.12 172.16.1.12 CentOS 7.4 jdk、hadoop、zookeeper、hbase QuorumPeerMain 、ResourceManager、HMaster mini03 10.0.0.13 172.16.1.13 CentOS 7.4 jdk、hadoop、zookeeper、hbase QuorumPeerMain 、DataNode、NodeManager、HRegionServer mini04 10.0.0.14 172.16.1.14 CentOS 7.4 jdk、hadoop、zookeeper、hbase whether it should manage its own instance of ZooKeeper or not.15 # 如果使用独立的zookeeper这个地方就是false16 #

    16930

    HBase Thrift with Python

    说在文前本文内容是基于 Centos 7、HDP 3.0.0、HBase 2.0.0、Python 2.7 环境下,其他环境的童鞋选择性进行参考。Thrift HBase 服务节点上即可。 Thrift依赖包yum install -y automake libtool flex bison pkgconfig gcc-c++ libevent-devel zlib-devel python-devel ruby-devel openssl-devel boost (CentOS 7 必做)wget https:dl.bintray.comboostorgrelease1.64.0sourceboost 0.10.0.configure 或者 .configure --with-boost=usrlocal --without-java --without-phpmakemake install# 进行确认成功 thrift -help 0.10.0 版本之前的不支持 python 3.5 生成 hbase.thriftHDP 下 HBase 相应的目录下本身就已经存在 hbase.thrift 文件了,所以我们不需要自行创建了

    1.5K30

    Hbase完全分布式集群搭建

    ----环境准备服务器集群 我用的CentOS-6.6版本的4个虚拟机,主机名为hadoop01、hadoop02、hadoop03、hadoop04,另外我会使用hadoop用户搭建集群(生产环境中root 用户不是可以任意使用的) 关于虚拟机的可以参考以下两篇文章: 在Windows中一台Linux虚拟机 通过已有的虚拟机克隆四台虚拟机 服务器集群中已经搭建了hadoop集群(完全分布式和HA集群都可以 ) 参考 Hadoop完全分布式集群搭建 Hadoop高可用(HA)集群搭建 我的四台虚拟机上已经搭建了hadoop HA集群hbase包 下载地址:https:mirrors.aliyun.comapachehbase 步骤(1) 把hbase包上传到集群中任一服务器中并解压$ tar -zxvf hbase-1.2.6-bin.tar.gz -C opt(2) 修改hbase-env.sh配置文件hbase的配置文件在 目录分发给其他节点$ scp -r hbase-1.2.6 hadoop02:`pwd`$ scp -r hbase-1.2.6 hadoop03:`pwd`$ scp -r hbase-1.2.6

    1.6K20

    HBase实践 | 使用 Docker 快速上手 HBase

    前言:本文主要讲述了如何使用Docker快速上手HBase,省去繁杂的部署环境,直接上手,小白必备。适合HBase入门学习及简单代码测试。1. Docker 参考地址:https:yeasy.gitbook.iodocker_practiceinstall 支持常用的操作系统:Centos ubuntu Windows macos 等 以下前提:第一步Docker完成。 运行容器Docker成功后,直接运行以下命令。 HBase实操4.1 访问HBase WebUI:http:docker-hbase:16010master-status 4.2 访问HBase Shell查看正在运行的容器:docker ps 找到容器

    2.2K40

    spark-2.4.0-hadoop2.7-部署 4.1. Spark4.2. 环境变量修改4.3. 配置修改4.4. 分发到其他机器4.5. 启动spark

    【内网】 10.0.0.12 【外网】 CentOS 7.5 Jdk-8、zookeeper-3.4.5、Hadoop2.7.6、hbase-2.0.2、kafka_2.11-2.0.0 QuorumPeerMain 、 mini03 172.16.1.13【内网】 10.0.0.13 【外网】 CentOS 7.5 Jdk-8、zookeeper-3.4.5、Hadoop2.7.6、hbase-2.0.2、kafka 】 10.0.0.15 【外网】 CentOS 7.5 Jdk-8、zookeeper-3.4.5、Hadoop2.7.6、hbase-2.0.2、spark-2.4.0-hadoop2.7 QuorumPeerMain 、 说明 该Spark集群,但是有一个很大的问题,那就是Master节点存在单点故障,要解决此问题,就要借助zookeeper,并且启动至少两个Master节点来实现高可靠。 Spark 1 $ pwd 2 appsoftware 3 $ ll 4 total 238572 5 -rw-r--r-- 1 yun yun 227893062 Nov 19 21:24 spark

    14911

    HBase-1.3.1 集群搭建

    人们可以直接或通过HBase的存储HDFS数据。使用HBase在HDFS读取消费随机访问数据。 HBase在Hadoop的文件系统之上,并提供了读写访问。 准备工作环境JDK:1.8 Hadoop Release:2.7.4 centos:7.3 node1(master) 主机: 192.168.252.121 node2(salve) 从机: 192.168.252.122 node3(salve) 从机: 192.168.252.123 node4(ZooKeeper) 主机: 192.168.252.124依赖环境ScalaScala-2.13.0 及配置HadoopHadoop -2.7.4 集群快速搭建下载解压在 ndoe1 上操作su hadoopcd homehadoopwget https:mirrors.tuna.tsinghua.edu.cnapachehbase1.3.1hbase 进入HBase配置文件目录cd homehadoophbase-1.3.1conf编辑 hadoop-env.sh 文件,找到 JAVA_HOME 改为 JDK 的目录vi hbase-env.shexport

    35050

    hbase分布式集群搭建

    环境准备hbase软件包: http:mirror.bit.edu.cnapachehbase1.3.1hbase-1.3.1-bin.tar.gz完成hadoop集群环境搭建hbase 首先在hadoop-master 配置好之后,在复制到从节点 wget http:mirror.bit.edu.cnapachehbase1.3.1hbase-1.3.1-bin.tar.gz#解压tar -xzvf hbase-1.3.1 、hbase-site.xml、regionservers三个文件,都在 usrlocalhbaseconf目录下面:配置hbase-env.shvim hbase-env.sh#内容export JAVA_HOME slave进程因为hbase依赖于hadoop,因此启动和停止都是需要按照顺序进行如果了独立的zookeeper启动顺序: hadoop-> zookeeper-> hbase停止顺序:hbase HBase配置文件hbase-siter.xml中添加连接时长的属性 hbase.master.maxclockskew 120000 参考:centos 6.4下hbase 1.0.1 分布式集群搭建

    63930

    HBase集群部署指南

    一、前言1、HBase简介HBase是一个分布式的、面向列的开源数据库。HBase在Hadoop之上提供了类似于Google Bigtable的能力。 ZooKeeper zknode2 192.168.88.12 ZooKeeper zknode3 192.168.88.13 ZooKeeper 2、软件环境说明 项 说明 Linux Server CentOS 7 JDK 1.8.0 ZooKeeper 3.4.11 NTP 4.2.6 Hadoop 3.0.0 HBase 1.4.2 3、基础环境准备CentOS7虚拟机Hyper-V下CentOSx 虚拟机:https:ken.ionotehyper-v-course-setup-centos参考以上文章部署6台CentOS虚拟机JDK1.8部署CentOS下JDK部署:https:ken.ionotecentos-java-setup (hdfs02)hbase-daemon.sh start master --backup四、HBase集群测试1、HBase Shell命令测试进入Shell命令行# hbase shellSLF4J

    3K40

    HBase部署

    Centos 6.5是本文采用的操作系统二, ZookeeperZookeeper的单机版很简单。主要是配置数据存储目录。 三, 测试hbaseHbase的角色也简单,服务端就是master,regionserver,Zookeeper,剩下的就是管理客户端或者数据插入读取客户端。配置使用hbase主要有以下几个步骤。 首先要启动Zookeeper,因为hbase是依赖于Zookeeper的,然后启动hbasehbase-daemon.sh start master hbase-daemon.sh start regionserver ? 推荐阅读: 1,Hadoop伪分布式集群部署 2,Spark部署模式另类详解 3,Spark调优系列之硬件要求 4,Kafka源码系列之topic创建分区分配及leader选举

    40280

    手把手教你大数据开发测试环境手把手教你大数据开发测试环境

    手把手教你大数据开发测试环境下载地址 http:isoredirect.centos.orgcentos6isosx86_64 虚拟化软件 http:www.jianshu.comp6b589ecd62c2 Linux操作系统 CentOS http:www.jianshu.comp9a65e26cb1c7 设置Linux操作系统网络 http:www.jianshu.compdece534c011a 设置服务器时间 sudo date -s 2017-10-09 10:00:00 写入BIOS,防止重启失效 clock -w关闭防火墙,以免捣乱 chkconfig iptables off hadoop http:www.jianshu.comp66f5e4ce75c5 Hive http:www.jianshu.comp909a10fb1340 Hbase http:www.jianshu.compf18713951458 Flume http:www.jianshu.comp7f338dbd70c7

    55490

    hbase基础操作 转

    hbase简介–HBase–HadoopDatabase,是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库–利用HadoopHDFS作为其文件存储系统,利用HadoopMapReduce来处理 HBase中的海量数据,利用Zookeeper作为其分布式协同服务–主要用来存储非结构化和半结构化的松散数据(列存NoSQL数据库) hbase是一种搭建在hadoop上的数据库。 mirror.bit.edu.cnapachehbase2.1.0下载javahttp:www.oracle.comtechnetworkjavajavasedownloadsjre8-downloads-2133155.html 解压到目录 centos 7不支持java 32位,要下载64位,否则报错 # tar -zxvf jdk-8u101-linux-x64.tar.gz -C usrlocaljava完毕之后在etcprofile 修改HBase下的conf目录中的hbase-env.sh文件(你的jdk路径可能不一样):export JAVA_HOME=usrlocaljdk1.7.0_67export HBASE_MANAGES_ZK

    20720

    群辉docker的简单使用

    各种折腾后,感觉还是win,centos好用 但是,平时一些小功能,只有简单存储,和一些小折腾 发现群辉好一点的机器,都支持docker了 docker很方便,再加上群辉的一些软件相对好用 于是,折腾了一下 ----群辉一般用法,略这里自己使用docker 如果218+,418+,918+等等的,直接即可 自己是418play,界面没有docker,官网下载218+的docker 后,就可以到对应的界面了 (但是不能创建容器) ssh到linux下,到etcsynoinfo.conf修改#添加support_ovs_yes开启一下对应的vswitch即可----简单gitlab测试docker有2个库 ,切换到阿里云的库,找到gitlab(有很多版本,选择一个社区版本即可) 运行,再简单测试 可以看见对应的页面(一般centos自己,运气好,至少要2小时) docker占用内存小,很稳定,打开关闭也方便 以后想一个web环境,hbase环境,spark环境,也就很方便了麻雀虽小,五脏俱全

    2.9K30

    Hbase(三)Hbase配置

    Hbase(三):Hbase配置写在之前 已经好jdk环境和hadoop 完全分布式还需要zookeeper 单机模式直接解压包 tar -zxvf xxxxx.tar.gz ​ 修改confhbase-site.xml 主机,每个主机名独占一行,hbase启动或关闭时会按照该配置顺序启动或关闭主机中的hbaseHbase配置文件说明hbase-env.sh配置HBase启动时需要的相关环境变量 hbase-site.xml 配置HBase基本配置信息 HBASE启动时默认使用hbase-default.xml中的配置,如果需要可以修改hbase-site.xml文件,此文件中的配置将会覆盖hbase-default.xml 中的配置 修改配置后要重启hbase才会起作用启动集群 启动zookeep:.zkServer.sh start 启动hadoop:start-all.sh 启动hbase:start-hbase.sh 启动备用master实现高可用 hbase-daemon.sh start master 关闭集群 stop-hbase.sh 访问hbase客户端 hbase shell

    32410

    spark-2.4.0-hadoop2.7-高可用(HA)部署 5.1. Spark5.2. 环境变量修改5.3. 配置修改5.4. 分发到其他机器5.5.

    主机规划 主机名称 IP地址 操作系统 部署软件 运行进程 备注 mini01 172.16.1.11【内网】 10.0.0.11 【外网】 CentOS 7.5 Jdk-8、zookeeper-3.4.5 【内网】 10.0.0.12 【外网】 CentOS 7.5 Jdk-8、zookeeper-3.4.5、Hadoop2.7.6、hbase-2.0.2、kafka_2.11-2.0.0、spark-2.4.0 10.0.0.14 【外网】 CentOS 7.5 Jdk-8、zookeeper-3.4.5、Hadoop2.7.6、hbase-2.0.2、spark-2.4.0-hadoop2.7 QuorumPeerMain 、 mini05 172.16.1.15【内网】 10.0.0.15 【外网】 CentOS 7.5 Jdk-8、zookeeper-3.4.5、Hadoop2.7.6、hbase-2.0.2、spark Spark 1 $ pwd 2 appsoftware 3 $ ll 4 total 238572 5 -rw-r--r-- 1 yun yun 227893062 Nov 19 21:24 spark

    17921

    001.hadoop及hbase部署

    一 环境准备1.1 相关环境系统:CentOS 7#CentOS 6.x系列也可参考,转换相关命令即可。 三 jdk配置注意:将所需包上传至usr即可。 3.1 jdk环境 1 # cd usr 2 # tar -zxvf jdk-8u111-linux-x64.tar.gz 提示:三台都需要配置。 root.sshauthorized_keys #存在master和slave01的公钥 13 # cat root.sshauthorized_keys #存在master和slave02的公钥五 及配置hbase10.1 hbase 1 # cd usr 2 # tar -zxvf hbase-1.0.3-bin.tar.gz #解压hbase 3 # mkdir usrhbase-

    23030

    dockerhbase

    dockeryum install docker查找hbasedocker search hbaseCannot connect to the Docker daemon at unix:varrundocker.sock HBase with phoenix and the phoenix query s... 9 docker.io docker.iozenosshbase HBase image for Zenoss Master docker image for Apache HBase. 2 docker.io docker.iof21globalhbase-phoenix-server HBase phoenix 进入docker容器有两种方式,attach和exec,我们选择exec:docker exec -it hbase2 bashps -aux|grep hbase即可查到端口、pid和目录信息: hbase 当前目录:opthbase docker stop hbase2: 关闭容器 docker rm hbase2:删除容器 容器内部vim:先apt-get update ,然后apt-get install

    1.8K20

    hbase集群----Zookeeper和Hbase

    1.zookeeper把解压文件从桌面移到目录software ?解压 ?显示文件 ?修改zoo.cfg文件?我的丛机就是主机 ?注意:如果有多台丛机应该这样配? 检查zookeeper是否成功?我的是一台机子,所以显示standalone如果丛机不是本机,则显示follower? 2.hbase 解压?显示信息 ?配制hbase-env.sh ?? 配制hbase-site.xml?? 配制regionservers??注意我的是主机及丛机 如果是多台丛机的话这样配?如果是多台丛机的话还要发送给从节点hbase,主机即丛机的话不用配了? 启动hbase?用jps查看进程,我暂时还没开Hadoop,所以没有Hadoop的进程 ?启动hbase客户端 ?测试hbase,建一个表 ? 显示表信息,和插入数据,最后scan查看表的内容?

    41570

    相关产品

    • 弹性 MapReduce

      弹性 MapReduce

      弹性MapReduce (EMR)结合云技术和  Hadoop等社区开源技术,提供安全、低成本、高可靠、可弹性伸缩的云端托管 Hadoop 服务。您可以在数分钟内创建安全可靠的专属 Hadoop 集群,以分析位于集群内数据节点或 COS 上的 PB 级海量数据……

    相关资讯

    热门标签

    活动推荐

      运营活动

      活动名称
      广告关闭

      扫码关注云+社区

      领取腾讯云代金券