展开

关键词

Hbase-2.0.0_01_安装部署

主机规划 主机名称 IP信息 内网IP 操作系统 安装软件 备注:运行程序 mini01 10.0.0.11 172.16.1.11 CentOS 7.4 jdk、hadoop、zookeeper、hbase QuorumPeerMain、NameNode、HMaster mini02 10.0.0.12 172.16.1.12 CentOS 7.4 jdk、hadoop、zookeeper、hbase QuorumPeerMain 、ResourceManager、HMaster mini03 10.0.0.13 172.16.1.13 CentOS 7.4 jdk、hadoop、zookeeper、hbase QuorumPeerMain 、DataNode、NodeManager、HRegionServer mini04 10.0.0.14 172.16.1.14 CentOS 7.4 jdk、hadoop、zookeeper、hbase QuorumPeerMain、DataNode、NodeManager、HRegionServer mini05 10.0.0.15 172.16.1.15 CentOS 7.4 jdk、hadoop

16930

安装指定版本的docker服务

这个问题对于Hadoop本身是没有任何问题的,但是当我们启动hbase的时候却有问题了。 通过日志发现hbase找不到datanode的节点信息,因为hbase得到的是LB的IP而不是datanode本身的IP,最终导致hbase启动失败。 _64 17.09.1.ce-1.el7.centos docker-ce-stable20 docker-ce.x86_64 17.09.0.ce-1.el7.centos docker-ce-stable21 docker-ce.x86_64 17.06.2.ce-1.el7.centos docker-ce-stable22 docker-ce.x86_64 17.06.1.ce-1.el7.centos _64 17.03.1.ce-1.el7.centos docker-ce-stable27 docker-ce.x86_64 17.03.0.ce-1.el7.centos docker-ce-stable28

78752
  • 广告
    关闭

    腾讯云前端性能优化大赛

    首屏耗时优化比拼,赢千元大奖

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    hive_学习_02_hive整合hbase(失败)

    一、前言本文承接上一篇:hive_学习_01_hive环境搭建(单机) ,主要是记录 hive 整合hbase的流程二、环境准备1.环境准备操作系统 : linux CentOS 6.8jdk :1.7cdh 2.关闭防火墙关闭防火墙,这样就可以在本机 window 中访问虚拟机的所有端口了CentOS 7版本以下输入:service iptables stopCentOS 7 以上的版本输入:systemctl 2.Hive整合HBase后的使用场景:(一)通过Hive把数据加载到HBase中,数据源可以是文件也可以是Hive中的表。(二)通过整合,让HBase支持JOIN、GROUP等SQL查询语法。 (三)通过整合,不仅可完成HBase的数据实时查询,也可以使用Hive查询HBase中的数据完成复杂的数据分析。 五、hive整合hbase因为Hive与HBase整合的实现是利用两者本身对外的API接口互相通信来完成的,其具体工作交由Hive的lib目录中的hive-hbase-handler-.jar工具类来实现

    25720

    hbase_学习_01_HBase环境搭建(单机)

    若决定使用CDH版本,则要保证相关软件的CDH版本相同,如 选择 hadoop-2.6.0-cdh5.9.3  与  hbase-1.2.0-cdh5.9.32.环境准备操作系统 : linux CentOS 2.关闭防火墙关闭防火墙,这样就可以在本机 window 中访问虚拟机的所有端口了CentOS 7版本以下输入:service iptables stopCentOS 7 以上的版本输入:systemctl (3)使配置生效source etcprofile(4)验证输入以下命令,会显示hbase的版本hbase version 2.配置hbase-env.sh 切换到 developerhbase-1.2.0conf 配置 hbase-site.xml (1)编辑hbase-site.xml 文件sudo vim hbase-site.xml(2)添加以下配置 hbase.rootdir hdfs:rayner:9000hbase 七、参考资料1.大数据学习系列之二 ----- HBase环境搭建(单机)2.HBase 默认配置3.Apache HBase ™ Reference Guide

    25830

    HBase集群部署指南

    一、前言1、HBase简介HBase是一个分布式的、面向列的开源数据库。HBase在Hadoop之上提供了类似于Google Bigtable的能力。 ZooKeeper zknode2 192.168.88.12 ZooKeeper zknode3 192.168.88.13 ZooKeeper 2、软件环境说明 项 说明 Linux Server CentOS 虚拟机:https:ken.ionotehyper-v-course-setup-centos参考以上文章部署6台CentOS虚拟机JDK1.8部署CentOS下JDK部署:https:ken.ionotecentos-java-setup ,可能会引发HBase的异常,所以我们需要通过NTP的手段保证HBase各节点的时间是同步的。 (hdfs02)hbase-daemon.sh start master --backup四、HBase集群测试1、HBase Shell命令测试进入Shell命令行# hbase shellSLF4J

    3K40

    spark-2.4.0-hadoop2.7-安装部署 4.1. Spark安装4.2. 环境变量修改4.3. 配置修改4.4. 分发到其他机器4.5. 启动spark

    主机规划 主机名称 IP地址 操作系统 部署软件 运行进程 备注 mini01 172.16.1.11【内网】 10.0.0.11 【外网】 CentOS 7.5 Jdk-8、zookeeper-3.4.5 、Hadoop2.7.6、hbase-2.0.2、kafka_2.11-2.0.0、spark-2.4.0-hadoop2.7【主】 QuorumPeerMain、 mini02 172.16.1.12 【内网】 10.0.0.12 【外网】 CentOS 7.5 Jdk-8、zookeeper-3.4.5、Hadoop2.7.6、hbase-2.0.2、kafka_2.11-2.0.0 QuorumPeerMain 、 mini03 172.16.1.13【内网】 10.0.0.13 【外网】 CentOS 7.5 Jdk-8、zookeeper-3.4.5、Hadoop2.7.6、hbase-2.0.2、kafka 】 10.0.0.15 【外网】 CentOS 7.5 Jdk-8、zookeeper-3.4.5、Hadoop2.7.6、hbase-2.0.2、spark-2.4.0-hadoop2.7 QuorumPeerMain

    15011

    Hbase伪分布式集群搭建

    ----环境准备一台Linux虚拟机 我用的CentOS-6.6的一个虚拟机,主机名为repo 参考在Windows中安装一台Linux虚拟机 hbase安装包 下载地址:https:mirrors.aliyun.comapachehbase 我用的hbase-1.2.6----1. 把hbase安装包上传到服务器并解压# tar -zxvf hbase-1.2.6-bin.tar.gz -C opt2. 启动hbase# start-hbase.sh6. , Mon May 29 02:25:32 CDT 2017 hbase(main):001:0> hbase伪分布式集群搭建成功!

    44330

    spark-2.4.0-hadoop2.7-高可用(HA)安装部署 5.1. Spark安装5.2. 环境变量修改5.3. 配置修改5.4. 分发到其他机器5.5.

    主机规划 主机名称 IP地址 操作系统 部署软件 运行进程 备注 mini01 172.16.1.11【内网】 10.0.0.11 【外网】 CentOS 7.5 Jdk-8、zookeeper-3.4.5 、Hadoop2.7.6、hbase-2.0.2、kafka_2.11-2.0.0、spark-2.4.0-hadoop2.7【主】 QuorumPeerMain、 mini02 172.16.1.12 【内网】 10.0.0.12 【外网】 CentOS 7.5 Jdk-8、zookeeper-3.4.5、Hadoop2.7.6、hbase-2.0.2、kafka_2.11-2.0.0、spark-2.4.0 10.0.0.14 【外网】 CentOS 7.5 Jdk-8、zookeeper-3.4.5、Hadoop2.7.6、hbase-2.0.2、spark-2.4.0-hadoop2.7 QuorumPeerMain 、 mini05 172.16.1.15【内网】 10.0.0.15 【外网】 CentOS 7.5 Jdk-8、zookeeper-3.4.5、Hadoop2.7.6、hbase-2.0.2、spark

    17921

    HBase Thrift with Python

    说在文前本文内容是基于 Centos 7、HDP 3.0.0、HBase 2.0.0、Python 2.7 环境下,其他环境的童鞋选择性进行参考。Thrift 安装在 HBase 服务节点上即可。 flex bison pkgconfig gcc-c++ libevent-devel zlib-devel python-devel ruby-devel openssl-devel安装 boost (CentOS (hbase-1 请忽略)? For a server principal of hbaselocalhost@EXAMPLE.COM, the primary is hbasesaslServiceName = hbase # HBase For a server principal of hbaselocalhost@EXAMPLE.COM, the primary is hbasesaslServiceName = hbase # HBase

    1.5K30

    HBase实践 | 使用 Docker 快速上手 HBase

    前言:本文主要讲述了如何使用Docker快速上手HBase,省去繁杂的安装部署环境,直接上手,小白必备。适合HBase入门学习及简单代码测试。1. Docker 安装参考地址:https:yeasy.gitbook.iodocker_practiceinstall 支持常用的操作系统:Centos ubuntu Windows macos 等 HBase实操4.1 访问HBase WebUI:http:docker-hbase:16010master-status 4.2 访问HBase Shell查看正在运行的容器:docker ps 找到容器 id,进入容器:docker exec -it bash 访问HBase Shell,进入容器后直接输入:bash-4.4# hbase shell2020-05-20 03:59:26,228 WARN String ZK_QUORUM = docker-hbase; public static String ZK_ZNODE = hbase; public static String ZK_PORT

    2.2K40

    Hbase完全分布式集群搭建

    ----环境准备服务器集群 我用的CentOS-6.6版本的4个虚拟机,主机名为hadoop01、hadoop02、hadoop03、hadoop04,另外我会使用hadoop用户搭建集群(生产环境中root 安装步骤(1) 把hbase安装包上传到集群中任一服务器中并解压$ tar -zxvf hbase-1.2.6-bin.tar.gz -C opt(2) 修改hbase-env.sh配置文件hbase的配置文件在 HBASE_MANAGES_ZK=false(3) 修改hbase-site.xml配置文件$ vim hbase-site.xml hbase.rootdir hdfs:jeduserhbase hbase.cluster.distributed 安装目录分发给其他节点$ scp -r hbase-1.2.6 hadoop02:`pwd`$ scp -r hbase-1.2.6 hadoop03:`pwd`$ scp -r hbase-1.2.6 (3) 测试是否可以进入hbase命令行?至此,hbase完全分布式集群搭建成功!

    1.7K20

    hbase分布式集群搭建

    本文中没有按照独立的zookeeper,使用了hbase自带的zookeeper。 、hbase-site.xml、regionservers三个文件,都在 usrlocalhbaseconf目录下面:配置hbase-env.shvim hbase-env.sh#内容export JAVA_HOME slave进程因为hbase依赖于hadoop,因此启动和停止都是需要按照顺序进行如果安装了独立的zookeeper启动顺序: hadoop-> zookeeper-> hbase停止顺序:hbase -> zookeeper-> hadoop使用自带的zookeeper启动顺序: hadoop-> hbase停止顺序:hbase-> hadoop重启hbase~hbasebinstop-hbase.sh HBase配置文件hbase-siter.xml中添加连接时长的属性 hbase.master.maxclockskew 120000 参考:centos 6.4下hbase 1.0.1 分布式集群搭建

    64430

    HBase-1.3.1 集群搭建

    什么是HBaseHBase是建立在Hadoop文件系统之上的分布式面向列的数据库。它是一个开源项目,是横向扩展的。HBase是一个数据模型,类似于谷歌的大表设计,可以提供快速随机访问海量结构化数据。 人们可以直接或通过HBase的存储HDFS数据。使用HBase在HDFS读取消费随机访问数据。 HBase在Hadoop的文件系统之上,并提供了读写访问。 准备工作环境JDK:1.8 Hadoop Release:2.7.4 centos:7.3 node1(master) 主机: 192.168.252.121 node2(salve) 从机: 192.168.252.122 进入HBase配置文件目录cd homehadoophbase-1.3.1conf编辑 hadoop-env.sh 文件,找到 JAVA_HOME 改为 JDK 的安装目录vi hbase-env.shexport node4:2181 配置集群修改 regionservers 文件删除locahost,添加所有hbase节点的主机名# cat regionservers node2node3复制节点将 hbase

    35250

    hbase基础操作 转

    hbase简介–HBase–HadoopDatabase,是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库–利用HadoopHDFS作为其文件存储系统,利用HadoopMapReduce来处理 HBase中的海量数据,利用Zookeeper作为其分布式协同服务–主要用来存储非结构化和半结构化的松散数据(列存NoSQL数据库) hbase是一种搭建在hadoop上的数据库。 hbase是一种以低延迟为目标的在线系统,而hadoop是一种为吞吐量优化的离线系统。互补可以搭建水平扩展的数据应用。 mirror.bit.edu.cnapachehbase2.1.0下载javahttp:www.oracle.comtechnetworkjavajavasedownloadsjre8-downloads-2133155.html 解压到安装目录 centos 修改HBase下的conf目录中的hbase-env.sh文件(你的jdk路径可能不一样):export JAVA_HOME=usrlocaljdk1.7.0_67export HBASE_MANAGES_ZK

    20820

    使用 Phoenix-4.11.0连接 Hbase 集群 ,并使用 JDBC 查询测试

    Apache Phoenix 是运行在Hbase之上的高性能关系型数据库,通过Phoenix可以像使用jdbc访问关系型数据库一样访问hbase。Phoenix,操作的表以及数据存储在hbase上。 phoenix只需要和hbase进行表关联。然后在用工具进行一些读写操作。可以把Phoenix 只看成一种代替Hbase语法的工具。 准备工作环境JDK:1.8 Hadoop Release:2.7.4 centos:7.3 node1(master) 主机: 192.168.252.121 node2(salve) 从机: 192.168.252.122 -4.11.0把两个 jar 包 phoenix-4.11.0-HBase-1.3-client.jar,phoenix-core-4.11.0-HBase-1.3.jar 拷贝至 Hbase的lib文件夹 -1.3-client.jar,phoenix-core-4.11.0-HBase-1.3.jar 拷贝至 Hbase的lib文件夹。

    1.4K50

    HBase的安装部署

    一、 准备环境Java-- jdk-8u121-linux-x64.tar.gzHadoop--hadoop-2.7.4.tar.gz (jdk1.7会报错)Hbase-- hbase-1.2.0-bin.tar.gzZookeeper Centos 6.5是本文采用的操作系统二, 安装ZookeeperZookeeper的单机版安装很简单。主要是配置数据存储目录。 首先要启动Zookeeper,因为hbase是依赖于Zookeeper的,然后启动hbasehbase-daemon.sh start master hbase-daemon.sh start regionserver ? 5, 在Zookeeper中查看hbase信息?

    40280

    大数据学习系列之五 ----- Hive整合HBase图文详解

    Hive和HBase的通信意图Hive与HBase整合的实现是利用两者本身对外的API接口互相通信来完成的,其具体工作交由Hive的lib目录中的hive-hbase-handler-*.jar工具类来实现 Hive整合HBase后的使用场景:(一)通过Hive把数据加载到HBase中,数据源可以是文件也可以是Hive中的表。(二)通过整合,让HBase支持JOIN、GROUP等SQL查询语法。 一、环境选择1,服务器选择本地虚拟机操作系统:linux CentOS 7Cpu:2核内存:2G硬盘:40G2,配置选择JDK:1.8 (jdk-8u144-linux-x64.tar.gz)Hadoop CentOS 7版本以下输入:关闭防火墙service iptables stopCentOS 7 以上的版本输入:systemctl stop firewalld.service4,时间设置查看当前时间输入 映射为hbase中的表t_student,key对应hbase的rowkey,value对应hbase的st1:name列。

    48100

    最新大数据集群安装方法CentOS7.6__大数据环境安装和配置

    本篇文章搭建时涉及的安装包都下载好放入百度云 ( 百度云链接https:pan.baidu.coms1jKgua2U1yacbrbgQk4-wFg 提取码:r93h)系统说明系统:CentOS 7.6 # 注意:centos自从7版本以后网卡名变成ens33而不是我这里的eth0了,我是习惯eth0了所以在安装的时候修改了网卡名,如果你的centos网卡名是ens33不要紧,就把我这里eth0的地方都换成你的 七、Hbase安装和配置介绍HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。 Hadoop HDFS为HBase提供了高可靠性的底层存储支持,Hadoop MapReduce为HBase提供了高性能的计算能力,Zookeeper为HBase提供了稳定服务和failover机制。 1、环境配置创建目录,将下载好的压缩包上传并解压# mkdir hbase# cd hbase# tar -zxvf hbase-2.1.1-bin.tar.gz# 环境变量# vim etcprofileexport

    3440

    一次bug死磕经历之Hbase堆内存小导致regionserver频繁挂掉 编辑

    Centos6.5 Apache Hadoop2.7.1 Apache Hbase0.98.12 Apache Zookeeper3.4.6 JDK1.7 Ant1.9.5 Maven3.0.5 最近在测Hbase Hadoop安装了lzo和snappy,插入50条文本数据,每条数据大约4M,来看他们的压缩率对比, 然后在测的过程中,发现用java客户端去scan这50条数据时,regionserver频繁宕机看hbase 因为我实在想不出来可能的问题所在了,然后就在本机虚拟机上进行测试, 虚拟机的环境,因为是自己用,所以JDK版本是1.8 和 Centos版本是7,Hbase,Hadoop,Zookeeper版本则保持一致 , 搭建完毕后,继续测试,发现问题依旧,这下令人更迷惑了,看的出来非环境的问题了,不过这次有了点新的线索,由于用的是JDK8,在Hbase的log里面发现出现了大量的full gc日志,意思就是内存严重不足 ,导致垃圾收集时间出现了4,5秒,这下我才有点头绪,hbase是个吃内存的玩意,内存给的少,确实有可能导致regionserver挂掉,于是我查看hbase的堆内存分配情况,发现是默认的1G,这下确实跟这个有很大关系

    45670

    001.hadoop及hbase部署

    一 环境准备1.1 相关环境系统:CentOS 7#CentOS 6.x系列也可参考,转换相关命令即可。 十 安装及配置hbase10.1 安装hbase 1 # cd usr 2 # tar -zxvf hbase-1.0.3-bin.tar.gz #解压hbase 3 # mkdir usrhbase- 1.0.3logs #创建hbase的日志存放目录 4 # mkdir usrhbase-1.0.3temp #hbase的临时文件存放目录 5 # mkdir usrhbase-1.0.3temppid 默认Hbase会管理一个zookeep集群,即HBASE_MANAGES_ZK=true,这个集群会随着 Hbase 的启动而启动。 也可以采用独立的 zookeeper 来管理 hbase,即HBASE_MANAGES_ZK=false。

    23330

    相关产品

    • 弹性 MapReduce

      弹性 MapReduce

      弹性MapReduce (EMR)结合云技术和  Hadoop等社区开源技术,提供安全、低成本、高可靠、可弹性伸缩的云端托管 Hadoop 服务。您可以在数分钟内创建安全可靠的专属 Hadoop 集群,以分析位于集群内数据节点或 COS 上的 PB 级海量数据……

    相关资讯

    热门标签

    活动推荐

      运营活动

      活动名称
      广告关闭

      扫码关注云+社区

      领取腾讯云代金券