前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >大数据相关服务版本及端口号和访问地址

大数据相关服务版本及端口号和访问地址

作者头像
码客说
发布2022-12-16 15:30:00
6600
发布2022-12-16 15:30:00
举报
文章被收录于专栏:码客码客

各版本

部署的各个服务及版本

服务

版本

说明

JDK

8u221

JDK8是其他服务启动的基础

Zookeeper

3.7.1

Hadoop

2.7.7

较新的版本不太好找找其他服务的兼容版本

Flink

1.12.7

做大数据计算

Hbase

2.1.10

查询高效的数据库

Phonenix

5.1.2

SQL方式操作Hbase

Zookeeper

端口2181

连接

代码语言:javascript
复制
zkCli.sh

输入命令

代码语言:javascript
复制
#查看zk的根目录kafka相关节点
ls /
#查看kafka节点
ls /brokers
ls /brokers/topics  

create /zk "test"
set /zk "zkbak"
get /zk

Hadoop

我的服务器的IP为 192.168.7.101

HDFS监控页面查询:

http://192.168.7.101:50070/

http://192.168.7.102:50070/

查看文件可以访问这个地址

http://192.168.7.101:50070/explorer.html#/

http://192.168.7.102:50070/explorer.html#/

Yarn监控页面查询:

http://192.168.7.102:8088/cluster

http://192.168.7.103:8088/cluster

连接具体的NameNode需要用9000端口

代码语言:javascript
复制
hdfs://hacluster/hbase
hdfs://192.168.7.102:9000/hbase

Flink

Flink有个UI界面,可以用于监控Flilnk的job运行状态 http://192.168.7.101:8081/

Hbase

HMaster 的 Web 接口

http://192.168.7.101:16010

http://192.168.7.102:16010

HRegionServer 的 Web 接口

http://192.168.7.101:16030

http://192.168.7.102:16030

http://192.168.7.103:16030

两个重要配置

在HDFS中的Path和ZK中的Path

代码语言:javascript
复制
<property>
  <name>hbase.rootdir</name>
  <value>hdfs://hacluster/hbase</value>
</property>
<property>
  <name>hbase.zookeeper.quorum</name>
  <value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value>
</property>
<property>
  <name>zookeeper.znode.parent</name>
  <value>/hbase</value>
</property>

连接

代码语言:javascript
复制
hbase shell

list
get 'zdb:tuser','95001'
scan 'zdb:tuser', {FORMATTER => 'toString'}

创建表

代码语言:javascript
复制
create 'student','s_name','s_sex','s_age','s_dept','s_course'

# 创建表示指定保存的版本数
create 'teacher',{NAME=>'username',VERSIONS=>5}

查看表详情

代码语言:javascript
复制
describe 'student'

显示所有的表

代码语言:javascript
复制
list

插入数据

代码语言:javascript
复制
put 'student','95001','s_name','LiYing'
put 'student','95001','s_sex','Male'
put 'student','95001','s_course:math','80'
put 'student','95001','s_course:english','90'

查看表数据

代码语言:javascript
复制
scan 'student', {FORMATTER => 'toString'}

重启

代码语言:javascript
复制
$HBASE_HOME/bin/stop-hbase.sh
$HBASE_HOME/bin/start-hbase.sh

查看服务

代码语言:javascript
复制
ha-call.sh "jps"

Phonenix

连接

代码语言:javascript
复制
sqlline.py hadoop01,hadoop02,hadoop03:2181

!schema

use "zdb";
!table
select * from "tuser";

!quit
本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2022-12-15,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 各版本
  • Zookeeper
  • Hadoop
  • Flink
  • Hbase
  • Phonenix
相关产品与服务
TDSQL MySQL 版
TDSQL MySQL 版(TDSQL for MySQL)是腾讯打造的一款分布式数据库产品,具备强一致高可用、全球部署架构、分布式水平扩展、高性能、企业级安全等特性,同时提供智能 DBA、自动化运营、监控告警等配套设施,为客户提供完整的分布式数据库解决方案。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档