专栏首页测试开发架构之路centos7配置Hadoop集群环境

centos7配置Hadoop集群环境

参考:

https://blog.csdn.net/pucao_cug/article/details/71698903 

设置免密登陆后,必须重启ssh服务

systermctl restart sshd.service

ssh服务介绍:

两种登陆方式:

1.密码登陆

2.密钥登陆

启动

http://192.168.5.130:8088/cluster

http://192.168.5.130:50070/dfshealth.html#tab-overview

安装Hadoop家族工具

hive   结合 mysql的jdbc插件    https://blog.csdn.net/pucao_cug/article/details/71773665

impala

sqoop   https://blog.csdn.net/pucao_cug/article/details/72083172

hbase  https://blog.csdn.net/pucao_cug/article/details/72229223

启动会报错

https://blog.csdn.net/l1028386804/article/details/51538611

安装zookeeper 

参考:https://blog.csdn.net/pucao_cug/article/details/72228973

zookeeper status 

原因是:myid和 zoo.cfg里的配置不匹配

hive 导入txt文件数据到表中:

create  table  student(id int,name string)  row  format  delimited  fields   terminated  by  '\t';

load   data  local   inpath   '/opt/hadoop/hive/student.txt'   into   table   db_hive_edu.student;

-- hive导入csv文件
create table table_name(
id string,
name string,
age string
)
row format serde
'org.apache.hadoop.hive.serde2.OpenCSVSerde'
with
SERDEPROPERTIES
("separatorChar"=",","quotechar"="\"")
STORED AS TEXTFILE;
load data local inpath '/opt/hadoop/hive/table_name.csv' overwrite into table table_name;

将表转换成ORC表:

create table table_name_orc(
id string,
name string,
age string
)row format delimited fields terminated by "\t" STORED AS ORC

insert overwrite table table_name_orc select * from table_name

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • hive、sqoop、MySQL间的数据传递

    stored as 关键词,hive目前支持三种方式: 1:就是最普通的textfile,数据不做压缩,磁盘开销大,解析开销也大 2:SquenceFIle,h...

    互联网金融打杂
  • SQL之mysql常用操作语句(入门级)

    1.进入数据库: mysql -u root -p    mysql -h localhost -u root -p database_name   2.列出数...

    互联网金融打杂
  • 验证 结构体指针与自增运算符

    #include <stdio.h> #include <stdlib.h> int main() { struct student { char *...

    互联网金融打杂
  • 太多的.hive-stagingxxx文件的处理

    跑一段时间的HIVE程序之后,偶尔打开对应的HDFS文件夹,才发现在其目录下,产生了太多的.hive-staging_hive_date-time_ XXX文件...

    sparkexpert
  • 手把手教你搭建Hive Web环境

    了解Hive的都知道Hive有三种使用方式——CLI命令行,HWI(hie web interface)浏览器 以及 Thrift客户端连接方式。 为了体...

    用户1154259
  • Python Redis

      NoSQL(NoSQL = Not Only SQL ),意即“不仅仅是SQL”,是一项全新的数据库革命性运动,泛指非关系型的数据库。随着互联网web2.0...

    py3study
  • javamoledy使用异常 原

    将xml部分注释,依旧报错,发现MonitoringFilter依然在运行,推测可能这个版本实现了ServletContainerInitializer,自动注...

    尚浩宇
  • spring、springmvc整合web的web.xml配置

    用户2409797
  • Velocity 基础语法

    问天丶天问
  • Mysql 获取表的comment 字段

    查看获取表内字段注释: > show full columns from tablename; 或是  show full fields from tab...

    ydymz

扫码关注云+社区

领取腾讯云代金券