首页
学习
活动
专区
工具
TVP
发布

开源部署

专栏作者
4656
文章
6130597
阅读量
51
订阅数
Hive0.13.1介绍及安装部署
  hive由Facebook开源用于解决海量结构化日志的数据统计。hive是基于Hadoop的一个数据仓库工具,是基于Hadoop之上的,文件是存储在HDFS上的,底层运行的是MR程序。hive可以将结构化的数据文件映射成一张表,并提供类SQL查询功能。
星哥玩云
2022-08-18
2810
PostgreSQL逻辑备份pg_dump使用及其原理浅析
1、循环调用getopt_long解析命令行参数,将参数保存到static DumpOptions dopt;中 2、判断参数是否相容,不相容则退出:  options -s/--schema-only and -a/--data-only cannot be used together  options -c/--clean and -a/--data-only cannot be used together  options --inserts/--column-inserts and -o/--oids cannot be used together  option --if-exists requires option -c/--clean
星哥玩云
2022-08-17
1.3K0
MySQL常见存储引擎详解
在my.cnf配置文件中设置default-storage-engine参数表示设置默认存储引擎 在MySQL的连接上设置当前连接的默认存储引擎
星哥玩云
2022-08-17
4150
Ubuntu 16.04下Hive 安装
Ubuntu 16.04,Hadoop版本是2.7.2 ,选择Hive版本为  hive-2.1.17
星哥玩云
2022-08-16
4220
Ambari Hive 无法正常查询的解决
$ beeline -u "jdbc:hive2://hostname.domain.cn:10000/default;principal=hive/_HOST@domain.com;" Connecting to jdbc:hive2://hostname.domain.cn:10000/default;principal=hive/_HOST@domain.com; Connected to: Apache Hive (version release-1.2.1-EDH-1.1.2) Driver: Hive JDBC (version release-1.2.1-EDH-1.1.2) Transaction isolation: TRANSACTION_REPEATABLE_READ Beeline version release-1.2.1-EDH-1.1.2 by Apache Hive 0: jdbc:hive2://hostname.domain.cn:10000> show databases;
星哥玩云
2022-08-16
1.3K0
Linux下Spark开发环境搭建
10、服务器集群:192.168.0.110(master),192.168.0.111(slave1),192.168.0.112(slave2)
星哥玩云
2022-08-13
3.4K0
Zeppelin0.7.2结合hive解释器进行报表展示
前提:服务器已经安装好了Hadoop_client端即hadoop的环境hbase,hive等相关组件
星哥玩云
2022-07-24
3780
Hadoop2.3、 Hbase0.98、 Hive0.13架构中Hive的安装部署配置以及数据测试
Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。
星哥玩云
2022-07-04
2990
Hive使用HDFS目录数据创建Hive表分区
Hive表pms.cross_sale_path建立以日期作为分区,将hdfs目录/user/pms/workspace/ouyangyewei/testUsertrack/job1Output/crossSale上的数据,写入该表的$yesterday分区上
星哥玩云
2022-07-03
1K0
Hadoop2.4 支持snappy
我们Hadoop 2.4集群默认不支持snappy压缩,但是最近有业务方说他们的部分数据是snappy压缩的(这部分数据由另外一个集群提供给他们时就是snappy压缩格式的)想迁移到到我们集群上面来进行计算,但是直接运行时报错:
星哥玩云
2022-07-03
5870
Hive自定义函数的使用——useragent解析
想要从日志数据中分析一下操作系统、浏览器、版本使用情况,但是hive中的函数不能直接解析useragent,于是可以写一个UDF来解析。useragent用于表示用户的当前操作系统,浏览器版本信息,形如:
星哥玩云
2022-07-03
6880
Hive 0.13.1 on Hadoop2.2.0 + Oracle10g部署详解
http://mirrors.cnnic.cn/apache/hive/stable/apache-hive-0.13.1-bin.tar.gz
星哥玩云
2022-07-03
3800
Sqoop1.4.4原生增量导入特性探秘
要想实现增量导入,完全可以不使用Sqoop的原生增量特性,仅使用shell脚本生成一个以当前时间为基准的固定时间范围,然后拼接Sqoop命令语句即可。
星哥玩云
2022-07-03
3210
Pig 0.12.1安装和使用
[linuxidc@jifeng02 ~]$ tar zxf pig-0.12.0.tar.gz [linuxidc@jifeng02 ~]$ vi .bash_profile # .bash_profile
星哥玩云
2022-07-03
5230
Hadoop家族的各个成员
hadoop这个词已经流行好多年了,一提到大数据就会想到hadoop,那么hadoop的作用是什么呢?
星哥玩云
2022-07-01
3160
Hadoop生态上几个技术的关系与区别:hive、pig、hbase 关系与区别
初接触Hadoop技术的朋友肯定会对它体系下寄生的个个开源项目糊涂了,我敢保证Hive,Pig,HBase这些开源技术会把你搞的有些糊涂,不要紧糊涂的不止你一个,如某个菜鸟的帖子的疑问,when to use Hbase and when to use Hive?....请教了^_^没关系这里我帮大家理清每个技术的原理和思路。
星哥玩云
2022-06-30
5800
Hadoop进程占CPU 800%
2014-03-20 21:45:45 Full thread dump OpenJDK (Taobao) 64-Bit Server VM (20.0-b12-internal mixed mode):
星哥玩云
2022-06-30
6880
Ambari方式安装Hadoop的Hive组件遇到的问题
最近在部署Hadoop,我发现了ambari工具部署hadoop的hive 组件的一个问题,不知道其他人遇到过没有。 问题描述:通过ambari工具搭建了hadoop2.0完全分布式集群。在测试hive的时候,按照官方文档里的说明通过下面命令检查根目录的时候:总是报错无法连接mysql。(java.sql.SQLException: Access denied foruser 'hive'@'hdb3.yc.com'(using password: YES))
星哥玩云
2022-06-30
7040
Hive与HBase集成
下载最新稳定版的Hive,资源库http://mirror.esocc.com/apache/hive/
星哥玩云
2022-06-29
5560
Sqoop在Hadoop和关系型数据库之间的数据转移
sqoop job --meta-connect jdbc:hsqldb:hsql://ip:port/sqoop --list
星哥玩云
2022-06-29
8050
点击加载更多
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天,分 10000 元奖品池!
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档