首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

Hive 整体介绍

Hive可以管理HDFS中的数据,可以通过SQL语句可以实现与MapReduce类似的同能,因为Hive底层的实现就是通过调度MapReduce来实现的,只是进行了包装,对用户不可见。         Hive对HDFS的支持只是在HDFS中创建了几层目录,正真的数据存在在MySql中,MYSQL中保存了Hive的表定义,用户不必关系MySQL中的定义,该层对用户不可见。Hive中的库在HDFS中对应一层目录,表在HDFS中亦对应一层目录,如果在对应的表目录下放置与表定义相匹配的数据,即可通过Hive实现对数据的可视化及查询等功能         综上所述,Hive实现了对HDFS的管理,通过MySQL实现了对HDFS数据的维度管理         Hive基本功能及概念             database             table             外部表,内部表,分区表         Hive安装             1. MySql的安装(密码修改,远程用户登陆权限修改)             2. Hive安装获取,修改配置文件(HADOOP_HOME的修改,MySQL的修改)             3. 启动HDFS和YARN(MapReduce),启动Hive         Hive基本语法:             1. 创建库:create database dbname             2. 创建表:create table tbname                 Hive操作:             1. Hive 命令行交互式             2. 运行HiveServer2服务,客户端 beeline 访问交互式运行             3. Beeline 脚本化运行                 3.1 直接在 命令行模式下 输入脚本命令执行(比较繁琐,容易出错,不好归档)                 3.2 单独保存SQL 命令到 文件,如etl.sql ,然后通过Beeline命令执行脚本         数据导入:             1. 本地数据导入到 Hive表 load data local inpath "" into table ..             2. HDFS导入数据到 Hive表 load data inpath "" into table ..             3. 直接在Hive表目录创建数据         Hive表类型:             1. 内部表: create table 表数据在表目录下,对表的删除会导致表目录下的数据丢失,需要定义表数据的分隔符。             2. 外部表: create external table 表目录下挂载表数据,表数据存储在其他HDFS目录上,需要定义表数据的分隔符。             3. 分区表:与创建内部表相同,需要定义分区字段及表数据的分隔符。在导入数据时需要分区字段,然后会在表目录下会按照分区字段自动生成分区表,同样也是按照目录来管理,每个分区都是单独目录,目录下挂载数据文件。             4. CTAS建表         HQL             1. 单行操作:array,contain等             2. 聚合操作:(max,count,sum)等             3. 内连接,外连接(左外,右外,全外)             4. 分组聚合 groupby             5. 查询 : 基本查询,条件查询,关联查询             6. 子查询:                 当前数据源来源于 另个数据执行的结果,即当前 table 为临时数据结果             7. 内置函数: 转换, 字符串, 函数                 转换:字符与整形,字符与时间,                 字符串:切割,合并,                 函数:contain,max/min,sum,             8. 复合类型                 map(key,value)指定字符分隔符与KV分隔符                 array(value)指定字符分隔符                 struct(name,value) 指定字符分割与nv分隔符             9. 窗口分析函数             10. Hive对Json的支持

01

技术阅读-《MySQL 必知必会》

第一章 了解SQL第二章 MySQL 介绍第三章 使用 MySQL第四章 检索数据第五章 排序检索数据第六章 过滤数据第七章 数据过滤第八章 通配符过滤第九章 正则搜索第十章 创建计算字段第十一章 数据处理函数第十二章 汇总数据第十三章 数据分组第十四章 使用子查询第十五章 联结表第十六章 高级联结第十七章 组合查询第十八章 全文本搜索第十九章 插入数据第二十章 更新和删除数据第二十一章 表的增删改第二十二章 视图第二十三章 存储过程第二十四章 游标第二十五章 使用触发器第二十六章 事务处理第二十七章 全球化和本地化第二十八章 安全管理第二十九 数据库维护第三十章 改善性能

02

基于CDC技术的ElasticSearch索引同步机制

ElasticSearch作为一个基于Lucene的搜索引擎被广泛应用于各种应用系统,比如电商、新闻类、咨询类网站。在使用ElasticSearch开发应用的过程中,一个非常重要的过程是将数据导入到ElasticSearch索引中建立文档。在一开始系统规模比较小时,我们可以使用logstash来同步索引。logstash的好处是开方量少,只要进行编写简单的索引模板和同步sql,就能快速搭建索引同步程序。但是随着应用数据规模的变大,索引变化变得非常频繁。logstash的缺点也随着暴露,包括(1)不支持删除,只能通过修改字段属性软删除,随着应用使用时间的增长,ElasticSearch中会留存大量的无用数据,拖慢搜索速度。(2)sql分页效率低,sql查询慢。logstash的分页逻辑是先有一个大的子查询,然后再从子查询中分页获取数据,因此效率低下,当数据库数据量大时,一个分页查询就需要几百秒。同步几千万数据可能需要1天时间。因此我们决定放弃使用logstash,而改用使用canal来搭建基于CDC技术的ElasticSearch索引同步机制。

02
领券