从电影字幕到 Hive 工作原理解析

本文转载自公众号: 互联网侦察 作者: channingbreeze

小史是一个非科班的程序员,虽然学的是电子专业,但是通过自己的努力成功通过了面试,现在要开始迎接新生活了。

对小史面试情况感兴趣的同学可以观看面试现场系列

找到工作到正式上班之间的这段时间总是惬意的,小史决定利用这段时间把一些经典电影重温一下。

【hive简介】

吕老师:这就要说到之前提到的OLTP和OLAP的概念了,数据仓库是用来做OLAP的,注重查询分析。并且数据仓库的数据量一般比数据库要大一个数量级。

(注:不熟悉OLTP和OLAP可以看看这篇文章最后有讲到

【hive工作原理】

【数据迁移sqoop】

【hive优缺点】

小史:嗯,刚刚我就一直在思考这个问题了,hive的优点很明显,它提供了一种sql的方式查询大数据,上手简单,减少了开发人员的学习成本。

【笔记】

在下载电影的过程中,小史顺便记下了今天的笔记。

1、hive是一个数据仓库,存储大数据,主要用来做OLAP分析。

2、hive底层是hdfs,它提供了sql来查询数据。

3、hive的原理是将sql翻译成map-reduce任务。

4、数据的导入导出可以用工具sqoop,原理也是把命令翻译成map-reduce任务。

原文发布于微信公众号 - zhisheng(zhisheng_blog)

原文发表时间:2019-04-25

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

扫码关注云+社区

领取腾讯云代金券