首页
学习
活动
专区
工具
TVP
发布

hadoop基本教程之开源数据仓库工具hive

Hadoop是大数据分析的主要工具,也是学习大数据技术的核心知识,大数据课程培养的是德智体美全面发展,具有良好的职业道德和创新精神,且掌握计算机技术、hadoop 、spark、storm开发、hive 数据库、Linux 操作系统等知识,具备分布式存储、分布式计算框架等技术,熟悉大数据处理和分析技术,面向大数据平台建设与服务企业的技术人才。

今天小编分享的技术知识是关于Hadoop中的hive数据仓库,希望对大家的入门和基础学习有所帮助。

1. hive介绍

Hive是一个基于Hadoop的开源数据仓库工具,用于存储和处理海量结构化数据。它是Facebook 2008年8月开源的一个数据仓库框架,提供了类似于SQL语法的HQL语句作为数据访问接口

2. hive的优缺点

优点:

Hive 使用类SQL 查询语法, 很大限度的实现了和SQL标准的兼容,大大降低了传统数据分析人员处理大数据的难度。使用JDBC 接口/ODBC接口,开发人员更易开发应用;以MR 作为计算引擎、HDFS 作为存储系统,为超大数据集设计的计算/ 扩展能力;统一的元数据管理(Derby、MySql等),并可与Pig 、spark等共享;

缺点:

Hive 的HQL 表达的能力有限,比如不支持UPDATE、非等值连接、DELETE、INSERT单条等;由于Hive自动生成MapReduce 作业, HQL 调优困难;粒度较粗,可控性差。

3. 与关系数据库的区别

hive和关系数据库存储文件的系统不同,hive使用的是hadoop的HDFS(hadoop的分布式文件系统),关系数据库则是服务器本地的文件系统;hive使用mapreduce做运算,与传统数据库相比运算数据规模要大得多;关系数据库都是为实时查询的业务进行设计的,而hive则是为海量数据做数据挖掘设计的,实时性很差;实时性的区别导致hive的应用场景和关系数据库有很大的不同。Hive很容易扩展自己的存储能力和计算能力,这个是继承hadoop的,而关系数据库在这个方面要比数据库差很多。

大数据产业已进入发展的“快车道”,急需大量优秀的大数据人才作为后盾。能够在大数据行业崛起的初期进入到这个行业当中来,才有机会成为时代的弄潮儿。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20191031A0CRK600?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券