Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表。Hive 定义了简单的类 SQL 查询语言，称为 HQL，它允许熟悉 SQL 的用户查询数据。
了解Hive数据类型 ，是Hive编程的基础。使用hive建表，首先要明白hive常用的数据类型有哪些，可以存储哪些类型的数据。其实Hive支持关系型数据库中的大多数基本数据类型，且同时支持关系型数据库中少见的3种集合数类型（STRUCT,MAP,ARRAY）。然而学习技术最好的方式之一就是去查看官方文档。
关系数据库里有表（table），分区，hive里也有这些东西，这些东西在hive技术里称为hive的数据模型。今天本文介绍hive的数据类型，数据模型以及文件存储格式。这些知识大家可以类比关系数据库的相关知识。
Hive是一个基于Hadoop的开源数据仓库工具，用于存储(HDFS)和处理(MapReduce或Spark)海量结构化数据，大多数公司都应用到Hive。
数据采集时如果使用datax的话，必须先手工建好表之后才能进行数据采集；使用sqoop的话虽然可以默认建表，但是每次还要手工配置命令。表数量不多的话还好，如果多库多表需要批量采集的话工作量会很大，因此需要一个批量生成建表语句的功能来节省人力。
本文介绍hive的数据类型，数据模型以及文件存储格式。这些知识大家可以类比关系数据库的相关知识。
1、SQL vs 脚本语言：Hive使用类SQL语言（HQL）进行数据处理和查询，类似于传统的关系型数据库，而Pig使用Pig Latin这种脚本语言。
以下介绍Hive的数据类型，Hive的数据类型分为四种类型，分别是： 列类型 文字 Null值 复杂类型
根据异常重现部分的步骤，S2字段的数据类型是decimal(13,2)。精度只有2位，但是我们原始数据小数点后都是有3位小数。Hive在这里进行查询的时候会损失精度，打印结果。但是Impala在查询的时候，校验decimal类型会更严格，当前的原始数据精度超过了S2字段设定的数据类型的精度，所以直接返回为空。
Hive使用的语句是Hql，和sql百分之九十都是相近的，因此，只要对SQL比较熟悉的，Hql基本不用怎么学。
至此，hive的基本数据类型已经了解，接下来的章节咱们一起学习了解复杂数据类型；
转载自http://www.cnblogs.com/sharpxiajun/archive/2013/06/02/3114180.html Hive简介 首先我们要知道hive到底是做什么的。下面这几段文字很好的描述了hive的特性： 1.hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的M
https://stackoverflow.com/questions/37863194/insert-timestamp-into-hive/37868132
等值比较: = 语法:A = B 操作类型: 所有基本类型 描述: 如果表达式A与表达式B相等，则为TRUE；否则为FALSE 举例：
Hive通过给用户提供的一系列交互接口，接收到用户的指令(SQL)，使用自己的Driver，结合元数据(MetaStore)，将这些指令翻译成MapReduce，提交到Hadoop中执行，最后，将执行返回的结果输出到用户交互接口。
对于Hive的String类型相当于数据库的varchar类型，该类型是一个可变的字符串，不过它不能声明其中最多能存储多少个字符，理论上它可以存储2GB的字符数。
对于 Hive 的 String 类型相当于数据库的 varchar 类型，该类型是一个可变的字符串，不过它不能声明其中最多能存储多少个字符，理论上它可以存储 2GB 的字符数。
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。
Hive支持的表类型，或者称为存储格式有：TextFile、SequenceFile、RCFile、ORC、Parquet、AVRO。
它支持传统的UNIX时间戳可选纳秒的精度。它支持的java.sql.Timestamp格式YYYY-MM-DD HH:MM:SS.fffffffff和格式YYYY-MM-DD HH:MM:ss.ffffffffff。
Hive 是由 Facebook 开源的基于 Hadoop 的数据仓库工具，用于解决海量「结构化日志」的数据统计。
第11章 Hive：SQL on Hadoop 11.4 数据类型和存储格式 11.4.1 数据类型 （1）基本类型 Hive 支持关系型数据中大多数基本数据类型， 类型 描述 示例 boolea
Hive是Hadoop的一个模块。它是一个用于开发SQL类型脚本执行MapReduce操作的平台。
mysql和hive中的数据类型存在差异，在mysql集成数据到hive中这样的场景下，我们希望在hive中的数据是贴源的，所以在hive中希望创建和mysql结构一致的表。
在《Hive内置数据类型》文章中，我们提到了Hive内置数据类型由基本数据类型和复杂数据类型组成。今天的话题是Hive数据类型之间的转换。同Java语言一样，Hive也包括隐式转换（implicit conversions）和显式转换（explicitly conversions）。 Hive在需要的时候将会对numeric类型的数据进行隐式转换。比如我们对两个不同数据类型的数字进行比较，假如一个数据类型是INT型，另一个是SMALLINT类型，那么SMALLINT类型的数据将会被隐式转换地转换为INT
数据仓库（Data Warehouse），可简写为 DW 或 DWH，数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（Decision Support）。它出于分析性报告和决策支持目的而创建。
大家一定对Hive不陌生吧！Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能（HQL）。Hive的优点是学习成本低，可以通过类似SQL语句实现快速MapReduce统计，使MapReduce变得更加简单，而不必开发专门的MapReduce应用程序。因此，hive十分适合对数据仓库进行统计分析。
执行结果如下，第一条记录friends数组中有tom_friend_0，显示为true，第二条记录不包含，就显示false：
在《Hive内置数据类型》文章中，我们提到了Hive内置数据类型由基本数据类型和复杂数据类型组成。今天的话题是Hive数据类型之间的转换。同Java语言一样，Hive也包括隐式转换（implicit conversions）和显式转换（explicitly conversions）。 Hive在需要的时候将会对numeric类型的数据进行隐式转换。比如我们对两个不同数据类型的数字进行比较，假如一个数据类型是INT型，另一个是SMALLINT类型，那么SMALLINT类型的数据将会被隐式转换地转换为INT类型，这个到底和Java中的一样；但是我们不能隐式地将一个 INT类型的数据转换成SMALLINT或TINYINT类型的数据，这将会返回错误，除非你使用了CAST操作。 任何整数类型都可以隐式地转换成一个范围更大的类型。TINYINT,SMALLINT,INT,BIGINT,FLOAT和STRING都可以隐式地转换成DOUBLE；是的你没看出，STRING也可以隐式地转换成DOUBLE！但是你要记住，BOOLEAN类型不能转换为其他任何数据类型！
Spark SQL为了更好的性能，在读写Hive metastore parquet格式的表时，会默认使用自己的Parquet SerDe，而不是采用Hive的SerDe进行序列化和反序列化。该行为可以通过配置参数spark.sql.hive.convertMetastoreParquet进行控制，默认true。
命令查询的结果，但不同的是Hadoop dfs 每次运行的时候都会单独启用一个JVM, 而
在《Hive内置数据类型》文 章中，我们提到了Hive内置数据类型由基本数据类型和复杂数据类型组成。今天的话题是Hive数据类型之间的转换。同Java语言一样，Hive也包括 隐式转换（implicit conversions）和显式转换（explicitly conversions）。 Hive在需要的时候将会对numeric类型的数据进行隐式转换。比如我们对两个不同数据类型的数字进行比较，假如一个数据类型是INT型，另一个 是SMALLINT类型，那么SMALLINT类型的数据将会被隐式转换地转换为INT类型，这个到底和Java中的一样；但是我们不能隐式地将一个 INT类型的数据转换成SMALLINT或TINYINT类型的数据，这将会返回错误，除非你使用了CAST操作。
在日常的处理中发现了Warning: Ignoring non-Spark config property: hive.exec.orc.default.stripe.size这样的一个日志，
如果想通过 JDBC 来访问 HiveServer2，需要开启 HiveServer2 服务，具体请参阅 如何启动HiveServer2。
Hive支持的函数除了内置函数，允许编写用户自定义函数（User Define Function）来扩充函数的功能。
Mysql中ResultSet默认会将一次查询的结果存入内存中。如果数据量比较大，就会占用大量的内存。如果内存不够，就会报错。
Hive学习笔记 1、Hive数据类型 基本数据类型 tinyInt smallInt Int BigInt Boolean float double string timestamp binary --字节数组 集合类型 STRUCT 和 c 语言中的 struct 类似，都可以通过“点”符号访问元素内容。例如，如果某个列的数据类型是 STRUCT{first STRING, last STRING},那么第 1 个元素可以通过字段.first 来引用。 MAP MAP 是一组键-值对元组
在Fayson的测试测试环境下有一张Parquet格式的表，由于业务需要对表的字段名称数据类型进行了修改和新增列等操作，导致使用Hive和Impala查询显示的结果不一致问题。
本篇来学习一下Hive中的数据类型，以及如何在Hive SQL中去处理这些数据类型。
Apache Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供一种HQL语言进行查询，具有扩展性好、延展性好、高容错等特点，多应用于离线数仓建设。
TINYINT,SMALLINT,INT,BIGINT,BOOLEAN,FLOAT,DOUBLE,STRING,BINARY,TIMESTAMP,DECIMAL,CHAR,VARCHAR,DATE。
注意:使用insert插入数据时会产生临时表，重新连接后会表会小时，因此大批量插入数据时不建议用insert tips1:在hdfs的hive路径下以.db结尾的其实都是实际的数据库 tips2:默认的default数据库就在hive的家目录
显示hive中数据库的名称，注释（如果已经设置），及其在文件系统中的位置等信息
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
