Hive的内置HASH()函数使用哪种哈希算法

内置的HASH()函数使用哪种哈希算法？

我理想地是在寻找SHA512/SHA256哈希，类似于SHA()函数在Pig的linkedin datafu UDF中提供的功能。

最佳答案

HASH函数(从Hive 0.11开始)使用类似于java.util.List#hashCode的算法。

其代码如下所示:

int hashCode = 0; // Hive HASH uses 0 as the seed, List#hashCode uses 1. I don't know why.
for (Object item: items) {
   hashCode = hashCode * 31 + (item == null ? 0 : item.hashCode());
}

基本上，这是有效Java一书中推荐的经典哈希算法。 引用一个伟人(和一个伟大的book):

The value 31 was chosen because it is an odd prime. If it were even and the multiplication overflowed, information would be lost, as multiplication by 2 is equivalent to shifting. The advantage of using a prime is less clear, but it is traditional. A nice property of 31 is that the multiplication can be replaced by a shift and a subtraction for better performance: 31 * i == (i << 5) - i. Modern VMs do this sort of optimization automatically.

我离题了。您可以查看HASH源here。

如果要在Hive中使用SHAxxx，则可以使用Apache DigestUtils类和Hive内置的reflect函数(希望可以使用):

SELECT reflect('org.apache.commons.codec.digest.DigestUtils', 'sha256Hex', 'your_string')

关于hive - Hive的内置HASH()函数使用哪种哈希算法，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/21176602/

参考资料

Hive Operators and User-Defined Functions (UDFs): https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF#LanguageManualUDF-Built-inFunctions

Hive运算符和用户定义的函数（UDF） 内置运算符 运算符优先级 关系运算符 算术运算符 逻辑运算符 字符串运算符 复杂类型构造函数 复杂类型上的运算符

内建函数

数学函数 十进制数据类型的数学函数和运算符 收集功能 类型转换功能 日期功能 条件函数 字符串函数 数据屏蔽功能 杂项 功能 路径 get_json_object 内置汇总功能（UDAF） 内置表生成函数（UDTF） 使用范例 explode (array) explode (map) posexplode (array) inline (array of structs) stack (values) explode posexplode json_tuple parse_url_tuple GROUPing and SORTing on f(column) Utility Functions(实用功能) UDF internals(UDF内部) Creating Custom UDFs