我正在尝试使用Scala编写一个Hive UDF。此UDF应在另一个配置单元表上运行查询并返回获得的值 例如。我在hive中有一个主表，其中包含emp_id、start_date、end_date和salary列。我正在尝试想出一个使用scala的hive udf来创建一个函数(GetSal)，在这个函数中，我可以传递id和一些日期，并在另一个hive查询中获得该id的有效工资，如
浏览 15提问于2019-04-21得票数 0
通常，我们在配置单元中为特定数量的列编写自定义UDF。(考虑UDF是在Java中)。意味着它在该特定列上执行一些操作。我在想，我们是否可以编写这样的UDF，通过这些UDF，我们可以将特定的列作为某个查询的输入，我们是否可以通过将该列作为输入，从UDF返回该查询，该查询将在Hive CLI上执行？
我们能这么做吗？
浏览 0提问于2012-01-06得票数 0
回答已采纳
我有一个具有UDF功能的配置单元查询文件。当我使用"hive -f myqfile.q“运行这个查询文件时，它正在正确执行，并且数据被填充到我的最终表中。SemanticException: [Error: 10014]: Line: 29:17 Wrong arguments '"start"': No method matching for class com.abc.xyz.hive.udf.Ge
浏览 3提问于2014-05-30得票数 0
我想知道如何从自定义函数中读取使用ADD FILE添加的配置单元资源？例如：是否可以在Java中以UDF格式读取此文件？在Udf中获取此文件的路径是什么？
谢谢大卫
浏览 7提问于2018-08-26得票数 1
回答已采纳
2回答
我正在尝试为Hive编写一个Scala UDF，它作用于一个JSON数组--扩展org.apache.hadoop.hive.ql.exec.UDF并依赖于play-json的play.api.libs.json.parse当我尝试从配置单元中调用它时，我看到了java.lang.NoSuchMethodError: com.fasterxml.jackson.core.JsonToken.id()I。我不确定这里的原因是什么--与jackson版本不
浏览 0提问于2016-10-13得票数 1
1回答
我们正在连接来自hana和hive的表以及从Smart Data Access创建查询的视图Hana支持TOP函数，但Hive不支持。在配置单元中是否存在类似于TOP的现有UDF。我知道在hive中我们有限制，但我们需要一个类似于hana的UDF函数？
请建议解决此问题的任何解决方法。提前谢谢。
浏览 7提问于2017-01-19得票数 0
1回答
我正在寻找编写通用数据清理框架的方法，该框架基于为给定数据集配置的位置和类型来清理整个行。数据集中的样本输入记录如下所示，现在，配置将基于位置(从索引1开始)。例如，在位置2修剪空格，在位置4转换为配置单元标准日期，在位置5删除逗号。这是在数据集级别配置的。现在，如果这些UDF必须插入hive或pig，那么hive\Pig UD
浏览 0提问于2016-02-11得票数 1
2回答
我想要一个工具，通过它我可以通过给出PL/SQL查询来获得相应的配置单元查询。有很多工具可以将sql转换成hql。例如:用于云数据库的taod。但是它没有向我显示相应的配置单元查询。
浏览 0提问于2012-04-09得票数 4
我在hive上工作，通过hive查询从JSON字符串中读取一些字段。. , 'arrText' : '["a","b","c"]',... }一样存储为字符串 我希望在配置单元查询本身中将此字符串读取为字符串数组。hive (joshua)>
> select some_function('["
浏览 74提问于2020-06-20得票数 2
回答已采纳
我已将完整集加载到hive数据仓库中。客户希望我们验证json数据。加载到配置单元的数据是否正确。有什么遗漏吗？如果是，是哪个字段？
请帮帮忙。
浏览 0提问于2016-06-29得票数 1
1回答
在将数据从Oracle数据库移动到Hadoop时，我们遇到了一些oracle函数列表，这些函数需要转换为它们的等效配置单元。function.It就像将Oracle函数与配置单元函数相匹配。有没有我提到的已经存在的配置单元函数的列表？如果不是，我如何找到至少现有的配置单元函数。例如，如果一些oracle函数在Hive中不存在，那么如何继续为其编写UDF</
浏览 1提问于2019-01-23得票数 1
1回答
我想让hive Python UDF除了来自列的数据之外，还接受常量参数。# hive>SELECT TRANSFORM(col1, col2, '10000') USING 'p
浏览 1提问于2020-05-28得票数 0
1回答
我有一个包含ip_address列的配置单元表。如何从ip_address列中查找国家、城市和邮政编码？任何反馈都将不胜感激。里约
浏览 4提问于2015-05-07得票数 0
2回答
配置单元UDF未返回预期结果
、、、、
我已经写了一个可以被Hive (查询语言)调用的UDF，它接受2个参数，并具有以下逻辑：我已经编写了代码，编译了类，并成功地向Hive注册了JAR。我验证了在创建临时函数后，我可以在配置单元中看到该函数。我遇到的问题是，当我从select调用它时，它只返回'_c0‘，而不是期望值：
下面是jav
浏览 0提问于2013-12-13得票数 0
我是一个为hive编写自定义udf的新手。我已经成功地为toupper函数编写了自定义udf。import org.apache.hadoop.hive.ql.exec.UDF;
importextended="SELECT simpleudfexample('world') from foo limit 1;&quo
浏览 4提问于2015-03-23得票数 0
1回答
我正在使用EMR集群，并添加了步骤配置，它选择我的UDF jar并创建函数。正在创建EMR集群，我可以从配置单元CLI中使用这些UDF函数。但是，在使用java jdbc执行相同的查询时，我遇到了错误。有谁能帮帮我吗？我正在创建永久函数-创建函数add AS 'brickhouse.udf.collect.CombineUDF‘
错误为org.apache.hive.service.cli.HiveSQLException
浏览 2提问于2017-11-07得票数 0
我可以创建一个UDF，并使用CREATE TEMPORARY FUNCTION为当前的配置单元会话配置它。有没有办法这样做一次，并使此功能可用于所有用户未来的所有会话？
浏览 0提问于2012-12-19得票数 2
我在Hive中创建了一个自定义的UDF，它在Hive命令行中进行了测试，运行良好。现在我有了UDF的jar文件，我需要做些什么，以便用户能够创建指向它的临时函数？理想情况下，从蜂巢的命令提示符中，我会这样做：-Added [myudf.jar] to class path
从Visual对HDInsight集群执行H
浏览 8提问于2016-07-22得票数 3
2回答
我试图在配置单元中创建一个名为ConvertDateFormatUDF的用户定义项，创建临时函数时出现以下错误：将/home/cloudera/date.jar添加到类路径添加资源: /home/cloudera/date.jar
hive>CREATE TEMPORARY FUNCTION fun as 'com.db.acedq.op
浏览 0提问于2013-12-14得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
