通过Hive，如何获取最近的记录？

文章/答案/技术大牛

发布

0回答

hadoop、hive、bigdata

在hive表(地址表)中，我有上千条记录，许多记录是重复的，一条记录有我地址的10年前时间戳，一条记录在我的新地址上有一年前的时间戳，另一条记录在我最近的地址上有今天的时间戳我怎样才能得到最近的地址记录

浏览 1提问于2016-07-12得票数 0

1回答

如何获取用于蜂窝jdbc连接的Yarn应用程序Id？

jdbc、hive、hadoop-yarn

下面是如何通过hive运行查询Connection = DriverManager.getConnection(CONNECTION_URL, USERNAME);ResultSet = Response.executeQuery(query); 我可以在see中看到应用程序的细节但是现在我想通过java代码获得这个作业的应用程序id，可以这样做吗？如果是，

浏览 4提问于2015-11-05得票数 2

2回答

使用Spark SQL查询配置单元分区子目录中的数据

apache-spark、hive、apache-spark-sql、parquet

如何强制spark sql从子目录中以递归方式获取以parquet格式存储的数据？在Hive中，我可以通过设置一些Hive配置来实现这一点。set hive.input.dir.recursive=true;set hive.supports.subdirectories=true; set mapred.input.dir.recursiv

浏览 28提问于2017-02-15得票数 3

回答已采纳

1回答

考虑一个具有多个原语和集合作为成员变量的复杂java (JAXB)对象。Reducer阶段将这些对象作为< K，V >对发送到HDFS中，其中K是id，V是对象的序列化形式(SequenceFileOutputFormat)。可以将这些java序列化对象从HDFS/本地位置加载到Hive/Impala吗？ MongoDB能够将JAXB对象存储为现成的json文档。在Hive或Impala上实现同样的目标的任何帮助都是非常感谢的。

浏览 3提问于2013-06-07得票数 0

1回答

仅当值不同时才更新HBase表

hive、hbase、apache-pig

我正在通过HBase通过Pig加载数据。pig脚本每天运行以查找各种蜂巢表中的更新记录，执行联接和处理，然后加载到HBase。我遇到的问题是，有时记录的一部分会被更新，而其他部分则不会更新。示例:带有键abcd123的记录存在于hive表1和hive表2中。在hive表1中，有新的数据，但在hive表2中没有。我的猪脚本将两个表

浏览 2提问于2016-10-25得票数 1

回答已采纳

1回答

升级后与蜂巢中的亚稳态连接

hadoop、hive

最近，我将我的Hive从v1.2更新到了2.1。使用jar:file:/opt/mapr/hive/hive-1.2/lib/hive-common-1.2.0-mapr-1609.jar!/

浏览 0提问于2018-03-02得票数 5

1回答

Hive中的查询性能问题

sql、azure、hadoop

在执行带有某些select条件的where语句或执行任何avg时，max(mathematical operation)查询需要2至3个小时执行。我是不是漏掉了蜂巢的配置。我使用的是微软Azure服务上的Hortonworks 2.5沙箱。请给出任何解决办法。谢谢。

浏览 4提问于2017-03-16得票数 1

1回答

使用sqoop更新配置单元表

mysql、hadoop、hive、sqoop

我正在尝试从一个MySQL数据库中取出数据，在这个数据库中，我有一个同时具有主键和last_updated字段的表。实际上，我正在尝试获取最近更新的所有记录，并覆盖配置单元仓库中的当前记录sqoop job --create trainingDataUpdate -- import \ at org.apache.sqoop.Sqoop.main

浏览 0提问于2015-02-14得票数 0

4回答

Hive是如何存储数据的，SerDe是什么？

hadoop、hive

当查询一个表时，SerDe会将一行数据从文件中的字节反序列化到Hive内部用于对该行数据进行操作的对象。当执行INSERT或CTAS (请参阅第441页上的“导入数据”)时，表的SerDe将序列化Hive对一行数据的内部表示形式，这些字节被写入输出文件。请有人把这些粗体句子解释清楚吗？我是新来的！！

浏览 9提问于2013-01-30得票数 12

回答已采纳

1回答

如何利用Hadoop实时处理Postgres数据库？

postgresql、hadoop、bigdata

在Hadoop中进行的每一个查询都应该基于Postges数据库中可能的最新版本。不同步是可以接受的，但只能延迟几分钟。如何在Hadoop中进行近乎实时的数据分析？

浏览 4提问于2015-05-19得票数 2

回答已采纳

1回答

如何通过Nifi或sqoop使RDBMS与Hive保持同步，而不是创建新的记录

hadoop、hive、hiveql、apache-nifi、rdbms

Requirement：需要从RDBMS ( Server)获取1000 s的表，并将其推到Hive中，以便几乎实时地运行分析和生成报表。我在Nifi中运行了一个处理器，它经常读取我的Employee表，根据"lastModifiedTimeStamp“列获取新更新的记录。现在假设Hive和Rdbms表是同步的，它们都有10条记录，现在我在RDBMS中更新1行，现在Nifi将读取这个新更新的</em

浏览 1提问于2022-07-13得票数 0

回答已采纳

1回答

如何为配置单元中的每个disticnt id选择最新记录？

hive

我有一个Hive表，它看起来像下表 1 2300 1516187739 | Active 1当status为active时，我想通过查看每个ID的时间戳来获取最新记录。我希望每个ID只有一条记录。因此，结果将如下表所示。我正在寻找一种在Hive中实现此查询的有效方法。

浏览 0提问于2018-01-17得票数 0

回答已采纳

2回答

在Hadoop中，如何在data节点上查看任务的类路径

hadoop、mapreduce、jvm、classpath

我们的mapreduce代码使用hive API。我们将包含带有-lbjars选项的hive库。但是，我们的所有数据节点上都安装了hive，因此我们希望检查是否需要通过-libjars选项提供hive jars。我知道任务的类路径可能不包括datanode上的可用库，但它只从-libjars选项获取库，但我只想确认这一点。然而，现在的挑战是如何检查mapredu

浏览 2提问于2014-08-18得票数 0

1回答

impala.error.HiveServer2Error:重试3次失败

python-3.x、hive、impyla、ibis

我使用impyla和ibis来连接hive服务器，但我得到了错误。10000, database="yingda_test", password=None, user='admin', kerberos_service_name='None').cursor() 新的错误出现了

浏览 6提问于2021-10-28得票数 0

2回答

有没有办法将部分表从hive加载到pig关系？

hive、apache-pig、hcatalog

我目前正在使用下面的代码加载一个hive表到pig关系。a = LOAD 'hive_db.hive_table' using org.apache.hive.hcatalog.pig.HCatLoader(); 这一步将把hive表中的所有记录放入pig中，但对于我目前的场景，我不需要整个表都放在pig中。当我从配置单元获取数据时，有没有办法过滤掉不需要的记录？

浏览 4提问于2019-08-15得票数 0

2回答

如何压制蜂巢警告

hive

我是蜂巢的新手。试图执行一个将数据输出到一个文件的查询。以下是我的查询： mapreduce.map.java.opts='-Djava.net.preferIPv4Stack=true -Xmx13107M';SET mapreduce.reduce.memory.mb= false；SET hive.exec.dynamic.partition=true;SET hive.exec.dynamic.partition.mode=nonstrict；SET hive</em

浏览 0提问于2019-03-14得票数 0

回答已采纳

2回答

新插入的蜂巢记录不显示在火花壳的星火会话中

apache-spark、hive

我运行了一个简单的Spark程序来获取数据从Hive到session使用spark。表中插入9条新记录(直接在Hive控制台上)。验证Hive表有正确插入的其他行。OKTime taken: 22.173 seconds, Fetched: 1 row(s)但是已经打开的spark会话没有显示新插入的9行。当插入新数据时，Hive表中的实际行数为45行，

浏览 4提问于2019-05-24得票数 1

回答已采纳

1回答

从蜂巢中获取相同蜂箱查询的数据。

java、hadoop、jdbc、hive

我有一张有上百万张唱片的桌子。我希望执行一个单元查询，并希望将结果集以块的形式返回给客户端。就像第一个客户端请求获取结果一样，我希望返回第一个1000条记录，然后在随后的请求中返回下1000条记录，依此类推。一种方法是，在执行单元查询时获取完整的结果集，并保存它，并根据客户端的请求迭代结果集。但是如果我的结果集非常大，那么它可以在内存中保存完整的结果集的同时产生内存不足的<

浏览 1提问于2015-06-26得票数 1

1回答

如何获取最近的记录

dynamics-crm、dynamics-crm-2016

mscrm中有一个选项可以查看最近的记录(“计时器”按钮)，我如何获得这个功能？或者如何获得最近的观看记录？

浏览 6提问于2021-12-27得票数 0

回答已采纳

1回答

如何使用PySpark更新hive表中的记录？

hive、pyspark-sql

我们正在使用spark来处理大型数据，并且最近获得了新的用例，我们需要使用spark更新Hive表中的数据。下面是一个简单的例子:数据驻留在Hive表中，应用程序使用PySpark读取数据帧(比如PySpark)。例句:数据帧在列下面。例如：加5 Add 30 32000 应用程序可以通过剥离Action列并附加到表中，将新数据读入第二个数据帧(例如df2)。它是笔直的，它的工作非常好。操作不可

浏览 1提问于2019-03-29得票数 2

点击加载更多