1回答
我在RBDMS中有一个表(跨不同类别)的列表，我希望提取这些表并将其保存在hive中，并且我希望以这样一种方式进行参数化，以便能够将类别名称附加到hive中的输出位置。例如，我有一个类别"employee"，我希望能够以"hive_db.employee_some_other_random_name“的格式保存从关系型数据库中提取的表。同样的结果也适用于其他表。_1&q
浏览 20提问于2020-08-04得票数 0
回答已采纳
我正在尝试将我的数据帧写入分区的hive表中，.Hive表的格式是parquet。 但我无法将df写到Hive表中。我正在尝试将我的数据帧写入分区的hive表中，.Hive表的格式是parquet。 但我无法将df写到Hive表中。Spar
浏览 28提问于2019-05-27得票数 0
所以命令直接将附加到hive表是，但是，追加模式是否确保避免了行的重复？例：
其中一个是提到的，加载蜂窝表作为火花数据，
浏览 1提问于2018-10-07得票数 2
考虑一下Hive中的简单合并语句： base_table A merge_from_table B (A.id = B.id) A.lastname = B.lastname enabled).instead base_table是一个事务性的Hive表(ACID操作 ofmerge_from_table，我们有一个在中生成的数据框架)
问题1:有任何方法直接将数
浏览 5提问于2020-07-17得票数 0
回答已采纳
2回答
我需要将数据从Hive导出到Kafka主题，基于另一个Kafka主题中的一些事件。我知道我可以用HQL从火星之工中读取蜂巢的数据，并将它从星火中写入卡夫卡，但是有更好的方法吗？
浏览 0提问于2019-01-15得票数 0
回答已采纳
我使用pyhive中的'hive.Connection‘连接到外部配置单元群集。我的数据存储在spark数据帧中。我的问题是，如何将来自dataframes的数据写入Hive中的新表，该表位于databricks以外的不同集群中？ 谢谢
浏览 11提问于2020-09-26得票数 0
我正在使用SparkVersion2.3编写和保存使用bucketBy的数据文件。 .sortBy("col2") .saveAsTable('EMP.bucketed_table1'))
将存储的数据</em
浏览 0提问于2018-09-05得票数 4
回答已采纳
当目标表具有与当前数据帧模式不同的数据类型时，dataframe saveAsTable(Append模式)会做什么？|-- i: long (nullable = false)> df.write.mode("append").format("hive而现有的配置单元表格是通过以下方式创建的：
CREATE TABLE default.ljh_test2 (i int) PARTITIONED B
浏览 0提问于2020-03-19得票数 0
1回答
使用hive优化hive数据聚合
、、、、
我有一个带有followig模式(event_id，country，unit_id，date)的hive表(8,000,000条记录)，我需要将这些数据导出到一个文本文件中，满足以下要求:1- event_id
浏览 6提问于2017-05-05得票数 0
为了让它工作，我需要能够读写回HIVE DB。我已经使用spark和R包sparklyr进行了连接，并且可以使用带有spark连接的R包DBI连接到我们的配置单元集群，并将数据提取到R数据帧中：dbWriteTable(c
浏览 1提问于2017-09-01得票数 1
我从设置hive.metastore.uris的metastore启动spark应用程序中读取表统计数据。但是，我需要将数据写入另一个配置单元。我已经尝试清理活动会话和默认会话，使用新的metastore uri构建另一个会话，但spark继续尝试写入第一个hive的表。format("parquet") .insertInto("other_cl
浏览 9提问于2019-04-11得票数 0
当查询一个表时，SerDe会将一行数据从文件中的字节反序列化到Hive内部用于对该行数据进行操作的对象。当执行INSERT或CTAS (请参阅第441页上的“导入数据”)时，表的SerDe将序列化Hive对一行数据的内部表示形式，这些字节被写入输出文件。
请有人把这
浏览 9提问于2013-01-30得票数 12
回答已采纳
3回答
我在写来自Spark的Hive表时遇到了问题。下面的代码可以很好地工作；我可以写出表格(默认使用拼接格式)，然后在Hive中读回它：但是，如果我指定的格式应该是csv：
df.write.mode('overwrite').format('csv').saveAsTable("db.table&quo
浏览 0提问于2017-08-15得票数 2
嗨，我在我的蜂箱中有两个表，我从第一个表中选择数据，创建数据帧，并以orc格式将该数据帧保存到另一个表中。我在同一个数据库中创建了这两个表。当我将这个数据帧保存到第二个表中时，我在数据库issue.and中找不到表如果我没有使用任何数据库名，那么它总是在配置单元默认database.can中创
浏览 24提问于2020-04-04得票数 0
我尝试使用sparklyr将数据写入hdfs或hive，但无法找到方法。是否有可能使用sparklyr将R数据帧写入hdfs或hive？请注意，我的R和hadoop运行在两个不同的服务器上，因此我需要一种从R写入远程hdfs的方法。
向Rahul致敬
浏览 16提问于2017-06-28得票数 6
一个关于星火结构流与HIVE表集成的查询。 .getOrCreate()
// Register the dataframe as a Hive tableval query= spark.sql("insert into table_abcd select
浏览 0提问于2018-12-28得票数 13
我有以下代码：rows.saveAsTable(writing to another external table in hive immediately);
1)在上述情况下，当调用saveAsTable()时，spark会将整个数据集加载到内存中吗1.1)如果是，那么当这个查询实际上可以返回无法放入内存的大量数据时，
浏览 31提问于2020-06-04得票数 0
回答已采纳
1回答
目前我正在开发Spark版本2.1.0，作为我的数据摄取工作的一部分，我必须使用ingest方法将数据摄取到hive表中。但是Spark 2.1版本有一个bug，当插入数据到hive表中时，insertinto方法不会保持列顺序。我已经尝试在append模式下使用saveAsTable方法，但它不会起作用，因为在数据摄取之前，我首先使用正确的数据类型手动创建表。我尝试从现有的hive</em
浏览 15提问于2019-02-26得票数 0
我正在尝试将来自kafka主题的数据流存储到一个hive分区表中。我能够将数据流转换为数据帧，并创建了一个配置单元上下文。我的代码如下所示hiveContext.setConf("hive.exec.dynamic.partition", "true")
hiveContext.setConf("hive.e
浏览 0提问于2016-10-19得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
对象存储
云直播活动推荐
腾讯云开发者
