配置单元外部表增量加载

文章/答案/技术大牛

发布

1回答

hive、sqoop

请看下面的过程和问题: step1 -I想要在增量根中加载一个mysql表数据首先我正在使用SQOOP导入增量数据，使用的是'INCREMENTAL append check-column last-fashion.So‘假设这存储到HDFS文件夹'/sqoopdir1’第2步-我想使用pig脚本执行一些数据验证，如重复检查，结果应该转到'/user/root/pigdir‘第3步-我想创建一个指向pig输出目录的配置单元</e

浏览 13提问于2016-08-24得票数 0

1回答

使用Sqoop实现Hive表动态分区加载

hive、sqoop

我有一个名为dept的MySQL表，我基于时间戳列ts将其加载到配置单元外部表dept表中，作为增量附加检查列last-value。这可以很好地工作，现在我想根据dept_name和ts列将动态分区添加到我的配置单元表dept中。我知道我可以在sqoop之外创建表动态分区，但在将数据加载到动态分区方面需要帮助。在不对配置单元分

浏览 22提问于2016-08-26得票数 0

1回答

通过Informatica Big Data Edition创建配置单元表

hadoop、hive、informatica、bigdata

Informatica可以构建Hive表，还是必须单独构建？如果它们可以在“不存在”的情况下构建，步骤是什么？谢谢!

浏览 3提问于2016-01-21得票数 0

1回答

如何使用hive外部hive表创建空的数据帧？

scala、apache-spark

我正在使用下面的内容创建一个使用hive外部表的dataframe (spark scala)。但数据帧也在其中加载了数据。我需要一个使用配置单元外部表的模式创建的空DF。val table1 = sqlContext.table("db.table") 如何使用配置单元外部配置单元表创建空数据帧？

浏览 20提问于2019-10-16得票数 1

1回答

hive中的增量方法

hadoop、hive

我有一个源表，如下所示。源表: Day1:表Day1数据的加载方式如下:目标表ID值start_date end_date2099-12-31新记录end_date应为2099-12-31，前一行end_date应更新为当前日期，如目标表下面2017-01-01 2099-12-31 1

浏览 3提问于2017-09-19得票数 0

3回答

如何使用sqoop在Hive中创建外部表。需要建议

hadoop、hive、sqoop

使用sqoop，我可以创建托管表，但不能创建外部表。1.对仓库中的表进行分区。有些是按日期分区的，有些是按状态分区的。

浏览 5提问于2015-01-17得票数 2

回答已采纳

1回答

在CDH3机器中插入/追加来自两个oracle表的数据

oracle、hadoop、hive、append、cloudera-cdh

我将数据从Oracle表加载到HDFS，然后加载到外部配置单元表中。并在添加完附加列("SOURCE")后，最后将数据移动到Hive内部表中。Oracle表USA_Transaction => HDFS =>外部配置单元表=>添加了列中间表"temp"=>配置<em

浏览 1提问于2016-03-29得票数 0

1回答

如何使用PySpark对Delta文件的分区进行动态插入覆盖？

apache-spark、pyspark、azure-databricks、delta-lake、table-partitioning

我是pyspark的新手，正在寻找动态覆盖增量分区的方法。从其他在线可用的资源中，我可以看到spark通过将以下conf设置为" dynamic“来支持动态分区。spark.sql.sources.partitionOverwriteMode"，“动态”) 但是，当我尝试用数据帧覆盖partitioned_table时，pyspark (databricks)中的以下代码行覆盖了整个表，而不是增量文件上的单个分区。data.write.insertInto("partitioned_table"，ov

浏览 3提问于2020-06-08得票数 1

2回答

配置单元中的增量/更新

hive、hiveql

我有一个包含数据的hive外部表(版本低于0.14)| id | A | B | C || 10015 | 10 | 3 | 0 |+--------+------+------+------+| 10016 | 17 | 0 | 40 | --> insert +--------+-

浏览 21提问于2019-07-22得票数 0

2回答

配置单元中的` `load data inpath‘和`location`之间的区别？

sql、hadoop、hive、hdfs、hiveql

create table number double); location '/directory-path/file.csv'; 它们都将数据从HDFS上的目录拷贝到配置单元上的表的目录中

浏览 134提问于2016-02-18得票数 14

1回答

将增量数据加载到配置单元表

hadoop、hive、load

我正在尝试将增量数据从一个配置单元外部表加载到另一个配置单元表。我在源表上有一个date timestamp字段，用于标识每天向其中添加的新行。我的任务是提取新添加到源中的行，并将它们插入到目标表中。我尝试了以下查询，但无法使其工作。SOURCE A, TARGET T where A.FIELD_TIMESTAMP > (Select max(FIELD_T

浏览 0提问于2015-12-21得票数 0

18回答

Hive内部表和外部表之间的区别？

hadoop、hive、hiveql

谁能告诉我Hive的外部表和内部表之间的区别。我知道不同之处在于丢弃桌子的时候。我不明白你所说的数据和元数据在内部被删除，只有元数据在外部表中被删除。有人能从节点的角度给我解释一下吗？

浏览 1提问于2013-06-11得票数 117

回答已采纳

1回答

Sqoop增量加载到分区的hive表

hadoop、hive、sqoop、apache-hive

如何将增量数据加载到已分区的配置单元表中id bigint,created_on string(yyyy-MM-dd),我已经创建了一个sqoop作业，根据上次修改日期以增量方式导入 sqoop job --create users -- import --

浏览 5提问于2016-11-18得票数 0

5回答

数据库代码的JUnit

java、database、unit-testing、junit

我一直在尝试实现单元测试，目前有一些代码可以执行以下操作：我有一个可以自由操作的测试数据库。在setUP()中，将一些数据加载到我的测试db中清除测试db，加

浏览 14提问于2008-09-06得票数 8

回答已采纳

1回答

greenplum中的增量加载

etl、greenplum

我在greenplum中有外部和内部表。外部表在hdfs中指向csv文件。Hdfs中的csv文件每小时加载一张表的完整数据。在greenplum的内部表中以增量方式加载数据的最佳方式是什么。

浏览 14提问于2017-07-27得票数 0

3回答

将数据从HDFS复制到配置单元中的外部表时出错

hadoop、hive

我正在尝试将hdfs中的数据插入配置单元中的外部表。但是得到了低于错误。Usage: java FsShell [-put <localsrc> ...Sacramentorealestatetransactions.csv 我在配置</e

浏览 0提问于2018-07-03得票数 2

1回答

在Hive中创建外部表时，会加载数据吗？

hadoop、hive、hdfs

hbase.columns.mapping" = ":key,CustomerName:,ContactInfo:")我认为没有数据加载到表中是正确的吗相反，外部表仅仅充当底层表上的视图？ 'external table‘总是这样吗，或者这仅仅是因为我说了'stored by’而没有使用'load‘命

浏览 1提问于2015-02-06得票数 0

2回答

如何在不删除文件的情况下将数据从HDFS加载到配置单元

hive

我希望将每个文件加载到不同的配置单元表中，并希望将源文件保持在相同的位置。可以创建指向特定文件的外部表吗？有谁能帮我解决这个问题吗？

浏览 0提问于2016-07-01得票数 1

1回答

在hcatalog或serde中解析日志文件

hadoop、hcatalog

我正在尝试将日志文件加载到HCatalog中。以下是我的日志文件的格式。

浏览 4提问于2015-04-23得票数 0

2回答

Databricks Delta和Hive事务表

apache-spark、hive、databricks、delta-lake

我从两个来源看到，现在你不能以任何有意义的方式与Spark的HIVE事务表进行交互。我看到Databricks发布了一个名为的事务性功能。现在可以使用此功能读取配置单元事务性表吗？

浏览 0提问于2018-12-13得票数 2

点击加载更多