Spark SQL -无法将所有记录写入配置单元表

文章/答案/技术大牛

发布

1回答

java、apache-spark、apache-spark-sql

我是Apache Spark框架的新手，我正在使用ApacheSpark通过Hive将数据写入Hadoop。在下面的代码中，我从配置单元读取table_1并创建数据集，然后将此数据集映射到另一个数据集。在将结果数据集保存到另一个table_2之后。<code>A0</code> 两个不同的表中的行数应该相同，但是result dataset/table_2中的行数不同。(或者我错过了一些关于spark的概念？

浏览 20提问于2021-03-13得票数 0

1回答

在HDFS上写入数据需要很长时间

scala

在HDFS上写入文件创建多个零件文件(200)并花费很长时间我正在将配置单元表(使用SqlContext.sql)加载到数据帧1(6K记录)并注册到临时表。我将临时表与另一个配置单元表(500万条记录)连接在一起，并加载到dataframe 2中。我使用左外部连接更新dataframe 1和dataframe 2的值，并尝试将

浏览 71提问于2019-05-18得票数 2

1回答

将dynamodb表复制到配置单元的pyspark代码问题:不允许操作

hive、pyspark、amazon-dynamodb、amazon-emr

我正在尝试使用pyspark代码从aws emr上的Dynamodb创建一个外部配置单元表。当我在hive提示符上执行该查询时，它工作得很好，但当我将它作为pyspark作业执行时，它就失败了。代码如下：from pyspark.sql import SparkSessionspar

浏览 2提问于2019-05-10得票数 2

2回答

外部配置单元表刷新表与MSCK修复

apache-spark、hive、hivecontext、hive-partitions

我有一个外部蜂窝表，存储为Parquet，分区在一个列上，比如as_of_dt，数据通过spark streaming插入。现在，每天都会添加新的分区。我正在执行msck repair table，以便配置单元元存储获得新添加的分区信息。这是唯一的办法，还是有更好的办法？我担心如果下游用户查询表，msck repair是否会导致数据不可用或数据陈旧的问题？我正在浏览HiveContext应用程序接口并查看refreshTable选项。

浏览 8提问于2018-08-07得票数 13

2回答

通过sparkSQL创建蜂窝

apache-spark、hive、apache-spark-sql、data-processing

我已经创建了一个临时表，该表在列关键字上存储桶。但是，当我通过另一个表手动将数据插入到这个表中时，我看到了以00000_*为前缀的文件。我不确定spark sql是

浏览 1提问于2018-08-02得票数 5

1回答

如何在Spark* SQL中使用快速压缩将数据写入hive表*

apache-spark

我有一个使用配置单元命令创建的兽人配置单元表 create table orc1(line string) stored as orcfile 我想写一些数据到这个表使用spark sql，我使用以下代码._ Seq("Hello Spark", "Hello Hadoop").toDF("a").createOrReplaceTempView("tmp&q

浏览 44提问于2019-03-02得票数 1

1回答

无法在Spark* SQL中查看配置单元记录，但可以在配置单元CLI上查看它们*

scala、apache-spark、hive、apache-spark-sql

我无法在Spark SQL中查看配置单元记录，但可以在配置单元CLI上查看它们。在配置单元CLI显示2条记录的情况下，使用配置单元上下文的相同查询显示0hive> select ord_id from order;157434411Timetaken: 0.389 seconds, Fetched: 2 row(s)

浏览 2提问于2018-01-11得票数 0

1回答

Spark SQL忽略动态分区筛选器值

apache-spark、apache-spark-sql

在这个查询中，我试图过滤到某个日期值(这是一个字符串数据类型)，而Spark最终读取所有目录，而不仅仅是结果max(value)。spark.sql("select mypartitioncolumn, column1, column2 from mydatabase.mytable where mypartitioncolumnspark.sql("select mypartitioncolumn, column1, column2 from mydatabase.

浏览 29提问于2019-02-21得票数 2

3回答

无法从配置单元查询`saveAsTable`之后的Spark* DF - Spark *SQL特定格式，与配置单元不兼容

scala、apache-spark、hadoop、hive、apache-spark-sql

我正在尝试将数据帧保存为外部表，该表将同时使用spark和可能的hive进行查询，但不知何故，我无法使用hive查询或查看任何数据。它在spark中工作。以下是如何重现该问题的方法：hivesc

浏览 3提问于2019-08-02得票数 0

1回答

将值插入到Row类型的Pyspark中的配置单元表

python、hive、pyspark、hiveql、pyspark-sql

"count": "max"}).collect()[0] (returns Row(max(count)=Decimal('1.0000000000'))) reopen = hc.sql

浏览 3提问于2018-10-10得票数 0

2回答

当数据存储在对象存储中时，从Spark* SQL访问配置单元表*

apache-spark、hive、object-storage

我使用spark dataframe编写器将数据写入IBM Cloud Object Storage中的内部hive表，格式为parquet。因此，我的配置单元元存储在HDP集群中，我正在从HDP集群运行spark作业。此spark作业将数据以parquet格式写入IBM COS。.config("hive.metastore.uris", "<thrift_url>&quo

浏览 40提问于2018-12-18得票数 0

1回答

如何编写hive格式的结构化查询结果？

scala、apache-spark、hive、spark-structured-streaming

我正在尝试使用hive格式通过DataStreamWriter类将数据插入到配置单元表中。table", "Daily_summary_data") .start() org.apache.spark.sql.AnalysisException:配置单元数据源只能用于表，不能直接

浏览 29提问于2018-11-29得票数 1

1回答

当会话在写入过程中被终止时，Spark* saveAsTable是否会回滚？*

apache-spark、hive、hdfs

当使用saveAsTable附加到配置单元托管表时，不完整的saveAsTable所做的工作是否会回滚，或者部分信息是否会保留？

浏览 0提问于2018-05-24得票数 3

1回答

无法使用pyspark将dataframe写入配置单元分区镶嵌表

apache-spark-sql、pyspark-sql、parquet

我正在尝试将我的数据帧写入分区的hive表中，.Hive表的格式是parquet。但我无法将df写到Hive表中。我正在尝试将我的数据帧写入分区的hive表中，.Hive表的格式是parquet。但我无法将df写到Hive表中。Spark2.3和分区配置单元表当我试图将finaldf加载

浏览 28提问于2019-05-27得票数 0

2回答

Spark SQL saveAsTable返回空结果

hadoop、apache-spark、hive、hdfs、apache-spark-sql

我使用以下代码在Spark SQL中创建/插入数据到Hive表中： .builder() .master("local/spark-warehouse/tablename/下创建地块文件，并使用正确的create table语句在hive中创建表。/tablename' 'EXTERN

浏览 3提问于2017-02-27得票数 3

2回答

为事务启用的配置单元存储区表

apache-spark、hive、transactional、orc

因此，我们尝试使用以下语句创建一个ORC格式的Hive表，并为事务设置存储桶并启用该表该表是在Hive中创建的，并且还反映在Metastore和Spark SQL(我们已配置为

浏览 1提问于2015-11-23得票数 2

1回答

将配置单元表卸载到。使用Spark或pyspark或python的dat文件

python、pyspark、apache-spark-sql、hiveql

我目前正在使用hql将数据从配置单元表卸载到文本文件中。因为它花费了太多的时间。我想去spark或pyspark.I。我是spark/ please的新手。你能帮我解决这个问题吗?

浏览 11提问于2019-10-04得票数 0

3回答

如何在Hive内部表中插入Spark* DataFrame？*

scala、hive、apache-spark-sql、spark-dataframe

在附加模式下将DF插入到配置单元内部表的正确方法是什么？似乎我们可以使用"saveAsTable“方法将DF直接写入配置单元，或者将DF存储到临时表中，然后使用查询。df.write().mode("append").saveAsTable("tableName")df.registerTempTable("temptable") sqlC

浏览 5提问于2017-02-14得票数 9

回答已采纳

1回答

Spark与Hive的差异与ANALYZE TABLE命令-

apache-spark、pyspark、apache-spark-sql、pyspark-sql

从Spark对Hive表运行的ANALYZE TABLE命令不会提供与从Hive发出的相同命令相同的性能改进。例如，我将一个数据帧插入到一个空的Hive表中： output.write.insertInto(“XXXXXXXX”) 然后运行analyze table命令：- spark.sql("ANALYZETABLE XXXXXXXX COMPUTE STATISTICS") 当我在Hive中做记录计数时，它非常慢： select count(*

浏览 261提问于2019-01-05得票数 2

回答已采纳

1回答

不使用" Hive -site.xml“从Spark连接到配置单元

java、apache-spark、hadoop、hive

有没有办法不使用" Hive -site.xml“就从Spark连接到hive？sl.addAppArgs(appArgs); sl.addFile(evnProps.get(KEY_YARN_CONF_DIR) + "/hive-site.xml"); 我们将"

浏览 22提问于2019-01-15得票数 0

点击加载更多