Spark bucketing读取性能

文章/答案/技术大牛

发布

2回答

apache-spark、spark-dataframe、apache-spark-dataset、apache-spark-2.2

Spark版本- 2.2.1。我可以看到Spark UI中有64个任务，它们只使用了20个中的4个executor (每个executor有16个核心)。

浏览 24提问于2018-01-19得票数 2

1回答

在物理计划中执行交换和排序步骤的配置单元存储桶表

apache-spark、hive、pyspark、apache-spark-sql

我甚至尝试了下面的hive属性：spark.sql('set hive.optimize.bucketmapjoin= true')spark.sql('set hive.input.format=org.

浏览 1提问于2019-06-12得票数 1

1回答

使用Spark优化Hive SQL查询？

sql、apache-spark、hadoop、hive、pyspark

我已经开始阅读关于Spark和PySpark的文章了。这些工具似乎提高了性能。换句话说，如果我必须为我的数据查询Hive，我从Spark获得的任何性能改进都只会来自我从Hive检索数据后应用于数据的转换。我对这些技术的理解正确吗？

浏览 0提问于2019-12-20得票数 0

2回答

在Spark中，如何读取用bucketBy编写的拼花文件，并保存存储的数据？

scala、apache-spark、parquet

spark.read.parquet("/tmp/newPlace")你需要做些什么才能把它们用同样的桶状信息读回来呢？(1, 160000, 1, 16).select($"id" as "key", rand(12) as "value") base: org.apache.spark.sql.DataFramescala> import org.apache.spark.sql.SaveMode

浏览 2提问于2020-05-05得票数 3

回答已采纳

3回答

从Spark添加的数据上的ACID事务不工作

hadoop、apache-spark、hive

我正尝试在Hive中使用ACID事务，但在使用Spark添加数据时遇到了问题。testdb.test VALUES("3", "C");DELETE FROM testdb.test WHERE id="1";hc = HiveContext(sc) data = sc.parallelize([["1", "A&q

浏览 0提问于2016-09-15得票数 3

1回答

如何使用AWS Glue和Spark SQL存储表？

apache-spark、aws-glue

我正尝试在AWS Glue上运行此查询 CREATE TABLE bucketing_example CLUSTERED BY (id) INTO 2 BUCKETSLOCATION 's3://my-bucket/bucketing_example' VALUES(1, 'red'), at org.apache.spark.sql.hive.cl

浏览 44提问于2020-07-08得票数 2

1回答

如何确定Spark中的存储桶数量

apache-spark

我已经在Spark中读了相当多关于bucketing的文章，但仍然不能对它有一个清晰的了解。但是，到目前为止，我所理解的是"Bucketing就像是分区中的分区，它用于基数非常高的候选，这有助于避免重新洗牌操作“。即使在Spark文档中，也找不到足够的解释。

浏览 34提问于2019-05-09得票数 2

回答已采纳

1回答

Spark 3.0 -使用.save()或.saveAsTable()保存时的读取性能

pyspark、apache-spark-sql

我想知道这两个命令在性能(在读取时)是否有差异？： df.write.format('parquet').partitionBy(xx).save('/...我知道，对于bucketing，这个问题不会出现，因为它只用于托管表(saveAsTable())；然而，我对分区有点困惑，因为是否有一种方法来获得特权。

浏览 146提问于2021-01-11得票数 3

1回答

在HDP2.6中将Spark写入Hive可访问表

apache-spark、hadoop、hive、hdp

这是一个较旧的集群，运行HDP2.6，即Hive2和Spark2.1。这里是一个示例程序： .appName("Test App") .enableHiveS

浏览 0提问于2020-05-21得票数 0

回答已采纳

2回答

通过sparkSQL创建蜂窝

apache-spark、hive、apache-spark-sql、data-processing

我通过spark SQL将数据插入到这个临时表中。我已经在spark会话中将hive.enforce.bucketing设置为true。我不确定spark sql是否将数据写入存储桶中。谢谢,

浏览 1提问于2018-08-02得票数 5

2回答

在蜂巢中无法访问通过火花加载的表

apache-spark、hadoop、hive、pyspark、hortonworks-data-platform

java.io.IOException: java.lang.IllegalArgumentException:超出范围的bucketId：-1 (state=，code=0) 'bucketing_version'='2', 'spark.sql.create.version'='2.3.1.3.0.0.

浏览 1提问于2018-10-11得票数 7

回答已采纳

3回答

无法从配置单元查询`saveAsTable`之后的Spark DF - Spark SQL特定格式，与配置单元不兼容

scala、apache-spark、hadoop、hive、apache-spark-sql

我正在尝试将数据帧保存为外部表，该表将同时使用spark和可能的hive进行查询，但不知何故，我无法使用hive查询或查看任何数据。它在spark中工作。以下是如何重现该问题的方法：hivescala> spark.conf.set("spa

浏览 3提问于2019-08-02得票数 0

1回答

使用Apache spark或任何大数据工具根据主键对多个表进行分区

apache-spark、bigdata、apache-spark-sql、spark-streaming、data-analysis

然后旋转75个spark实例来处理它们。有没有其他方法可以做到这一点？

浏览 2提问于2017-09-28得票数 1

2回答

在蜂巢中，是分割快还是颊化快？

hadoop、hive、bigdata、partitioning

中的是哪种方法给我们带来了更快的性能，比如partitioning还是bucketing？我告诉他们，根据我们选择partitioning或bucketing .But的数据，面试官对我的回答不满意。正确的答案应该是什么(以及例子)？

浏览 0提问于2018-03-09得票数 1

1回答

如何保存存储桶的DataFrame？

apache-spark、apache-spark-sql

df.write.bucketBy("column").format("parquet").save()Exception in thread "main" org.apache.spark.sql.AnalysisException: 'save' does not support bucketing right now; 有没有其他方法可以保存bucketBy的结果？

浏览 106提问于2017-02-03得票数 5

1回答

不支持SparkSQL表创建集群

hive、apache-spark-sql、hiveql

根据Spark文档，支持hive语句CLUSTER BY。但是当我尝试使用beeline中的以下查询来创建表时我得到以下错误Operation not allowed

浏览 17提问于2017-01-31得票数 5

1回答

如果有在加载阶段拥有'maxRecordsPerFile‘的好方法，就会产生火花

scala、apache-spark、partitioning

假设将150个分区中的5000个文件加载到我的spark应用程序中时，我希望将数据分解为15,000个分区，但我希望保留已存在的分区。当然，这方面有很多工作要做，但可能会有一些优雅的解决方案，比如Spark在保存阶段： preExportRdd.toDF .option("maxRecordsPerFile",maxCountInPartition

浏览 48提问于2020-03-25得票数 1

2回答

错误使用spark* 'save‘目前不支持分页*

apache-spark、apache-spark-sql、partitioning、parquet

sortBy("dynamic_col")我得到以下错误：不允许使用save(...)吗？

浏览 2提问于2018-10-14得票数 5

3回答

在Hive sql中从第n桶获取所有记录

apache-spark、hive、apache-spark-sql、bigdata、bucket

如何从蜂箱的第N桶中获取所有记录。

浏览 5提问于2019-10-15得票数 3

回答已采纳

1回答

按列分区:数据被截断到另一个分区

pyspark、partitioning、azure-databricks

我在PySpark中使用repartitionByRange，同时保存在2,000+ CSV上。 df.repartitionByRange(<no of unique values of col>, col).write\ .option("header", "true")\ .option("escape"

浏览 6提问于2020-12-18得票数 0

点击加载更多