我在Apache spark中见过以下几次行为。我无法解释是什么构成了这样的行为?所以请伸出手来引发广泛的社区。考虑下面的简单查询select emp_name,emp_id, emp_addr from employee where emp_dob in ('1990
浏览 4提问于2019-11-11得票数 0
我们有一个包含4个节点的测试集群，并且我们已经打开了vnode。看起来读出比旧方法(initial_token)要慢一些。使用vnode是否会带来一些性能开销？如果我们只有4个物理节点，我们是否必须增加/减少默认num_tokens (256)？我们使用的是Cassandra 2.0.4。
浏览 3提问于2014-01-23得票数 1
1回答
我正在从HDFS获取数据，并将其存储在Spark RDD中。Spark根据HDFS块的数量创建分区的数量。这会导致大量的空分区，这些分区也会在管道过程中被处理。为了消除这种开销，我想从RDD中过滤出所有空分区。我知道合并和重新分区，但不能保证所有的空分区都会被删除。
有没有其他的办法来解决这个问题？
浏览 2提问于2015-10-22得票数 10
1回答
如果我在pyspark中使用spark并读取该视图，那么与直接从表中读取相比，会出现任何性能问题。在单元格中，如果我们不将where子句限制在精确的表分区上，我们就有了所谓的完整表扫描。
浏览 4提问于2019-10-22得票数 1
回答已采纳
|+---+---+---+
tmp: org.apache.spark.sql.DataFrame
浏览 3提问于2016-12-23得票数 0
回答已采纳
上下文:在我们的数据管道中，我们使用spark运行来自最终用户的大量查询，这些查询作为文本文件提供，然后我们将其参数化。(对于某些查询，取决于输入数据和SELECT查询，对于20000个查询，请阅读大量数据)。很多小文件让我们不受系统管理员的欢迎。试图修复(不起作用)
大量文档表明，在这种情况下，您应该使用DISTRIBUTE BY，以确保给定分区的所有数据都位于同一个分区，因此，让我们尝试如下所示
浏览 0提问于2017-10-25得票数 1
("spark.databricks.io.cache.enabled", True) at org.apache.spark.scheduler.Task.doRunTask(Task.scala:150) at org.apac
浏览 10提问于2022-02-11得票数 0
2回答
我使用Spark 2。我们将hive表划分为2000个分区，并以拼接格式存储。当在spark中使用这个表时，在executors中恰好有2000个任务被执行。但是我们有一个256MB的块大小，我们期望(总大小/ 256 )分区的数量肯定会比2000小得多。spark是否有任何内部逻辑使用数据的物理结构来创建分区。任何参考/帮助都
浏览 1提问于2018-04-05得票数 2
我有一个三节点的Cassandra集群，每个节点上都运行着Spark executor。据我所知，为了扫描Cassandra数据库，SCC(Spark-Cassandra-Connector)在where子句中使用范围查询that标记。
浏览 7提问于2021-07-19得票数 2
我使用的是带有GeoSpark 1.2.0扩展的Spark 2.4.3。 .config("spark.kryo.registrator", classOf", "true")
// .config("<e
浏览 12提问于2019-07-27得票数 0
分区剪枝谓词下推分区修剪：火花将尝试将数据过滤尽可能靠近源，以避免将不必要的数据加载到内存中。这允许程序在处理过程中跳过大量的数据。
通过读取上述概念，它们似乎做了同样的事情，即应用符合查询中给定谓词的rea
浏览 1提问于2020-03-10得票数 3
2回答
我正在尝试使用以下代码输出记录： .write
.partitionBy("foo", "bar")然而，当我处理大约600‘m的输入时，我写入了大约290k个文件，其中包括每个分区的小文件。有没有办法控制每个分区的输出文件数量？因为现在我正在写很多小文件，这并不好。
浏览 0提问于2018-05-02得票数 1
Exception failure in TID 2 on host localhost: org.apache.spark.graphx.impl.GraphImpl.mapReduceTriplets(GraphImpl.scala:168)org.apache.spark.graphx.GraphOps.inDegrees$lzycompute(
浏览 2提问于2014-09-23得票数 0
回答已采纳
最近，我们开始面对spark 2.4.4与Hive1.2.1版本的问题。当我们试图从按字符串类型进行分区的表中读取数据时
Caused by: java.lang.RuntimeExceptionYou can set the Spark configuration setting spark.sql.hive.manageFilesourcePartitions t
浏览 3提问于2021-07-13得票数 0
回答已采纳
2回答
.：.然后就会以一种草率的方式保存它(一个包含大量文件的文件夹)。
是否可以将数据帧保存为单个文件？
浏览 4提问于2017-05-21得票数 0
回答已采纳
我正在使用spark来处理我的数据。我有成对的RDD，它分布在多个executors上。数据大小为10tb，分区数为4000。总共有100个executor，每个executor的内存是20 is。因此，每个分区的大小约为128mb。因此，所有相关的键都将移动到同一个分区。因为我们有一个512mb大小的分区，我们有4000个分区，它将导致任何OOM错误，或者它将在没有任何错误的情况下执行。如果执行时没有任何错误，那么Spark是如何在内部</e
浏览 0提问于2020-03-12得票数 2
我使用spark dataframe编写器将数据写入IBM Cloud Object Storage中的内部hive表，格式为parquet。(通过partitionBy)时，我无法直接从spark sql访问数据要从分区表中获取数据，我必须加载数据帧并将其注册为临时表，然后对其进行查询。当表未分区时，不会出现上述问题。COS/Parque
浏览 40提问于2018-12-18得票数 0
我使用的是Spark，实际上是hiveContext.sql()，它使用group查询，并且遇到OOM问题。因此，考虑将spark.sql.shuffle.partitions的价值从200个默认增加到1000个，但这并没有帮助。
我相信这个分区会共享数据洗牌负载，所以分区越多，容纳的数据就越少。我使用的是Spark1.4.0，我有大约1TB的未压缩数据可以使用hiveContext.sql() group查询进行处理。
浏览 13提问于2015-09-02得票数 40
回答已采纳
{Level, Logger};import org.apache.spark.sql.{DataFrame, SparkSession};import org.apache.spark.sql.expressions$apache$spark$sql$execution$datasources$FileFormatWriter$$execute
浏览 3提问于2018-07-11得票数 8
云服务器
ICP备案
对象存储
即时通信 IM
云直播
腾讯云开发者
