1回答
我正在创建一个spark作业，我想知道通过spark.sqlContext().read("table")与spark.sql("select * from table")读表是否有任何性能优势，或者spark的逻辑计划是否无论如何都会得到相同的结果？
浏览 12提问于2019-02-20得票数 0
我需要运行一个有大量数据的spark程序。我正在尝试优化spark程序，并通过spark UI工作，试图减少Shuffle部分。我在互联网上搜索过，但找不到关于它们的具体细节，所以想看看是否有人可以在这里解释它们。
浏览 3提问于2016-03-06得票数 13
1回答
提高dataproc cluser性能的最佳软件配置是什么？我知道hadoop/spark集群的内部基础设施优化。它是否适用于dataroc集群或其他需要的东西？为了优化时间，我尝试了spark的数据缓存/持久化。但它没那么有用。是否有任何方法指示激发整个资源(内存、处理能力)属于该作业，以便它能够更快地处理它？
任何在时间和价格优化方面的
浏览 0提问于2018-06-01得票数 0
回答已采纳
1回答
目前，我正在阅读整个表格，但这对性能不利。为了优化性能，我想向下面的spark.read配置传递一个查询。例如，从我的表中选择*，其中记录时间>时间戳。这个是可能的吗？我该怎么做？DF = spark.read \ .option("url", jdbcUrl
浏览 9提问于2022-08-31得票数 0
回答已采纳
1回答
分析视图数据库中的表优化
、、、
在执行Analyze table Compute Statistics之后，我的连接在Databricks Delta表中的性能变得更好。与在Spark sql中一样，不支持sql分析视图。我想知道，如果我在使用Analyze table compute statistics的同一个表上创建了视图，查询优化器是否会优化查询。
浏览 2提问于2020-02-20得票数 0
我有一堆MySQL表需要执行一些分析。我目前已经将这些表导出为CSV文件，并将它们放到HDFS上。现在，我从PySpark上的HDFS中将每个表读取到不同的RDDs中进行分析。pyspark.sql import SQLContextdf = sqlContext.read.format('com.databricks.spark.csv').options(header='true', inferschema='t
浏览 1提问于2015-12-07得票数 2
我正在将一个社交网络的json文件读入spark。我从这些数据中得到一个数据帧，我将其分解以获得对。这个过程运行得很完美。val social_network = spark.read.json(my/path) // 200MB
val exploded_network = social_network.
浏览 1提问于2017-03-20得票数 3
3回答
我知道HBASE是一个柱状数据库，它将表的结构化数据按列而不是按行存储到HDFS中。我知道Spark可以从HDFS读/写，还有一些用于Spark的HBASE连接器现在也可以读写HBASE表。它只取决于程序员的能力，或者有任何性能原因来这样做？是否有星火所能做的事，而HBASE却无法做到？
2)源于前面的问题，什么时候应该在HDFS和SPARK之间添加HBASE，而不是直接使用HDFS？
浏览 4提问于2016-08-13得票数 9
回答已采纳
3回答
为了提供一些背景知识，我尝试在使用和不使用Spark的催化剂优化器的Spark上运行TPCDS基准测试。对于较小数据集上的复杂查询，我们可能会花费更多的时间来优化计划，而不是实际执行计划。因此，我想测量优化器对查询整体执行的性能影响
有没有办法禁用部分或全部的spark catalyst优化规则？
浏览 4提问于2018-05-10得票数 10
我需要从Spark创建一个Hive表，该表将采用拼花格式和快速压缩。'='SNAPPY') as select * from OLD_TABLE")| Parameteras parquet tblproperties ('parquet.compression'='ABCDE') as select * from OLD_TABLE&qu
浏览 3提问于2016-04-29得票数 4
回答已采纳
1回答
我试图理解Distribute by子句，以及如何在Spark-SQL中使用它来优化Sort-Merge Joins。根据我的理解，Spark优化器将根据连接键(洗牌阶段)分发两个参与表(连接)的数据集，以便在同一个分区中共同定位相同的键。那么，如何使用distribute by来改善join性能呢？还是在通过加载过程将数据写入磁盘时使用distribute by更好，以便以后使用该数据的查询不必对其进行洗牌，从而从中受益？请您用一个真实的例子来解释一下如何在Spark
浏览 0提问于2019-08-09得票数 2
1回答
我有多个表(~20)，每个表都有一个复合主键，它根据表的不同由Time (int)和( ProductID，int)或ServiceID (int)组合而成。我理解，为了最大限度地提高读/SELECT效率，我通常应该解除数据的规范化，以防止昂贵的表连接。因此，考虑到这一点，如果我想优化阅读性能，应该
有3个单列表，包含所有可能的Time、ProductID和ServiceID值。然后在每个表中将这些作为外键。保持所有20个表</e
浏览 1提问于2014-08-12得票数 0
1回答
Spark有自己的内存处理框架，可以连接到各种数据库，如Cassandra、MongoDB、Redshift。
因此，当通过Spark从这些数据库读取时，数据库的读性能(或写性能)重要吗？
浏览 4提问于2015-09-16得票数 1
我正在运行一个Spark SQL查询，有大量的数据(大约5000万条记录).Due到繁重的记录，查询在集群中变得更慢，所以它需要很长的时间(20分钟)来处理整个数据。我在query.How中使用inner join，left join可以提高性能。
浏览 3提问于2018-04-02得票数 0
在我的例子中，数据驻留在星火表中，这些表是通过调用dataframe上的createOrReplaceTempView API创建的。创建表后，将在表的顶部运行多个查询。我想知道是否可以进行某种类型的优化来提高过滤器查询的性能。我试着探索索引的方法，但事实证明spark不支持索引一个特定的专栏。
浏览 3提问于2021-12-30得票数 -3
Spark版本: 3.0.0 以下是一些代码： val df = spark.read.schema(schema).format("com.databricks.spark.csv")df.createOrReplaceTempView("t1")
val res = spark.s
浏览 26提问于2020-07-13得票数 0
回答已采纳
我正在从包含特定季度的102,000,000条记录的PostGres表中读取数据。该表包含多个季度的数据。现在我正在通过spark JDBC连接器读取数据，获取数据花费了太多时间。connectionString = jdbcurl;val readPGSqlData = spark.read.jdbc
浏览 2提问于2020-11-25得票数 0
2回答
我试图获取表(Delta表)最后一次优化的时间，使用下面的代码和获得预期的输出。此代码将用于数据库中存在的所有表。table_name_or_path = "abcd"
是否有任何方法来编写优化的代码，这将更有
浏览 20提问于2022-08-18得票数 0
回答已采纳
我想知道更多关于在Apache ( PySpark )中使用Catalyst Optimizer的信息，在pyspark数据帧中使用Catalyst Optimizer是可能的。
浏览 23提问于2019-05-18得票数 1
2回答
是否有一个被接受的读与写的比率，使一个索引是值得的，还是它更少削减和干燥比这？在结果的两端，我是清楚的-- 1,000,000读和0写=好索引以加快数据检索，1,000,000写和0读意味着我们正在维护一个索引，用于零引用。
浏览 0提问于2009-10-14得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
