Pyspark月度频率低性能

文章/答案/技术大牛

发布

1回答

pyspark-sql

性能一点也不好，因为结果是处理20天的分区需要1个小时，你能弄清楚并优化查询吗？from pyspark.sql import sparksessionfrom pyspark import HiveContextTab2=spark.sql("select * from B where day is not null") UDF_df(i) 上面是一个月的p

浏览 14提问于2019-05-25得票数 2

回答已采纳

1回答

如何确定记忆不平衡？

linux、memory、performance-monitoring

在一段时间内，我确定了某些服务器的低性能(低三倍)。在Linux中也可以看到类似的地方吗？也许这可以通过PCM硬件计数器看到？或者其他地方？

浏览 0提问于2017-04-25得票数 0

1回答

我在专用的X3440服务器上运行实时应用程序，想知道为什么应用程序的性能比我以前的VPS box差。我已经尝试通过键入"service cpuspeed stop“来完全禁用任何伸缩，但它仍然显示与性能调节器相同的结果。我想知道为什么性能调节器不将CPU频率锁定在最大值。然后，我尝试在每个内核中运行4个独立的虚拟的低优先级任务: yum install gcc内容： while(1);gcc假人.c -但是，我不喜欢这些任务浪费

浏览 5提问于2012-10-19得票数 5

2回答

一些与CPU相关的问题。Linux

linux、central-processing-unit

我想知道以下设置对性能的影响在哪里。我正在运行数学模拟，我想知道什么内核设置最好或推荐RT。提前谢谢。

浏览 0提问于2010-11-18得票数 0

回答已采纳

2回答

优化PySpark与pandas DataFrames之间的转换

pandas、pyspark、apache-spark-sql、azure-databricks、pyarrow

我有一个13M行的pyspark数据帧，我想把它转换成pandas数据帧。然后，将根据其他参数以不同的频率(例如1秒、1分钟、10分钟)对数据帧进行重新采样以进行进一步分析。从文献[，]中，我发现使用以下任何一行都可以加快pyspark到pandas数据帧之间的转换：spark.conf.set("spark.sql.execution

浏览 11提问于2021-11-19得票数 0

1回答

为什么我们需要java.sql.包中的语句*

jdbc

Statement取代了PreparedStatement 注意:我的理解是-一个人可以使用语句进行静态查询也不需要频繁触发，而不是使用PreparedStatement，后者用于频繁查询的情况(原因:性能是因为

浏览 3提问于2013-03-10得票数 0

2回答

改变频率但没什么不同

performance、frequency

timei=0 i+=1问题是为什么两个频率之间没有什么不同

浏览 0提问于2014-12-19得票数 2

2回答

CPU .进程/pid相对于最大CPU频率的CPU使用或CPU周期

python、python-3.x

这样做的问题是动态电压和频率缩放(DVFS，或ACPI的P-状态，或cpufreq，等等)。当前CPU频率越低，进程执行的时间越长，CPU使用率就越高。与此形成对比的是，相对于CPU的最大性能，我需要固定的CPU使用率。为了避免永久改变“当前频率”的多重重标，一种方法是直接使用进程所使用的CPU周期。

浏览 1提问于2017-05-09得票数 0

回答已采纳

1回答

如何让英特尔的总监们像以前一样按需工作？

intel、cpu、temperature、cpufreq、governor

我曾经在ondemand调速器上使用我的笔记本电脑，它根据CPU的使用情况切换CPU频率。多年来，它运行得很好，有三个非常重要的优点：静扇现在我已经升级了我的笔记本电脑(联想B5400，英特尔奔腾3550 M)和系统(Ubuntu14.10)，我发现：仍然让州长回到performance，这是错误的，我相信不管调控器是什么，cpufreq-info告诉我“频率应该在2.30 MHz和2.30 GHz之内”，尽管可用的频率从800

浏览 0提问于2014-10-25得票数 5

1回答

考虑到Solr在web应用程序中的使用，任何人都可以提供任何性能见解，我将不胜感激

lucene、solr、full-text-search

我正在构建一个web应用程序，它涉及到非常频繁的数据库更新(可能是每秒10s-100s)，并且也需要相同的搜索操作速率。(例如，用户发布信息，然后需要非常定期地对该信息进行全文搜索，并且在提交后不久)有没有人能向我提供关于Solr支持我需求的能力的见解/信息？

浏览 7提问于2011-09-12得票数 1

回答已采纳

1回答

对分类变量的低频级别进行分组以提高机器学习性能

python、machine-learning

我正在努力寻找方法来提高机器学习模型的性能，无论是二进制分类，回归还是多项式分类。我目前正在尝试不同的阈值(30%，20%，10%)来将级别组合在一起。我想知道将这些“低频组”分组到一个称为“其他”的新级别是否会对提高性能有任何好处。我进一步使用随机森林进行特征选择，我知道比原来更少的级别可能会造成信息丢失，因此不会提高我的性能。此外，我尝试离散化

浏览 14提问于2019-07-25得票数 0

1回答

混淆合并因子对搜索和标引的影响

solr、lucene、full-text-search、elasticsearch

Solr/Lucene文档说明如下：我还了解到合并是在后台并行进行的，并不是索引请求的一部分。1)当我的合并因子较低时，是什么导致索引性能较低？

浏览 4提问于2013-01-10得票数 0

1回答

当我们为数组重新分配内存时，可扩展数组会做什么？

java、arrays、arraylist、amortized-analysis

我刚刚遇到这个问题，如果我们有一个动态分配的数组，它需要O(1)来做插入。但是当数组已满时，我们需要为数组重新分配双倍空间，因此复制旧数组需要O(n)。我读过一些关于可扩展数组的文章，但我不太理解它。有人能帮我解释一下吗？

浏览 5提问于2015-03-27得票数 1

1回答

torchaudio mfcc设置太高n_mels

python、pytorch、mfcc

我目前正在研究用于语音识别模型的py手电筒。(1)抽样率较高的警告可能是甚麽原因？我是新的堆叠溢出和除草编码，所以如果我

浏览 19提问于2022-06-01得票数 2

0回答

Postgres -如何合并分区？

postgresql、database-partitioning

最新的数据被查询的频率最高，因为数据越旧，查询的频率就越低。为了提高性能，我按月对数据进行了分区，表的创建方式类似于下面的… CREATE TABLE banana ( recTime TIMESTAMP, blah blah blah) PARTION BY，大概是因为在一个月的这个时候，它中的记录很少，随着月份的推移(表变得更大)，性能会下降。出于这个原因，我认为如果我按天分区，而不是按月分区，我会获得更好的性能。但是，我不想每天对整个表进行分区，最终会有很多小分区需要管理。有没有可

浏览 8提问于2018-07-18得票数 1

1回答

MongoDB指定切分键和切分策略

mongodb、sharding

在使用基于范围的切分策略时，说明集合将被分割为基于位置的语法是什么。我知道您必须使用sh.shardCollection()命令，但是我在其中使用了哪些参数？

浏览 0提问于2019-03-20得票数 1

2回答

MySQL复合索引中键的性能排序(WRT、Rails、多态关联和STI)

mysql、ruby-on-rails、activerecord、indexing、sti

接受我的问题的答案是正确的--即对高基数_id列和低基数_type列都进行索引是有价值的，因为它们加在一起具有高基数--我的下一个问题是:应该如何对复合索引进行排序？使用前一个键的查询是比使用后一个键的查询性能更高，还是性能相当？我之所以这样问，是因为这与我如何为服务于STI模型的表排序复合键有特别的关系。因此，类型列的查询频率比其他索引高得多。如果查询类型列的频率要高得多，那么使用类型前导索引可能更有意义，因为不太具体的查询可以利用索引的第一部分，从而提高性能。然而，我不会以损害高度

浏览 1提问于2011-02-10得票数 8

1回答

新创建的Azure弹性作业代理未显示在Azure门户资源列表中

azure-sql-database

我不确定这是与问题有关，还是与代理的低性能/低周期频率有关。虽然该代理在Azure门户上的资源列表中不可见，但它似乎存在于后台。Azure不允许我创建新的代理，并抛出一个与现有代理冲突的错误。

浏览 27提问于2020-01-21得票数 1

回答已采纳

1回答

我13900 k上的第18核正在经历43%的负载，如何找出这种行为的根本原因？

arch-linux、manjaro、cpu、troubleshooting

我对我的i9-13900 k负载感到非常困惑。它总是同一个第18核心，只有一个特定的核心。我使用最新的manjaro安装和默认的英特尔集成图形运行6.1.9内核📷

浏览 0提问于2023-02-10得票数 0

1回答

二维索引数据结构

algorithm、indexing、data-structures、tree

使用情况： R-树。虽然查询比四叉树工作得更快，但在我看来，它太复杂了。另外，我从论文中得到的是，R树是面向处理分页数据的。需要考虑的其他选项是什么，其中哪些选项可以提供最高范围的查询性能？

浏览 3提问于2019-11-30得票数 0

点击加载更多