腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Spark-redis
:
数据
帧
写入
速度
太慢
apache-spark
、
dataframe
、
redis
、
pyspark
、
spark-redis
我是一名Apache Spark/Redis用户,最近我在一个项目中尝试了
spark-redis
。该程序正在生成大约有300万行的PySpark
数据
帧
,我使用以下命令将其
写入
到Redis
数据
库中 df.write \ .format("org.apache.spark.sql.redis") \然而,对于相同的Spark集群配置(相同数量的EC2实例和实例类型),我得到了不一致的
写入
时间。有时候它发生得很快,有时候
太慢
了。有没有办法加快
浏览 86
提问于2019-01-24
得票数 0
1
回答
使用JDBC Source和Redis Stream的Spark流
oracle
、
scala
、
redis
、
spark-streaming
也许是redis在
写入
流端时实现它的接收器的方式,也可能是我尝试做这项工作的方式。我每天加载Oracle
数据
,并将其发送到redis流,稍后将从流中提取该流并保存到Mongo。现在,下面的示例只是试图从流中删除并在控制台上显示,但没有显示任何内容。我尝试过的小技巧是创建一个CSV目录,从其中读取
数据
,然后从csv中获取日期并用来查询oracle
数据
库,然后使用foreachBatch命令将oracle DataFrame保存在redis上。
数据
被保存了,但我认为不是以正确的方式,因为使用示例代码来读取流没
浏览 21
提问于2020-08-12
得票数 2
1
回答
PySpark过滤
数据
帧
并将
数据
帧
写入
mysql
数据
库
dataframe
、
apache-spark
、
pyspark
、
apache-spark-sql
、
export
我正在尝试写
数据
帧
到MySql DB和使用Apache Spark 2.3.1。它有20K到30K的行从mySql读取,并使用20个分区进行分区。我首先过滤
数据
帧
,并尝试将过滤后的结果集
写入
mysql DB。 但是写操作变得
太慢
。在没有过滤的情况下,df写操作正在按照预期的
速度
和性能执行。有人能帮上忙吗?
浏览 24
提问于2021-10-15
得票数 0
1
回答
数据
转换后,将kafka流
数据
帧
保存到Databricks中的Redis
scala
、
apache-spark
、
pyspark
、
redis
、
spark-redis
在对
数据
执行聚合后,我使用pyspark将kafka流定向到redis。最终输出是一个流
数据
名。 .select(from_json(col("value").cast("string"), app_schema).alias("mob_apps")) 由于订阅到代理,这给了我流
数据
帧
.agg(sum(col("within_7d_ind")).ali
浏览 15
提问于2021-02-27
得票数 0
2
回答
将dataframe转换为行序列的字典
python
、
pandas
、
dataframe
、
dictionary
、
iteration
我需要在一个非常大的
数据
帧
(1000万x 70)上迭代(向量运算是不可能的)。df.iterrows和使用df.loci直接访问
数据
帧
的
速度
太慢
了。在过去,我会首先将
数据
帧
转换为字典字典,这使我可以非常快速地迭代。然而,这种方法占用了大量内存,并且不再适用于我当前的
数据
。 我需要牺牲一些查找
速度
来节省内存。做这件事最好的方法是什么?将我的
数据
帧
转换为行序列{index: Serie
浏览 10
提问于2019-12-05
得票数 0
1
回答
用rgl制作动画
r
、
animation
、
shiny
、
rgl
我的
数据
不是作为时间序列设置的,但是每一行都代表一个时间上的观察。 另外,如果需要的话,我愿意使用另一个包(rgl除外)。
浏览 8
提问于2017-07-13
得票数 2
2
回答
将
数据
帧
写入
.xlsx
太慢
pandas
我有一个40MB的
数据
帧
'dfScore‘,我正在写.xlsx。
浏览 0
提问于2016-08-17
得票数 6
1
回答
TokyoCabinet
写入
速度
太慢
perl
、
nosql
、
key-value
、
tokyo-cabinet
、
tokyo-tyrant
我有一个perl脚本(在Ubuntu12.04LTS中)
写入
26个TCH文件。钥匙分布大致相等。在300万次插入(平均分发到所有文件)之后,
写入
变得非常慢,从240,000插入/min到起始的14,000插入/分钟,再到3 MM插入之后。
浏览 8
提问于2013-04-18
得票数 1
1
回答
NFS
数据
缓存在哪里?
nfs
我安装了一个NFS导出并启动了一个进程,我希望该进程能够将大量
数据
写入
共享磁盘。共享磁盘的
速度
太慢
了,所以我终止了进程,但是输出驱动器的机器上的IO在那之后保持了90分钟的高
速度
。在NFS
数据
链中,
数据
会被缓存在哪里&我能做些什么来阻止它被
写入
磁盘呢?
浏览 0
提问于2014-11-18
得票数 1
2
回答
当使用DirectShow录制动画时,如何确保正确的
帧
速率?
delphi
、
directshow
设置如下:引脚连接,当图形运行时,创建一个wmv文件。问题是,DirectShow似乎正在以大于10 FPS的速率从推送源推
浏览 2
提问于2011-05-13
得票数 3
回答已采纳
1
回答
如何从CVImageBufferRef类型的每个像素中获取信息?
macos
、
image
、
buffer
、
pixel
、
isight
我正在尝试从QT电影的各个
帧
中提取像素
数据
。我想我需要使用CV,因为QTKit和NSImage
太慢
了…… 我需要比较包含网络摄像头(iSight)当前
帧
的缓冲区(CVImageBufferRef)中图像的每个像素。所以我需要
速度
。
浏览 6
提问于2011-12-06
得票数 4
2
回答
SharedPreferences的读取
速度
android
、
performance
、
sharedpreferences
我有少量
数据
需要ListView查询才能显示每个单元格,我担心对闪存的调用会
太慢
。我不担心
写入
速度
,因为
写入
不会频繁发生。我正在考虑只使用JSON对象来持久化
数据
,而不是SharedPreferences。有什么想法吗?
浏览 75
提问于2013-10-03
得票数 35
回答已采纳
1
回答
将值逐行
写入
数据
帧
太慢
python
、
dataframe
我有一个这样的
数据
帧
:----------------------001 |B我想把
数据
帧
转换成这样的格式:----------------------------- 001 | 3 | 3df2.loc[df2["Customer"]==df1.loc[index,"Customer
浏览 0
提问于2017-12-28
得票数 0
1
回答
如何使用OpenCL运行多队列代码?
queue
、
kernel
、
opencl
例如,我正在对视频的每一
帧
做一些图像处理工作。 processing the frame5 using **queue0**; ...代码的意思是,我使用不同的队列来读取和处理视频中的同一
帧
。然而,我的实验结果更快,但只快了2倍,但不是我想象中的
速度</e
浏览 1
提问于2014-04-14
得票数 0
1
回答
希捷硬盘
写入
速度
太慢
?
usb
、
external-hdd
起初,它给了我大约60 60MBPS的
写入
速度
,但现在它给了我大约7.0MBPS的
速度
。 我跑去发现了结果。
浏览 0
提问于2018-02-23
得票数 2
回答已采纳
1
回答
将
数据
写入
上限集合的
速度
太慢
mongodb
、
mongodb-.net-driver
我正在运行一个应用程序,它将自动记录一个操作日志,这意味着有很多日志需要从客户端请求
写入
数据
库。
浏览 0
提问于2013-05-02
得票数 1
1
回答
在IE11上,方法SendKeys
速度
非常慢
c#
、
selenium-webdriver
、
iedriverserver
我正在使用SendKeys方法在字段中
写入
文本。但在IE11上,
写入
速度
太慢
,并且我的脚本关闭导致超时。 我不知道如何解决这个问题。
浏览 4
提问于2017-07-31
得票数 0
1
回答
压缩BufferedImage而不
写入
磁盘
java
、
image
、
compression
、
bufferedimage
、
javax.imageio
我想压缩BufferedImage而不向磁盘
写入
任何东西,因为图像表示来自视频提要的
帧
,所以
写入
磁盘显然
太慢
了。我看了ImageIO.write(image, "png", OutputStream),但我想不出用什么OutputStream来防止将结果压缩的映像
写入
磁盘。
浏览 1
提问于2016-02-02
得票数 0
回答已采纳
2
回答
播放音频时Alsa缓冲区溢出
buffer
、
playback
、
pcm
、
alsa
、
overrun
我在板上运行一个二进制程序,它每5.7ms发送一次1024字节的音频
帧
。pc接收
帧
并使用以下命令
写入
err
浏览 47
提问于2014-05-21
得票数 1
1
回答
Pyspark中的宽
数据
帧
操作
速度
太慢
python
、
apache-spark
、
pyspark
我正在运行一个测试脚本来加载
数据
帧
中的特征集,选择几千条记录,按特定的区域代码分组,并对15k个特征集进行平均。问题是作业要么出错,要么耗时太长(对于5%的记录样本,大约需要8个小时)。有没有办法在Pyspark中加速对大量
数据
帧
的这类操作?我正在使用Jupyter notebooks,希望这些查询在几分钟内完成,而不是几个小时。
浏览 0
提问于2018-10-22
得票数 3
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
开源一组视频时间轴控件
海兰V400一体机助你愉快吃鸡无压力
汇编语言入门教程
一文看懂Modbus协议
大数据分析中Redis怎么做到220万ops
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券