腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(4878)
视频
沙龙
1
回答
要对
pandas
进行
预处理
的
数据
太
多了
--
pyspark.sql
是
一个
可行
的
替代
方案
吗
?[
已
关闭
]
已
关闭
..。这个问题
是
opinion-based..。它目前不接受答案。 想要改进这个问题
吗
? 更新问题,以便可以通过以下方式使用事实和引用回答问题编辑此帖子..。 两天前就关门了。改进此问题 我在几个.csv文件中有大约20 GB
的
数据
,并希望对其
进行
一些常见
的
预处理
步骤,如连接、添加列、删除行/列、分组/聚合等。.merge(df2).drop(['col']) df['new
浏览 34
提问于2021-02-25
得票数 0
3
回答
Dask在群集之间切换或更改群集上下文
dask
、
dask-distributed
、
dask-dataframe
、
dask-ml
我
是
新来Dask
的
,所以如果你觉得这个问题很愚蠢,请原谅我。在Dask中,我正在使用
一个
包含大约50 of
数据
的
Dask
数据
帧。此
数据
是
字符串
数据
,在将其提供给机器学习算法之前,我需
要对
其
进行
预处理
(使用该过程快速)(使用线程快速)。现在
的
问题
是
,当我设计
一个
关于进程
的
集群时,
数据
帧操作<em
浏览 30
提问于2021-02-17
得票数 2
1
回答
面向实时推理
的
对象检测模型
api
、
object-detection
、
aws-marketplace
我在定制
数据
集上训练了OD模型。我想将模型部署为API。该模型将用于实时推理,我计划在
一个
API市场上赚钱,比如AWS,Rakuten
的
快速API等等。我担心
的
是
,如果OD模型
是
作为API提供
的
,在视频流(监视摄像头馈送)上执行实时预测会带来网络延迟,从而使应用程序变得更慢。是否有其他
替代
方案
来解决延迟问题?例如,如果我打包要在客户端系统上执行
的
代码和工件,则可以消除网络延迟,但有可能暴露模型、代码等。因此API似乎
浏览 19
提问于2021-12-06
得票数 0
3
回答
如何对大型
数据
集中
的
多个变量
进行
排序?
sorting
、
sas
、
rank
、
proc
、
ranking-functions
我有
一个
大约5000万条记录
的
数据
集,大约有30个变量(列)。我需
要对
每个变量
的
数据
集
进行
排序。 Proc rank不起作用,因为对于这个大型
数据
集,它需要大量内存。要手动给出排名,我必须在相应
的
变量列上对
数据
集
进行
排序,然后使用公式给出排名。但问题
是
,我们必须对30个变量
的
数据
集
进行
30次排序,这将花费非常长
的</em
浏览 1
提问于2016-10-27
得票数 0
1
回答
Azure用作调度器
azure
、
azure-functions
、
azure-data-factory
Azure函数
是
作为调度器使用
的
Azure Data Factory
的
一个
很好
的
替代
品
吗
?它具有要监控
的
blob触发器,并且可以使用C#通过API触发
数据
库作业。但这是
一个
可行
的
替代
方案
吗
?
已
编辑以添加更多信息。希望基于触发器文件触发databricks作业,但不希望使用Azure
数据
工厂或D
浏览 12
提问于2019-09-24
得票数 2
回答已采纳
1
回答
撒克逊XQuery内存管理
java
、
sql
、
jdbc
、
xquery
、
saxon
所以我最近一直在和Saxon一起工作,并且对它
的
内存管理能力有一些担忧。我觉得这确实使XQuery成为支持流
的
SQL和JDBC
的
一个
不太
可行
的
替代
<em
浏览 2
提问于2014-11-10
得票数 0
回答已采纳
1
回答
Exasol对HBase
hadoop
、
hbase
、
business-intelligence
、
exasolution
我对BigData体系结构非常陌生,所以请不
要对
我
太
苛刻。 我正试图找到最好
的
替代
方案
来构建能够处理大量
数据
的
BI体系结构。在我看来,解决
方案
必须
是
集群/水平可伸缩
的
,以应对系统
的
增长。我希望能够使用sql与系统
进行
交互,因此HBase + Hive (甚至Pig )不是用于SQL,而是不需要手动编写MR任务。这样一种体系结构相对于EXAS卷积和它们
的
内
浏览 1
提问于2015-08-12
得票数 0
回答已采纳
1
回答
星火DataFrame如何处理比内存更大
的
潘达斯DataFrame
pandas
、
apache-spark
、
dataframe
、
apache-spark-sql
、
hdf5
我现在正在学习Spark,它似乎
是
Pandas
Dataframe
的
大
数据
解决
方案
,但是我有
一个
让我不确定
的
问题。 目前,我使用HDF5存储比内存更大
的
Pandas
数据
文件。HDF5
是
一个
很好
的
工具,它可以让我在熊猫
的
数据
上分块。因此,当我需
要对
大型
Pandas
数据
进
浏览 0
提问于2015-10-29
得票数 5
回答已采纳
1
回答
如何使用任何图表库根据日期对x轴
进行
排序?
javascript
、
anychart
、
anychart-8.2
我对倍数系列
数据
有问题。我有三个系列
数据
(有时
是
两个),其中x值
是
日期,y值
是
数字。我无法根据日期对列栏
进行
排序。如您所见,序列
数据
显示在“串联”键中。日期应从2019年至2020年
进行
排序。
一个
类似的问题被问到了。 然而,即使使用DateTime,我也无法按照正确
的
顺序显示日期。如果我使用DateTime,图表不会显示日期
的
实际值(es )。
浏览 1
提问于2021-03-15
得票数 0
回答已采纳
2
回答
如何在
Pandas
中存储多个相关
的
时间序列
python
、
pandas
、
time-series
、
quantitative-finance
我
是
Pandas
的
新手,想从专业人士那里获得一些见解。我需
要对
金融证券每日开盘价、高价、低价、收盘价
的
>30个时间序列
进行
各种统计分析(多元回归、相关等)。每个系列都有500-1500天
的
数据
。由于每个分析都着眼于多个证券,我想知道从易用性和效率
的
角度来看,将每个时间序列存储在单独
的
df中
是
更可取
的
,每个df都以日期作为索引,还是将它们全部合并到具有单个日期索引
的</
浏览 2
提问于2014-03-19
得票数 2
1
回答
BRE策略-在何处存储Db事实
的
连接字符串
biztalk
、
business-rules
、
biztalk-2016
、
btdf
我有
一个
BRE规则,它接受4个类型
的
xml文档和
一个
数据
连接。我已经设置了
一个
业务流程来使用调用规则形状来执行它。 <datarow ref=
浏览 2
提问于2018-11-07
得票数 0
回答已采纳
2
回答
Regex只返回带有管道字符
的
标记
php
、
regex
我很难找到一份Regex
的
工作。<ALERTNOTEACTIONS>0</ALERTNOTEACTIONS> <ALLOW|DELIVERY|EDIT>1</ALLOW|DELIVERY
浏览 2
提问于2014-05-06
得票数 1
回答已采纳
1
回答
在Octave中将文本/数字混合
的
CSV文件作为表格读取
octave
在octave中,有没有一种简单
的
方法从csv中加载
数据
到类似于R中
数据
帧
的
数据
结构中?我尝试了csvread dlmread,但octave一直在读取test中
的
一个
虚数,另外,我希望有列
的
标题作为参考。我看到网上有一些例子看起来
太
扭曲了,怎么可能没有
一个
函数或类似于R
的
数据
帧
的
东西呢?我说
的
是
一个
名为dat
浏览 3
提问于2015-02-09
得票数 1
1
回答
解锁用于查找和替换
的
Xcode项目文件
xcode
、
xcode4
我经常使用Xcode
的
工作空间Find和Replace。当与regex结合使用时,它
的
功能非常强大。 然而,我有
一个
包含30-40个项目的工作区,并且需
要对
构建设置
进行
大量更改。我
的
所有Xcode项目文件都被锁定。所以regex find运行得很好,但是我没有办法
替代
它。我甚至不能预览它。它只影响我能看到
的
项目文件。我打开Finder来检查权限,它们
是
完全开放
的
,OSX文件锁对它们都是
关闭
的
浏览 3
提问于2013-07-09
得票数 1
回答已采纳
1
回答
从列表创建
数据
帧时内存错误
python
、
pandas
、
dataframe
我在python中使用cx_oracle运行
一个
SQL查询,查询
的
结果
是
一个
列表。list
的
维度if 180列* 200,000+行。每当我试图使用pd.DataFrame将其转换为
数据
帧时,就会遇到内存错误。现在,作为一种解决
方案
,我已经尝试通过设置过滤器来分解我
的
查询,或者只查询几列等等,这是
可行
的
。但是,如果我更改了一些过滤器,就会再次遇到错误,并且我不能始终确定
一个
查询将返回多少行。 因此,
浏览 3
提问于2019-07-05
得票数 2
回答已采纳
2
回答
在MQTT上发送Kinect Body[]
数据
c#
、
unity3d
、
json.net
、
mqtt
、
kinect-v2
我试图通过MQTT发送微软
的
Kinect v2身体
数据
,以有效地映射骨骼
数据
而不直接连接到Kinect,但我似乎无法正确地反序列化Body[]。我将在Update()中发布Bodys
的
每个帧
的
列表。我目前
的
设置
是
使用Newtonsoft
的
JSON.Net来序列化从Body[]获取
的
列表,并将其发布到MQTT (使用)。我使用它是因为Body类
是
不可序列化
的
(所以我不能使用JSONUtility?)。
浏览 0
提问于2018-02-06
得票数 1
回答已采纳
1
回答
为带有模板文字
的
对象数组中
的
变量赋值?
javascript
、
arrays
、
javascript-objects
、
template-literals
我将介绍
一个
简化
的
数据
结构:const data2 = [{"age例如,我知道这是
可行
的
:const zero = '0' const a = 'ag
浏览 2
提问于2021-06-29
得票数 1
回答已采纳
2
回答
将
数据
库保存在内存中,即使客户端脚本断开连接
php
、
linux
、
sqlite
、
memory
在将一些统计
数据
写入主
数据
库之前,我需
要对
其
进行
预处理
。我
的
php-cli脚本每10分钟检索一次
数据
,并将其存储在某个地方。每小时都会对所有保存
的
数据
进行
预处理
,然后写入主
数据
库。我想如果我能把它记在记忆里的话,sqlite应该是个不错
的
解决
方案
。我没有太多
的
数据
(我可以把它保存在我
的
RAM中
浏览 3
提问于2014-01-04
得票数 0
回答已采纳
2
回答
LR自定义日志文件:如何从生成器机器获取它们?
load-testing
、
loadrunner
、
scenarios
、
lr
假设我有
一个
VUGen C测试,它将结果写入某个
数据
日志文件,即它列出了在初始化时创建(或附加)、在主操作中写入并在
关闭
时
关闭
的
文件中
已
处理
的
in或类似的内容。然后我想知道是否有LR功能允许我在控制器上找到包含该文件
的
所有vuser副本
的
整合目录结构? 据我所知,所有vuser实例都使用测试目录结构
的
一个
公共副本,该副本位于temp中
的
某个位置。因此,a)我需要将VUser ID包
浏览 1
提问于2010-12-16
得票数 0
回答已采纳
1
回答
DataFrame cols
的
pyspark变换子集,但保留索引
pandas
、
apache-spark
、
pyspark
、
user-defined-functions
我
是
spark/pyspark
的
新手,我正在尝试将一些
pandas
代码转换为pyspark。 简而言之,问题
是
:如何在保留行索引值
的
同时,对spark
数据
帧
的
一些数值列
进行
行式转换。我有
一个
数据
帧,其中有几列用作索引,而其余
的
是
我需
要对
其
进行
几次转换
的
数值
数据
i0 i1 c0
浏览 19
提问于2021-04-16
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
泰涨知识|pandas数据预处理常用函数
这几个方法颠覆你对Pandas缓慢的观念!
还在抱怨pandas运行速度慢?这几个方法会颠覆你的看法
Python数据挖掘-泰坦尼克号获救预测——唐宇迪老师直播回顾
机器学习数据预处理完整入门指南!
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券