1回答
我有两个大的csv文件，需要加载到Mongo集合。首先，我将数据读取到pandas Dataframe中，进行一些预处理，然后将结果字典插入Mongo集合中。问题是性能非常慢，因为它是按顺序执行的，并且将数据加载到第二个集合应该在第一个集合已经填满之后完成(用外键更新行)。如何加快加载过程？import pymongoimport pandas as pdfrom
浏览 31提问于2018-12-17得票数 0
1回答
我需要在Pyspark(2.4.4)中缓存一个数据帧，内存缓存很慢。 我使用Spark缓存对Pandas缓存进行基准测试，通过读取相同的文件(CSV)。具体地说，Pandas的速度要快3-4倍。
浏览 26提问于2020-01-28得票数 0
我在MongoDB中有一个现有的数据，其中主键设置为'date‘，其中有几个字段。我想在MongoDB中的现有数据中插入一个带有新字段(列)的新pandas数据帧，连接两个数据帧上的'date‘字段。例如，假设这是我的日期中的数据帧A(当从MongoDB调
浏览 85提问于2020-07-11得票数 0
回答已采纳
1回答
我的MongoDB数据库中有一个集合，其中每条记录代表一条边(我正在构建的应用程序中的一条道路)。，并将记录转换为pandas中的数据框。所需的数据帧骨架将如下所示： the desirable skeleton for the data frame 我已经尝试过使用pandas.io.json.json_normalize(d)进行标准化，但是我无法得到我想要的
浏览 27提问于2019-06-24得票数 1
回答已采纳
1回答
我有一个试图用pyspark管理的数据集，我想为它选择一个子集。让我说一下，我对spark、scala和pyspark一般都很陌生。Wall time: 3.44 sWall time: 1min 25s3299
输出是一个带有pyspark.sql.datafr
浏览 2提问于2020-02-03得票数 0
我们目前使用了大量的MongoDB聚合管道来做一些数据处理。然而，我们经常遇到一些性能问题。我正在考虑将数据从MongoDB读取到Pandas数据帧中，并使用Pandas数据帧聚合来处理数据。有谁有比较这两种方法的经验吗？另外，MongoDB聚合管道是否利用了内部的某种并行性？
浏览 0提问于2020-05-15得票数 2
2回答
从pandas文档中，我了解到唯一值索引可以提高某些操作的效率，而非唯一索引有时是可以容忍的。In [23]: import numpy as npIn [25]: x = np.random.randint, best of 3: 4
浏览 3提问于2013-05-18得票数 52
回答已采纳
1回答
我已经成功地将libavcodec库导入到iPhone应用程序项目中，并使用它将电影文件解码为YUV420P数据，这样我就可以获得电影的所有帧，然后将它们转换为OpenGL数据，这样它就可以在RGB ES这部电影可以成功播放，但由于YUV到RGB的转换和OpenGL (glDrawArrays)的显示方法很慢，所以播放速度很慢。
有没有更聪明的方法来播放视频(假设电影必须由liba
浏览 0提问于2011-08-12得票数 0
我正在尝试将mongodb集合数据导入到pandas数据帧中。当数据库名称简单如'admin‘时，它能够加载到数据帧中。但是，当我尝试一个名为asdev-Admin的所需数据库(第5行)时，我得到一个空的dataframe。显然，这个错误与db名称中的特殊字符有关，但我不知道如何绕过它。我如何解决这个问题？？import pymongo
浏览 15提问于2019-11-26得票数 0
回答已采纳
我正在使用函数segmentMatch，其中我发送了两个数据帧。我正在使用一个for循环遍历一个数据帧，并且在使用循环变量与另一个数据帧合并之前需要检查一些条件。它给了我完美的答案，但因为两个数据帧都太大了，它太慢了。提前谢谢。
浏览 0提问于2019-02-27得票数 0
我有一个mongodb数据库-- "test“--有一个叫做"tweets”的集合。我在ipython中访问数据库：import pymongoconnection = Connection() u'url': None, u've
浏览 3提问于2013-07-23得票数 33
回答已采纳
1回答
我正在使用Python进行一些数据分析。我有两个表，第一个(让我们称它为'A')有1000万行和10列，第二个('B')有7300万行和2列。它们有一个具有公共ids的列，我想基于该列使这两个表相交。特别是，我想要表的内部连接。
我无法将表B作为pandas数据帧加载到内存中，以便在pandas上使用正常的合并功能。我尝试在块上读取表B的文件，将每个块与A相交，并将这些交集连接
浏览 0提问于2013-01-31得票数 13
回答已采纳
1回答
将csv ( 50k行)转换为json以供Django模板最终使用是相当慢的。我想知道我是否正确地转换了它，或者是否有更好的方法来做到这一点。csv的前几行是：3/6/2017,34.152568,-118.347831,x11
浏览 10提问于2018-01-05得票数 3
回答已采纳
我正在将数据从ssis插入到Table1中。数据加载速度非常慢，每分钟(5-10k条记录)正在插入我在目标任务中选择了快速加载选项，该选项对我也没有帮助。在同一台服务器上，另一个表(Table2)的数据加载速度非常快，与Table1相比，它具有更多的数据和更多的索引。
为什么Table1数据插入速度很慢
浏览 1提问于2016-09-08得票数 0
我想实时或接近实时地从mongoDB读取数据(来自一个集合的文档)，并将其转换为pandas数据帧以供进一步分析。我知道如何从mongoDB获取数据到python，但是，我想保持连接打开，这样每当有新数据进入时，我就可以在Python中进行实时分析。
浏览 2提问于2015-12-04得票数 0
我正在尝试使用cx_Oracle模块从Oracle数据库中提取数据并将其放入Pandas数据帧中。cursor.arraysize = 1000rows = results.fetchall()但是，当使
浏览 3提问于2016-07-06得票数 3
1回答
我有一个uicollectionView，当我选择一个单元格时，一个新的视图是load.The，内容是从集合视图中选择的图像，我可以在图像之间滚动。- (void)passDataForward PageViewController *secondViewController = [[UIStoryboard storyboardWithNamepresentViewController:se
浏览 3提问于2015-02-27得票数 0
2回答
我正在创建一个应用程序，它需要显示一系列视频帧的Bitmap。该应用程序使用MediaCodec将视频解码成多个帧，并获取每个帧的Bitmaps，以便在ImageView上显示它们。它的速度足以满足我的需要，但正如前面提到的，当Bitmap的数量超过60~65时，应用程序就会崩溃。2.在提取帧时，将每个帧保存到一个JPEG文件中，并在需要时将特定的JPEGs<em
浏览 0提问于2015-08-03得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
