到pandas数据帧的MongoDB集合

文章/答案/技术大牛

发布

1回答

如何在python中将mongoDB objectID转换为字符串

python、pandas、pymongo

我正在从mongoDB读取数据到pandas数据帧..db = client.test_insert的dataset2集合中的所有文档。然后我将它转换为pandas数据帧。接下来，我将存储最后插入的文档的objectID。last_inserte

浏览 1提问于2015-12-08得票数 2

2回答

python、pandas、mongodb、dataframe、pymongo

我的MongoDB文档结构如下，其中一些因素是NaN。1 factorId:"C26" weight:1 name:"Growth Led Momentum" 我想使用pymongo和pandas将其转换为pandas数据帧，如下所示。

浏览 32提问于2021-10-13得票数 2

回答已采纳

2回答

如何使用python从mongoDB中实时读取数据

python、mongodb、pandas、pymongo

我想实时或接近实时地从mongoDB读取数据(来自一个集合的文档)，并将其转换为pandas数据帧以供进一步分析。我知道如何从mongoDB获取数据到python，但是，我想保持连接打开，这样每当有新数据进入时，我就可以在Python中进行实时分析。

浏览 2提问于2015-12-04得票数 0

1回答

将pandas数据帧插入mongodb

python、pandas、dataframe、pymongo

正在将数据帧重新索引到字典，并且我想将数据插入到mongodb新集合中？数据帧：p[name] = k #adding new key into json db.col8.ins

浏览 14提问于2018-01-05得票数 2

1回答

如何在pandas dataframe中加载名称中带有特殊字符的mongodb数据库？

python、pandas、mongodb、dataframe

我正在尝试将mongodb集合数据导入到pandas数据帧中。当数据库名称简单如'admin‘时，它能够加载到数据帧中。但是，当我尝试一个名为asdev-Admin的所需数据库(第5行)时，我得到一个空的dataframe。显然，这个错误与db名称中的特殊字符有关，但我不知道如何绕过它。我如何解决这个问题？？import pymongo

浏览 15提问于2019-11-26得票数 0

回答已采纳

1回答

使用pandas将新字段(列)插入到mongoDB

pandas、mongodb、dataframe、pymongo

我在MongoDB中有一个现有的数据，其中主键设置为'date‘，其中有几个字段。我想在MongoDB中的现有数据中插入一个带有新字段(列)的新pandas数据帧，连接两个数据帧上的'date‘字段。例如，假设这是我的日期中的数据帧A(当从MongoDB调用数据</

浏览 85提问于2020-07-11得票数 0

回答已采纳

0回答

如何处理pandas中的超大数据集

python、pandas、dataframe

我需要在几个字段名上合并MongoDB中的5个集合，并将其作为CSV文件返回。我可以使用from_records方法将集合读取到pandas中，没有问题&使用pd.merge合并其中的一个子集，但问题是我要合并的每个数据帧都有20,000+列和100,000+行。由于规模的原因，合并过程显然非常缓慢。我从来没有处理过这种数量级的数据--有什么方法可以加速这个过程？也许<e

浏览 1提问于2018-07-17得票数 0

回答已采纳

4回答

如何将mongodb集合中的数据加载到pandas的DataFrame中？

mongodb、pandas、pymongo

我有一个mongodb数据库-- "test“--有一个叫做"tweets”的集合。我在ipython中访问数据库：import pymongoconnection = Connection() u'url': None,

浏览 3提问于2013-07-23得票数 33

回答已采纳

1回答

MongoDB聚合管道vs Pandas聚合

pandas、mongodb

我们目前使用了大量的MongoDB聚合管道来做一些数据处理。然而，我们经常遇到一些性能问题。我正在考虑将数据从MongoDB读取到Pandas数据帧中，并使用Pandas数据帧聚合来处理数据。有谁有比较这两种方法的经验吗？另外，MongoDB聚合管道是否利用了内部的某种并行性？

浏览 0提问于2020-05-15得票数 2

1回答

从MongoDB到Pandas数据帧

python、json、mongodb、pandas、dataframe

我的MongoDB数据库中有一个集合，其中每条记录代表一条边(我正在构建的应用程序中的一条道路)。，并将记录转换为pandas中的数据框。所需的数据帧骨架将如下所示： the desirable skeleton for the data frame 我已经尝试过使用pandas.io.json.json_normalize(d)进行标准化，但是我无法得到我想要<

浏览 27提问于2019-06-24得票数 1

回答已采纳

1回答

使用python脚本将csv文件的特定列插入mongodb集合中

python、python-3.x、mongodb、csv、pymongo

我有一个python脚本将csv文件插入到mongodb集合中。import pymongoimport json db.CollectionName.inser

浏览 4提问于2022-05-09得票数 0

1回答

在Python语言中使用PyMongo在MongoDB中插入文档

python、mongodb、python-3.x、nosql、pymongo

我使用Python语言中的PyMongo库在MongoDB中插入文档。pandas数据帧有37个字段和60k条记录(数据集链接：)。数据帧中的所有字段都已转换为str类型。我收到以下错误：当我使用for循环插入2500个文档的块时，错误仍然存在。代码片段： import pan

浏览 0提问于2018-02-16得票数 0

1回答

Pymongo -使用特定日期查询所有字符串

python、mongodb、pandas

我有一个mongo ('test')和一个集合('main')，其中有一个存储日期时间的字段。例如，日期如下：日期以字符串形式存储。我想查询收集到的所有数据在2017-07-20，并把它拉到熊猫的数据。import pandas as pdclient = MongoClient() db

浏览 9提问于2017-09-30得票数 0

回答已采纳

1回答

将mongodb集合转换为panda dataframe

python、mongodb、pandas、dataframe

我有一个mongodb集合，表示每个用户的电影收视率： { { { "movie_id" : "1240" ]] 我有数据框列的现在我想创建pandas</e

浏览 11提问于2017-01-21得票数 0

2回答

Scala Spark Mongo -带有"in“子句的过滤器

mongodb、scala、apache-spark

我有一个潜在的相当大的mongoDB集合。为了使用spark从这个集合中读取数据，我使用了以下连接器： <dependency> <groupId>org.mongodb.spark</groupId>I的封闭列表(也可能很长)来过滤集合。我从文档中了解到，一些过滤可能会在mongo端发生。it数据帧</e

浏览 37提问于2020-12-28得票数 0

1回答

mongodb的读取与数据转换

python、pandas、mongodb、streamlit

嗨，我正在尝试从MongoDB读取数据，并试图将其转换为数据帧，但得到了一个错误：“(”无法用ObjectId类型转换ObjectId('620d3f43ae93743dbb6f6846')：在推断Arrow数据类型时不识别ObjectId值类型“，”对于带有类型对象的列_id，“转换失败”。我的代码如下所示：import pymongofrom pymo

浏览 1提问于2022-02-28得票数 0

1回答

在python3中从numpy数组中提取数据

python-3.x、csv、numpy

我使用numpy.txt将csv文件导入到python中，结果如下所示： >>> print(FH)..POS_D

浏览 25提问于2019-06-23得票数 0

1回答

与mongodb连接时出现Apache solr错误

mongodb、apache、solr

我的意图是将mongodb与solr连接起来。在创建核心的时候。我不知道如何创建solrconfig.xml。请帮我创建它。

浏览 0提问于2019-11-13得票数 0

1回答

Mongodb集合到数据帧

r、mongodb

我有一个MongoDB数据库"borlette“，我正在尝试将多个集合转换为数据帧。

浏览 0提问于2016-07-29得票数 0

2回答

如何在pymongo中存储和检索pandas数据帧列表？

python、mongodb、pandas

我有一份数据帧列表。我想将它们存储在mongodb中并检索它。

浏览 0提问于2015-05-12得票数 1

点击加载更多

如何在python中将mongoDB objectID转换为字符串