腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
使用
Spark
,
有没有
办法
批量
取消
Mongo
文档
中
的
字段
?
mongodb
、
scala
、
apache-spark
我有一个scala
Spark
应用程序,在将更新
的
数据加载到集合之前,我想
取消
设置
Mongo
集合中所有
文档
的
字段
。假设我有一个这样
的
数据源,我想从所有
文档
中
删除“排名”
字段
(有些
文档
可能有这个
字段
,有些
文档
可能没有)。中有一个unset函数,但我在
mongo
spark
connector
中
没
浏览 35
提问于2021-07-24
得票数 0
1
回答
如何
使用
Mongo
-Hadoop连接器删除
文档
(记录)
mongodb
、
hadoop
、
apache-spark
、
apache-spark-sql
、
mongodb-hadoop
我正在
使用
Mongo
-Hadoop连接器来处理
Spark
和MongoDB。我想从MongoDB
中
删除RDD
中
的
文档
,看起来有一个MongoUpdateWritable来支持
文档
更新。
有没有
办法
用
Mongo
-Hadoop连接器删除? 谢谢
浏览 2
提问于2016-09-14
得票数 3
4
回答
Spark
scala
使用
spark
-
mongo
连接器升级
mongodb
、
scala
、
apache-spark
有没有
办法
根据dataframe
中
的
某个
字段
,用
spark
-
mongo
连接器来更新
Mongo
Collection?
浏览 54
提问于2017-08-04
得票数 2
回答已采纳
1
回答
使用
C#将多个
文档
插入Mongodb
的
最快方法
c#
、
mongodb
我需要创建一个检查C#列表
的
脚本,然后创建并插入大约320,000个mongodb
文档
。目前,我
使用
foreach循环创建表示
mongo
文档
的
C#类,将
文档
添加到批处理
中
,当批处理大小达到99999时,将批处理插入数据库。尽管
使用
了
批量
插入,但我
的
脚本需要大约4个小时才能完成,这太慢了。batchsize = 0;
浏览 16
提问于2019-01-20
得票数 2
2
回答
Py2neo
中
的
批量
插入
neo4j
、
py2neo
、
mongo-connector
我正在为
mongo
-connector编写一个自定义
文档
管理器,以便将mongodb
文档
复制到neo4j。在这里,我想创建
批量
关系。我
使用
的
是py2ne2020.0。似乎在以前
的
版本中有一些选项,但在这个版本
中
没有。
有没有
办法
在py2neo
中
创建
批量
节点和关系
浏览 85
提问于2020-12-19
得票数 1
回答已采纳
1
回答
Mongo
流星将ObjectID变成普通物体
node.js
、
mongodb
、
meteor
、
bulkinsert
在
使用
Meteor时,我有时访问底层
的
Node驱动程序,以便进行
批量
更新和插入。const bulk = Coll.rawCollection().initializeOrderedBulkOp(); 但是,当我在插入后查看数据库时,key_id
字段
的
值最终是普通
的
子
文档
{_str: '...'}。
有
浏览 4
提问于2017-09-11
得票数 3
回答已采纳
1
回答
使用
Spark
和Java对不同
的
Mongo
集合进行读写
java
、
mongodb
、
apache-spark
对于
Spark
来说,我还是个新手。我需要
使用
Spark
读取Java
中
的
Mongo
集合,更改一些
字段
值,假设我将"123“附加到一个
字段
值并写入另一个集合。因此,我在
Spark
中
配置了两个单独
的
Mongo
URI作为输入和输出URI。然后,我继续从输入集合
中
读取。然而,我不理解
的
是,我如何将
文档
的
RDD
浏览 13
提问于2019-11-28
得票数 1
回答已采纳
2
回答
UpdateOneModel替换mongodb java驱动程序
中
的
现有
文档
mongodb
、
mongo-java
、
mongo-java-driver
securitiesCollection.bulkWrite(updateList,在上面的代码
中
,我试图更新
文档
中
的
属性子集。更新后,我看到整个
文档
仅替换为子集。
有没有
办法
使用
mongo
-java-driver
使用
批量
写操作来更新属性子集?
浏览 10
提问于2018-05-31
得票数 0
1
回答
将集合
中
的
所有
文档
从
mongo
移动到azure blob存储
mongodb
、
azure
、
mongodb-query
、
azure-storage
我正在尝试
使用
c#和
mongo
1.9.1驱动程序将
mongo
集合
中
的
所有
文档
移动到计划
的
azure and作业
中
的
azure blob存储
中
。我不想将所有的100000个
文档
都保存在网络作业
的
内存
中
。
有没有
更好
的
方法可以像从
mongo
批量
检索
文档
一样?或者有一种完全不同<e
浏览 0
提问于2015-10-22
得票数 1
1
回答
spark
-
mongo
数据库连接器
中
可以
使用
复合分片密钥MongoShardedPartitioner吗?
mongodb
、
apache-spark
我是
spark
-
mongo
connector 2.0
的
新手。如果我
的
理解不正确,请纠正我。分片键:用于拆分采集数据
的
字段
。该
字段
应被编入索引并包含唯一值。 当分区程序为MongoShardedPartitioner时,是否可以
使用
复合分片键?我该怎么做呢?在mongodb
中<
浏览 1
提问于2017-11-12
得票数 1
1
回答
如何在
使用
spark
将json
文档
写入
Mongo
DB时将自定义值设置为_id
字段
json
、
mongodb
、
scala
、
apache-spark
我正在尝试
使用
spark
将包含多个JSON
文档
的
JSON文件加载到
Mongo
DB
中
。我想要
的
就是创建一个
字段
_id并将它
的
值设置为其中一个JSON
字段
值,{ firstName: "abc",} 我想通过以下格式设置_id值= r
浏览 11
提问于2019-07-29
得票数 0
2
回答
火花覆盖不会删除目标路径
中
的
文件
apache-spark
、
pyspark
、
partitioning
、
overwrite
我
的
目标是构建一个每日进程,用来自data frame
的
新数据覆盖S3
中
特定路径下
的
所有分区。我
使用
了- df.write.format(source).mode("overwrite").save(path) (也尝试了动态覆盖选项)。 但是,在某些运行
中
,旧数据不会被删除。我怀疑这与由于内存问题而中途中断
的
运行有关,并留下了一些损坏
的
文件,下一次运行没有删除,但还无法重现它。
浏览 2
提问于2021-11-26
得票数 1
1
回答
Spark
Mongo
连接器:在MongoDB连接
中
只插入一个属性
python
、
mongodb
、
apache-spark
、
upsert
val附加到
Mongo
文档
.
使用
,我可以通过"_id“附加
使用
默认
的
上行逻辑,这意味着如果
Spark
和
Mongo
文档
中
的
"_id”匹配,那么
Mongo
连接器将不会创建新
文档
,而是更新旧
文档
。 但!('
spark
.mongodb.output.uri','mongodb://<e
浏览 0
提问于2018-05-30
得票数 1
回答已采纳
1
回答
由Apache火花和MongoDB Hadoop-连接器创建
的
BSON结构
json
、
mongodb
、
scala
、
apache-spark
我试图
使用
MongoDB将一些JSON从
Spark
(Scala)保存到MongoDB。我遇到
的
问题是,这个API似乎总是将数据保存为"{_id:.,value:{}“。在下面的代码示例
中
,我
的
文档
保存如下: "_id" : ObjectId("55e80cfea9fbee30aa703261"), "_id"2014, &
浏览 4
提问于2015-09-03
得票数 3
3
回答
如何
使用
mongoexport仅导出子
文档
中
的
特定
字段
json
、
mongodb
有没有
办法
在
使用
mongoexport时只导出子
文档
中
的
指定
字段
?
mongo
docs说只
使用
-f field1,field2等。但这只适用于顶级
字段
。我在主
文档
中有一个
文档
,它也有
字段
。
有没有
办法
只得到这些?"subField1": "subValue1",
浏览 0
提问于2011-07-15
得票数 15
回答已采纳
2
回答
MongoDB是否按
字段
返回所有无重复
的
单据?
node.js
、
mongodb
、
mongo-shell
在
mongo
shell
中
,我
有没有
办法
返回一个集合
中
的
所有
文档
,但是按照特定
的
字段
对它们进行排序,并删除所有
字段
与其他
文档
相同
的
文档
? 谢谢。
浏览 0
提问于2012-07-13
得票数 2
回答已采纳
2
回答
Pyspark-
Mongo
缺少一些
字段
python
、
mongodb
、
pyspark
所以我正在尝试
使用
mongo
-
spark
连接器将集合表单MongoDB读入
spark
,但是
文档
中
的
一些
字段
丢失了,以前有人遇到过这个问题吗?如果是,解决方案是什么?下面是我用来读取MongoDB集合
的
命令: .option
浏览 0
提问于2018-03-24
得票数 3
1
回答
使用
pyspark - Databricks处理来自事件中心
的
事件
json
、
apache-spark
、
spark-streaming
、
azure-eventhub
我有一个
Mongo
change流(一个pymongo应用程序),它不断地获取集合
中
的
更改。这些由程序接收
的
更改
文档
将发送到Azure事件中心。
Spark
notebook必须在
文档
进入Event Hub时读取
文档
,并与该集合
的
spark
表进行模式匹配(将
文档
中
的
字段
与
spark
表列进行匹配)。如果
文档
浏览 1
提问于2019-01-12
得票数 0
1
回答
在mongodb
中
处理
批量
插入失败
mongodb
、
bulkinsert
我正在
使用
BulkWriteOperation接口插入一批记录。我拆分了整个页面,并将1000条记录插入到
mongo
中
。如果批次
中
的
任何一条记录插入失败,那么整个批次都不会被插入到
mongo
。
有没有
办法
单独获得失败批处理
的
记录列表,这样我就可以进行递归并将剩余
的
记录插入到
mongo
中
。或者
有没有
办法
批量
插入到mongodb<em
浏览 2
提问于2016-01-14
得票数 3
1
回答
使用
Spark
标记文本内容?
java
、
mongodb
、
apache-spark
、
nlp
、
tokenize
我致力于实现一项要求,即
使用
apache和mongodb为
文档
创建一个单词字典。 在我
的
场景
中
,我有一个
mongo
集合,其中每个
文档
都有一些文本类型
字段
以及一个
文档
所有者
的
字段
。我希望解析集合
文档
中
的
文本内容,并创建一个字典,将单词映射到
文档
和所有者
字段
。基本上,键将是一个word,值将是_id和owner
字段
浏览 0
提问于2017-05-07
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
mongo索引
这些技巧,你是否都学会操作
Scrapy中如何提高数据的插入速度
SpringBoot:SpringBoot中mongodb 的使用
社区leaf学习笔记
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券