腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
使用
PySpark
实现
MongoDB
到
Elasticsearch
mongodb
、
elasticsearch
、
pyspark
我想
使用
PySpark
将我的
MongoDB
集合集成
到
Elasticsearch
中。我有
MongoDB
的连接字符串,但我不知道如何构造代码结构或指定一些参数。有人能给我创建这个任务的代码示例吗?
浏览 20
提问于2021-11-10
得票数 0
4
回答
Pyspark
集成
到
Pycharm中
pycharm
、
pyspark
、
elasticsearch
我不知道如何配置Pycharm,这样我就可以直接在
Pyspark
中运行脚本。我在
Elasticsearch
集群上
使用
Pyspark
,并
使用
以下代码来运行脚本。当我尝试将
pyspark
shell配置为解释器时,它
使用
默认的python解释器运行,但由于错误it I not a valid SDK而无法工作: from
pyspark
import SparkContext, SparkCo
浏览 1
提问于2015-07-22
得票数 3
2
回答
对RDD的每个元素
使用
sparkcontext函数
apache-spark
、
pyspark
、
rdd
我需要
使用
Pyspark
从
Elasticsearch
读取数据。我正在尝试在
pyspark
中设计一个流,如下所示-ii) foreach -in-rdd1"org.
elasticsearch
.hadoop.mr.LinkedMapWritable",rdd2 = sc.newAPIHadoopRDD("org.
elasticsearch
.hadoop.mr.EsInputFormat",\
浏览 0
提问于2016-07-11
得票数 0
1
回答
如何在猫鼬中不保存字段
mongodb
、
mongoose
我试图将
MongoDB
和
elasticsearch
集成
到
使用
mongoosastic的应用程序中,它需要一个字段存储在
elasticsearch
中,而不是存储在
MongoDB
中。如何
实现
这一目标?
浏览 0
提问于2018-11-10
得票数 1
回答已采纳
3
回答
ELK stack -如何在mongo数据库中搜索?
mongodb
、
elasticsearch
、
logstash
、
kibana
、
elastic-stack
我是第一次
使用
elk栈,我可以
使用
logstash导入数据,但是我如何将我的
mongodb
链接到elastic?我
使用
的是均值堆栈和elk 5+的最新版本。我没有
使用
像filebeats这样的节拍,但如果需要的话,我愿意
使用
。
浏览 0
提问于2017-11-09
得票数 1
2
回答
刮刮
MongoDB
与弹性搜索同步
mongodb
、
elasticsearch
、
scrapy
我
使用
Scrapy从网站和
mongodb
获取数据以
实现
持久性,并
使用
elasticsearch
进行搜索。我的问题是,当Scrapy将数据插入
到
Mongodb
时,即使将侦听器设置为插入、更新和删除,
Elasticsearch
也不知道。我应该为Scrapy添加一个新插件,以便直接与
Elasticsearch
通信,如果是的话,为什么侦听器不听数据库发生了什么?谢谢!
浏览 0
提问于2014-02-07
得票数 1
1
回答
用
MongoDb
进行弹性搜索
java
、
mongodb
、
spring-mvc
、
elasticsearch
我对弹性搜索非常陌生,所以我用
mongodb
在java
实现
弹性搜索的文章和博客很多,但都找不到满意的答案。场景:我有一个
mongodb
的DB,集合保存如下 "_id" : ObjectId("59775731409eb01e28d971dd"), } 弹性
浏览 0
提问于2017-08-03
得票数 2
1
回答
将Spark与
Elasticsearch
集成
pyspark
我正在尝试将sparkdataframe发送到
Elasticsearch
集群。我有Spark dataframe(df)。我创建了index = "spark“,但是,当我运行这个命令时: .format("org.
elasticsearch
.spark.sql"): java.lang.NoClassDefFoundError: scala/Product$class Spark版本: spark-3.0.0-bin-hadoop2.7
浏览 20
提问于2020-05-20
得票数 0
回答已采纳
1
回答
Kibana中的
MongoDB
查询
json
、
mongodb
、
elasticsearch
、
kibana
我想知道如何在Kibana的查询文本框中编写
MongoDB
查询(Json)。FYI :我正在
使用
Kibana 3,我尝试将
mongodb
的json查询复制
到
查询框中并运行它,但是没有发生任何事情。
浏览 3
提问于2015-03-10
得票数 1
1
回答
创建
Pyspark
会话大约需要25秒
apache-spark
、
session
、
pyspark
我正在尝试
使用
MongoDB
连接器来
使用
PySpark
。但是,仅创建
PySpark
会话就需要大约20
到
25秒,这会影响服务的性能。我还给出了用来创建spark会话的代码片段。from
pyspark
.sql import SparkSession .builder \ .config("spark.<e
浏览 18
提问于2020-04-14
得票数 2
1
回答
用于
PySpark
3.1.1的
Elasticsearch
插件
elasticsearch
、
pyspark
、
spark3
我成功地在
PySpark
2.4.5中
使用
了
Elasticsearch
Spark 7.12.0。读写都很完美。现在,我正在测试升级
到
Spark 3.1.1,这个集成不再起作用了。在2.4.5和3.1.1之间,
PySpark
中没有代码更改。 有兼容的插件吗?有没有人把这个用在
PySpark
3.1.1上? 错误: ?
浏览 59
提问于2021-03-27
得票数 0
1
回答
Elasticsearch
mongodb
河裁剪库问题
elasticsearch
我正在
使用
elasticsearch
、
mongodb
和
elasticsearch
mongodb
river 当我观察我的
mongodb
日志时,江河继续查询我的
elasticsearch
的oplog
浏览 2
提问于2013-07-21
得票数 0
1
回答
java.lang.UnsupportedOperationException:数据源
mongodb
不支持微批处理
mongodb
、
azure
、
pyspark
、
azure-databricks
、
azure-cosmosdb-mongoapi
我正在尝试执行从CosmosDB API
到
数据库的
MongoDB
的读/写流数据,java.lang.UnsupportedOperationException:数据源
mongodb
不支持微批处理。请帮助任何人,我们如何才能
实现
电火花数据流。from
pyspark
.streaming import StreamingContext from
pyspark
.
浏览 12
提问于2022-10-06
得票数 0
2
回答
全文搜索和200M+记录数据库
mysql
、
mongodb
、
elasticsearch
、
database
数据库需要
使用
全文进行搜索,并且应该是快速的。 我的数据库从许多不同的数据源获取数据,我需要定期导入新的或更新的数据。将我的所有数据存储在一个关系数据库(如mysql )中,然后创建一个nosql文档数据库(例如
mongodb
或
elasticsearch
),仅仅是为了搜索,还是这在可靠性和防止冗余信息方面没有任何好处?
浏览 3
提问于2017-03-21
得票数 4
回答已采纳
1
回答
数据不会从
MongoDB
3.0复制
到
弹性搜索1.4.2和
mongodb
、
elasticsearch
我最近正致力于将
ElasticSearch
与
MongoDB
3.0集成。我遵循了几个线程来配置
ElasticSearch
,
使用
MongoDB
3.0,类似于
浏览 3
提问于2016-02-10
得票数 2
回答已采纳
3
回答
如何
使用
Pyspark
和Dataframes查询
Elasticsearch
索引
elasticsearch
、
dataframe
、
pyspark
from
pyspark
.sql import SQLContextdf = sqlContext.read.format("org.
elasticsearch
.spark.sql").load("index/type")如何执行查询以从
Elasticsearch
索引返回数据,并
使用
pyspark
将它们作为DataFrame加载到Spark?
浏览 0
提问于2016-07-03
得票数 11
2
回答
与
ElasticSearch
6.x +的
MongoDB
4.x实时同步
mongodb
、
elasticsearch
、
spring-data-mongodb
我正在尝试找到一种简单的方法来同步
mongoDB
4.x中的数据
到
elasticsearch
6.x。我的用例是
elasticsearch
支持但
mongodb
不支持的部分文本搜索。
MongoDB
是我的应用程序的主要数据库。要将
m
浏览 0
提问于2019-06-19
得票数 4
1
回答
什么时候
使用
Hadoop,什么时候对group /facet
使用
ElasticSearch
?
search
、
mongodb
、
hadoop
、
apache-pig
、
faceted-search
我用Pig和在
ElasticSearch
中索引了这些电子邮件。1)以猪的电子邮件地址分组,存储
到
MongoDB
(或
ElasticSearch
)。 2)查询
ElasticSearch
,
使用
从电子邮件索引中为我返回此列表。
浏览 4
提问于2012-04-11
得票数 0
1
回答
ElasticSearch
-唯一约束的解决方法
database
、
elasticsearch
、
unique-constraint
我正在考虑“无唯一约束”问题在
ElasticSearch
中的一些智能解决方案。我不能
使用
_id来存储我的唯一字段,因为我将_id用于其他目的。我抓取互联网页面并将它们存储在
ElasticSearch
索引中。我的规则是,url必须是唯一的(在索引中只有一个给定url的文档),因此由于
ElasticSearch
不允许在一个字段上设置唯一约束,所以我必须在插入新页面之前查询索引,以检查是否已经存在带有给定url请告诉我,如果您有任何想法,或请告诉我,您认为这样的解决方案: 解决方案1
使用
其他数据库系统(或者在_
浏览 5
提问于2014-07-23
得票数 1
回答已采纳
2
回答
无法从火花源连接到蒙古人
python
、
mongodb
、
pyspark
我正在尝试
使用
pyspark
连接到
MongoDB
。下面是我正在
使用
的代码from
pyspark
.sql import SQLContext sparkConf.set("spark.
mongodb
.input.uri", "
mongodb<
浏览 4
提问于2018-01-08
得票数 3
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Java中使用MongoDB实现字段忽略的方法
平民版的Elasticsearch?使用Redisearch实现的全文检索功能服务
从MongoDB迁移到ES后,我们减少了80%的服务器
基于Python3 的常用数据库模块的使用……
Elasticsearch、MongoDB和Hadoop比较
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券