腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Elasticsearch
Spark
,
如何
多次
查询
?
apache-spark
、
elasticsearch
、
pyspark
、
elasticsearch-hadoop
我想使用
查询
dsl来准备初始数据帧。 我使用conf.set("es.query", dsl_query)实现这一点。(https://www.elastic.co/guide/en/
elasticsearch
/hadoop/current/configuration.html#_querying) 但是,我想要应用不同的
查询
来准备另一个数据帧
浏览 14
提问于2019-02-13
得票数 0
回答已采纳
1
回答
spark
rdd中的
elasticsearch
查询
apache-spark
、
elasticsearch
我需要通过一些条件来获取
elasticsearch
文档数。下面是我正在考虑的代码。
浏览 0
提问于2019-04-29
得票数 0
1
回答
从
spark
查询
弹性搜索大索引
scala
、
apache-spark
、
elasticsearch
、
apache-spark-sql
)我通过手动过滤(按压)数据来修正这个问题,从而减少了向
Elasticsearch
请求的数据量。我使用时间戳来限制
查询
的响应。为了能够读取整个索引,我不得不
多次
查询
Elasticsearch
。基本上,我手工做了切片卷轴。正
浏览 0
提问于2017-11-23
得票数 1
1
回答
sparkR 1.4.0 :
如何
包含jars
elasticsearch
、
apache-spark
、
sparkr
、
elasticsearch-hadoop
我正在尝试使用
elasticsearch
-hadoop-2.1.0.rc1.jar jar文件(找到)将SparkR 1.4.0连接到
Elasticsearch
。SparkR:::callJStatic('java.lang.Class', 'org.
elasticsearch
.hadoop.mr.LinkedMapWritable')java.lang.Cl
浏览 0
提问于2015-06-26
得票数 0
3
回答
如何
使用Pyspark和Dataframes
查询
Elasticsearch
索引
elasticsearch
、
dataframe
、
pyspark
Elasticsaerch的文档只涵盖了加载到
Spark
的完整索引。from pyspark.sql import SQLContextdf = sqlContext.read.format("org.
elasticsearch
.
spark
.sql").load("index/type")
如何
执行
查询
以从
Elasticsearch
索引返回数据,并
浏览 0
提问于2016-07-03
得票数 11
1
回答
使用pyspark
查询
Elasticsearch
索引:
如何
指定es.nodes?
python
、
elasticsearch
、
pyspark
我正在尝试用pyspark
查询
一个
Elasticsearch
索引,但没有成功:在ipython中,
spark
版本2.0.1:我得到以下错误: Py4JJavaError: An error occurred while calling z:org.apache.
spark<
浏览 2
提问于2017-01-23
得票数 0
1
回答
Spark
Jobs错误为:太多元素无法创建电源集34
hadoop
、
apache-spark
、
elasticsearch
、
scalability
我尝试在mesos集群中运行
spark
作业来
查询
弹性数据,使用的esJsonRDD
查询
类似于:,并且对于少于32个节点的多节点弹性集群运行良好。以下是我当前
Spark
Job的gradle依赖项。compile group: 'org.
elasticsearch
', name: '
elasticsearch
-
spark
_2.11', version: '2.4.5' compile group:'or
浏览 18
提问于2017-07-20
得票数 1
3
回答
如何
对
ElasticSearch
(使用org.
elasticsearch
.
spark
.sql格式)执行SQL
查询
?
elasticsearch
、
apache-spark
使用
Spark
1.6.0和ES 5.0.0-alpha5,我尝试在
Spark
中获取一些数据帧。我正在使用这个包使用 sqlContext.read.format("org.
elasticsearch
.
spark
.sql").option("es.nodes", "my_host&
浏览 6
提问于2016-10-10
得票数 8
1
回答
是否为不同
查询
创建新的SparkSession?
python
、
apache-spark
、
elasticsearch
、
pyspark
、
elasticsearch-hadoop
我想从
elasticsearch
获取两个数据 ).format("org.
elasticsearch
.
spark
.sql").load() df.show() // empty", "/usr/local/
elasticsearch
-hadoop/dist/<e
浏览 9
提问于2019-08-21
得票数 0
回答已采纳
1
回答
如何
将AWS Cloudwatch日志插入数据库?
amazon-web-services
、
amazon-dynamodb
、
aws-api-gateway
、
amazon-cloudwatch
、
amazon-cloudwatchlogs
这样我就可以
查询
那个数据库,看看API网关中访问了哪些方法,以及何时访问它,并且需要在一个角度应用程序中显示它。 我做了同样的研究却一无所获。请建议
如何
将API网关日志插入数据库。提前感谢
浏览 0
提问于2019-01-03
得票数 0
1
回答
用于指定激发-shell
查询
文件的语法(使用
elasticsearch
-火花连接器)
apache-spark
、
elasticsearch
对于shell命令,我想为
spark
.es.query参数指定一个文件: --jars ~/
spark
/jars/
elasticsearch
-
spark
-20_2.11-5.1.2.jar --conf
spark
.es.nodes="localhost" --conf
spar
浏览 16
提问于2017-02-04
得票数 1
回答已采纳
1
回答
正在尝试从
spark
读取弹性搜索,正在获取“验证失败: 1:未指定滚动ids”
elasticsearch
、
apache-spark
我正在尝试通过
spark
-shell (
Spark
version 1.5.2)读取通过
spark
数据帧的弹性搜索索引。我不明白scoll-id是什么,也不知道我需要做什么才能从
spark
中
查询
弹性搜索。
spark
-shell --jars /transfer/hdp/lib/
elasticsearch
-
spark
_2.10-2.3.2.jar import org.apache.
spark
.S
浏览 0
提问于2016-06-21
得票数 0
1
回答
java.lang.IllegalArgumentException:未能解析
查询
:{“
查询
”:
scala
、
apache-spark
、
elasticsearch
我试图在
Spark
2.2和Scala2.11.8中执行
Elasticsearch
查询
。
Elasticsearch
的版本为2.4.4,而我使用的Kibana版本为4.6.4。这是我在星火中使用的图书馆: <groupId>org.
elasticsearch
</groupId> java.la
浏览 0
提问于2018-01-22
得票数 0
回答已采纳
3
回答
将
Spark
2.X连接到
ElasticSearch
2.X
hadoop
、
elasticsearch
、
apache-spark
、
elasticsearch-2.0
我正在使用
Spark
和
ElasticSearch
,但是我不知道
如何
在
ElasticSearch
2.x中使用
Spark
2.X。
ElasticSearch
Spark
libs只支持ES2.x的
Spark
1.6,支持ES5.alpha的
Spark
2。你用什么将
Spark
连接到
ElasticSearch
?
浏览 0
提问于2016-09-20
得票数 1
0
回答
连接
Spark
和
elasticsearch
apache-spark
、
elasticsearch
我正在尝试运行
Spark
的一个简单代码,它将RDD的内容复制到一个弹性搜索文档中。
spark
和elastic search都安装在我的本地机器上。import org.
elasticsearch
.
spark
.sql._ INFO HttpMethodDirector: I/O exception (java.net.ConnectExcep
浏览 27
提问于2017-12-05
得票数 1
1
回答
在hadoop上安装和配置
elasticsearch
hadoop
、
elasticsearch
、
apache-spark
我分别使用
elasticsearch
和
spark
/hadoop;具体而言,我使用的是cloudera和
elasticsearch
,它们运行在其他linux机器上。indexname + "/" + typename, Map( "es.nodes" -> ES_HOSTN_ODE_ADDRESS, "es.port" -> ES_HOST_PORT)) (3)
如何
为使用
spark
上的scala,我可以从
el
浏览 3
提问于2016-03-09
得票数 2
4
回答
Pyspark集成到Pycharm中
pycharm
、
pyspark
、
elasticsearch
我不知道
如何
配置Pycharm,这样我就可以直接在Pyspark中运行脚本。我在
Elasticsearch
集群上使用Pyspark,并使用以下代码来运行脚本。", valueClass="org.
elasticsearch
.hadoop.mr.LinkedMapWritable", keyClass="org.apache.hadoop
浏览 1
提问于2015-07-22
得票数 3
1
回答
使用火花中的弹性搜索火花读取数据时
如何
转换类型
scala
、
apache-spark
、
elasticsearch
、
elasticsearch-spark
当我尝试使用esRDD("index")函数读取
elasticsearch
中的数据时,我得到了org.apache.
spark
.rdd.RDD[(String, scala.collection.Map然而,我在上看到,上面写着: scalaVersion := "2.11.8" libraryDependencies += "org.ap
浏览 4
提问于2017-07-06
得票数 3
回答已采纳
1
回答
我可以在星火图方法中
查询
elasticsearch
吗?
python
、
elasticsearch
、
pyspark
我可以通过这样的火花
查询
elasticsearch
: "es" **{ 'es.resource': index_name, 'es.nodes':
e
浏览 2
提问于2022-11-17
得票数 0
1
回答
如何
在
spark
数据帧中显示
elasticsearch
查询
结果
python
、
elasticsearch
、
pyspark
我用python编写的
elasticsearch
查询
指定我只想保存
spark
dataframe中的选定字段,但是我在dataframe中得到的是所有字段。resolution.keyword": "1920x1080" } } }}""" inputFormatClass="org.
elasticsearch
.hadoop.mr.EsInputForm
浏览 3
提问于2019-07-25
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
php如何使用ElasticSearch做查询
快递查询 物流批量查询如何分析多次揽收件一键搞定
Elasticsearch 6.3 发布,你们要的 SQL 功能来了
SparkESClickHouse 构建DMP用户画像
基于 Elasticsearch 构建搜索引擎
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券