我想通过我的spark转换在Elasticsearch中创建一个索引。我想知道使用elasticsearch-spark库最好的方法是什么？亲切的问候
浏览 47提问于2019-01-26得票数 0
1回答
然后我运行它(使用Spark1.6)，但是它抱怨没有一个1.6方法。什么给予?？libraryDependencies += "org.apache.spark" % "spark-streaming_2.10" % "1.6.0"libraryDependencies += &q
浏览 0提问于2016-01-29得票数 1
1回答
将可迭代转换为RDD
、、、、
我想把spark-streaming转换成几个弹性搜索索引。我创建了成对的<key(index), value>，当我执行groupByKey时，结果是<key(index), Iterable<value>>的元组，但是为了使用elasticsearch-spark插件保存到elasticsearch，我需要将值作为JavaRDD<value>。有没有其他选项可以创建可以在executor上执行的JavaRDD？或者我可
浏览 7提问于2016-08-08得票数 1
我正在尝试使用elasticsearch-spark连接器查询elasticsearch，我只想返回几个结果：val conf = new SparkConf().set("es.nodes"conf)println(sparkContext.esRDD("index_name/type", query).count())
但是，这将返回索引中的所有文
浏览 2提问于2015-08-12得票数 5
1回答
我可以从HDFS读取csv数据并创建弹性搜索索引。为了创建Elastic search Index ID，我使用了csv数据中的一个唯一列。现在我的要求是弹性搜索索引ID应该是2个CSV列的组合。有没有人知道我该如何做到这一点？我正在使用elasticsearch-spark库创建索引。以下是示例代码。
浏览 0提问于2017-09-13得票数 1
1回答
elasticsearch服务器存在于版本为5.4.1的linux服务器上。使用的星火簇是火花-2.2.0bin-hadoop2.7.我将spark.jars.packages org.elasticsearch:elasticsearch-spark-20_2.11:5.4.1添加到Start-defaults.conf中，主站和从站的启动是成功的，可以在localhost:8080上找到spark。/start-slave.sh spark://Apac
浏览 14提问于2017-08-09得票数 0
1回答
在我的spark应用程序中，我尝试使用fluentd-scala-logger，为此我必须在build.sbt中包含一个额外的依赖项。这是我在build.sbt中添加的两行 resolvers += "Apache Maven Central Repository" at "https://repo.maven.apache.org/" %% "elasticsearch-spark&quo
浏览 47提问于2020-12-21得票数 4
回答已采纳
1回答
当我尝试使用esRDD("index")函数读取elasticsearch中的数据时，我得到了org.apache.spark.rdd.RDD[(String, scala.collection.Map然而，我在上看到，上面写着：
scalaVersion := "2.11.8libraryDependencies += "org.
浏览 4提问于2017-07-06得票数 3
回答已采纳
当使用Elasticsearch-Spark连接器编写在ApacheSpark1.6上运行的应用程序时，()上的文档说明要使用maven artefact <dependency> <groupId>org.elasticsearch</groupId> <artifactId>elasticsearch-spark_2.10</artifactId> <version>5.0.0</v
浏览 1提问于2016-11-05得票数 0
1回答
我有一个AWS作业(Python3中的Glue版本2)，它用于将数据加载到托管在EC2实例上的Elasticsearch集群中。连接是由一个依赖JAR (elasticsearch-spark 20_2.11-7.8.1.jar)建立的。我们现在已经转移到托管OpenSearch1.2集群(HTTPS是必需的，没有启用细粒度访问)，我正在努力研究如何使用Glue连接到这个新集群。OS集群位于专用VPC中，胶水作业角色可以访问该VPC。我试过：
将E
浏览 4提问于2022-08-15得票数 0
回答已采纳
我将事件日志加载到elasticsearch引擎中，并使用Kibana将其可视化。我的事件日志实际上存储在Google Big Query表中。目前，我正在将json文件转储到Google存储桶中，并将其下载到本地驱动器。然后使用logstash将json文件从本地驱动器移动到elastic搜索引擎。现在，我正试图通过在google大查询和弹性搜索之间建立联系来自动化这个过程。根据我所读到的，我了解到有一个输出连接器，它将来自elas
浏览 4提问于2016-08-31得票数 7
下面是我的build.sbt文件中的内容：...libraryDependencies ++= Seq([info] Resolving org.e
浏览 1提问于2015-08-21得票数 1
有一个名为“短语Suggestor”的概念，它使用一些N方法给出类似于自动完成的建议。我试图了解如何使用Python提供的文档所找到的api。但我找不到任何提到n克或短语暗示者的东西。这个方法是否存在于中？我知道NLTK和那里的n-gram方法。首先连接，这段代码可以正常工作。from elasticsearch import Elasticsearch
CLOUD_ID = 'My_deployment:...'NotFoundError(404
浏览 13提问于2022-04-07得票数 0
我有一个csv文件，我正在尝试使用Logstash上传到ES。remove_field => ["name31", "name32", "name33"]}
stdout{}
谢谢
浏览 1提问于2015-07-02得票数 0
我继承了一个logstash配置，如下所示。我不想在这方面做重大改变，因为我不想破坏任何起作用的东西。这些指标以json格式作为日志发送--“度量”：“度量名称”，“值”："int“。这件事一直很成功。但是，对于新的度量，需要有一个字符串的值。它实际上不是一个度量，而是以字符串表示处理的状态。基于下面的筛选器，它将所有内容转换为整数，任何字符串的值都将转换为0。要求是，如果值是字符串，则不应该尝试转换。谢谢! beats { } gro
浏览 15提问于2022-03-24得票数 0
我在我们的应用程序接口中使用NLog进行了一些登录到Elasticsearch实例的测试。Elasticsearch实例在Docker中运行，如果使用IIS Express执行API，我可以毫无问题地登录到Elasticsearch，并且可以查看创建的"logstash“索引，但是如果我在Docker容器中运行API，日志永远不会到达Elasticsearch</
浏览 0提问于2020-01-21得票数 0
我正在尝试将rdd的输出保存到elasticsearch中。但当我尝试发送它时，即使在包含了几个elasticsearch-spark库之后，我也会遇到一个错误。{SparkConf, SparkContext}wordcount.saveToEs("spark&
浏览 0提问于2016-04-24得票数 3
我们在Elasticsearch中创建了一个索引，如下所示，索引名是apachelog，动态映射设置为“严格”，我们将httpresponse字段设置为integer：写信给ElasticSearch
collector.sinks.elasticsearch
浏览 5提问于2015-09-09得票数 1
我根据django模型创建了一个文档，如下所示。从django_elasticsearch_dsl导入字段 completesearch_phase_execution_exception', 'Field [complete] is not a completion suggest field')
我认为问题在于该字段的映射没有正确创建，但我不知道如何修复它。更
浏览 0提问于2019-09-07得票数 1
4回答
我不知道如何配置Pycharm，这样我就可以直接在Pyspark中运行脚本。我在Elasticsearch集群上使用Pyspark，并使用以下代码来运行脚本。当我尝试将pyspark shell配置为解释器时，它使用默认的python解释器运行，但由于错误it I not a valid SDK而无法工作：
fromes.resource" : "titanic/passen
浏览 1提问于2015-07-22得票数 3
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
