使用saveAsNewAPIHadoopFile get warnning将数据流数据写入es
使用saveAsNewAPIHadoopFile将数据流数据写入ES时出现警告。
saveAsNewAPIHadoopFile是Spark中用于将数据保存到Hadoop文件系统的方法。当将数据写入ES时，可能会出现警告。这个警告通常是由于ES的版本与Spark的版本不兼容导致的。
为了解决这个问题，可以尝试以下几个步骤：
- 确认ES的版本与Spark的版本兼容。可以查看ES和Spark的官方文档，了解它们之间的兼容性要求。
- 检查Spark的配置文件，确保已正确配置ES相关的参数。例如，可以检查spark-defaults.conf文件中是否包含了正确的ES配置参数，如es.nodes、es.port等。
- 确保Spark应用程序的依赖中包含了正确的ES相关库。可以通过在build.sbt或pom.xml文件中添加相应的依赖来解决。
- 尝试使用其他方法将数据写入ES，例如使用Elasticsearch-Hadoop库提供的API。这个库提供了更直接的方式来与ES进行交互，并且可以更好地处理ES的特定要求。
总结起来，解决saveAsNewAPIHadoopFile写入ES时出现警告的方法包括：确认版本兼容性、检查配置参数、添加正确的依赖、尝试其他写入ES的方法。具体的解决方法需要根据实际情况进行调整。
腾讯云相关产品推荐：腾讯云的云原生数据库TDSQL、云服务器CVM、云数据库CDB、云存储COS等产品可以与Spark集成，提供稳定可靠的云计算服务。更多产品介绍和详细信息可以参考腾讯云官方网站：https://cloud.tencent.com/
相关·内容
1回答
使用saveAsNewAPIHadoopFile get warnning将数据流数据写入es
python、elasticsearch、pyspark、warnings
这是我的代码： es_write_conf = { ¦ "es.port" : ES_PORT, ¦ "es.input.json": "true"
浏览 23提问于2019-03-17得票数 1
回答已采纳
2回答
Pyspark使用saveAsNewAPIHadoopFile将DStream数据写入Elasticsearch
elasticsearch、apache-spark、pyspark、apache-kafka、spark-streaming
我正在尝试将Kafka Stream转换为RDDs，并将这些RDDs插入到Elasticsearch数据库中。这是我的代码：sc = SparkContext(conf=conf) "es.nodes)
ssc.awaitTermination()
saveAsNewAPIHadoopFile函数应该将这些
浏览 0提问于2016-12-30得票数 1
3回答
Spark在写入elasticsearch时不支持arraylist吗？
hadoop、elasticsearch、apache-spark
内部: org.apache.spark.SparkException ( java.util.ArrayList类型的数据不能使用)重复1 conf={ "es
浏览 5提问于2015-07-14得票数 4
3回答
Python将Dataframe激发为Elasticsearch
elasticsearch、apache-spark、pyspark、elasticsearch-hadoop
我不知道如何使用spark中的python为elasticsearch编写数据格式。我跟随着的脚步。= customSchema)
kpi1 = sqlContext.sql("SELECT * FROM data")
es_conf= {"es.nodes" : "10.10.10.10","es.port" : "9
浏览 8提问于2016-09-18得票数 5
2回答
如何将星火数据推送到弹性搜索(Pyspark)
python、elasticsearch、pyspark、apache-spark-sql
初学者在这里提问从研究来看，我认为我需要使用方法。然而，在和中进行深入研究，我仍然有点困惑于参数需要采用什么格式，以及为什么
注意，我使用的是pyspark，这是ES的一个新表(不存在索引)，df是5列(2种字符串类型，2种长类型，1列ints)，包含大约
浏览 3提问于2017-10-16得票数 8
回答已采纳
0回答
Spark将rdd字段值替换为另一个值
apache-spark、pyspark、apache-kafka、spark-streaming、rdd
我可以使用以下命令查看elasticsearch数据库中第一个RDD的内容：>>>(u'1', {u'name': u'john'})name=kvs.map(lambda x: x[1])>>>>robert
我打算用"robert“替换rdd "name"：&qu
浏览 3提问于2016-12-30得票数 1
1回答
PySpark: saveAsNewAPIHadoopDataset()可以用作HBase的批量加载吗？
python、hadoop、apache-spark、hbase、bulkloader
我们目前使用saveAsNewAPIHadoopDataset()通过Spark RDDs (pyspark)将数据导入到HBase表中。
此函数是否通过mapreduce使用HBase批量加载功能？换句话说，直接导入到HBase的saveAsNewAPIHadoopDataset()是否等同于使用saveAsNewAPIHadoopFile()将Hfiles写入HDFS，然后调用org.apache.hadoop.hbase.mapreduce.Lo
浏览 5提问于2015-08-24得票数 3
1回答
elasticsearch数据流中的强制@timestamp字段的用途是什么
elasticsearch
我目前正在研究如何将旧的ES集群迁移到受ILM管理的https://www.elastic.co/guide/en/elasticsearch/reference/master/data-streams.html如果写操作无论如何都要写入当前的写索引，那么ES为什么要关心@timestamp字段呢？
浏览 457提问于2021-07-09得票数 1
1回答
弹性搜索每月滚动索引与自定义路由
elasticsearch、search、full-text-search
我试图弄清楚如何使用自定义路由(多租户方案)创建一个每月滚动索引，并满足以下要求：READ :请求必须路由到所有备份索引。请求将具有指定的自定义路由密钥(例如：customerId)，结果必须聚合并返回。
索引创建:滚动索引应该是自动化的。
浏览 19提问于2022-10-03得票数 0
回答已采纳
3回答
在不使用SSIS日志记录的情况下使用脚本任务传输的行数
c#、vb.net、ssis
我在一个序列容器中有超过40个独立的数据流任务。我试过这个方法：
此方法有效，但我必须继续为容器中的每个数据流任务添加脚本任务。是否有一种方法可以让这个脚本在每个数据流任务完成后自动执行，并写入每个数据流
浏览 0提问于2012-10-22得票数 0
回答已采纳
1回答
从Java Spark到ElasticSearch的连接数
java、hadoop、elasticsearch、apache-spark
我们使用Spark Streaming将数据写入ElasticSearch，并通过JavaPairRDD (Spark 1.6.0)的saveAsNewAPIHadoopFile方法将数据写入Java。如前所述，我们使用的是Spark 1.6.0和ElasticSearch 2.0.0。
浏览 0提问于2016-09-15得票数 0
2回答
ELK将数据流转换为常规索引
elasticsearch、logstash、kibana、elastic-stack、elk
我想使用常规索引而不是datastream，但是不能从Kibana UI中删除/更新它，也不能借助直接ES调用来删除/更新它。200] would cause data streams [logstash-2020.12.24] to no longer match a data stream template"删除数据或基础索引( recreated)delete索引模板用于创建数据streamreassign索引模板以指向某个虚拟索引，然后删除上面的(错误))如何迁移
浏览 10提问于2020-12-24得票数 0
1回答
用于rdd.saveAsNewAPIHadoopFile和解决方案的火花驱动程序内存
apache-spark、pyspark、elasticsearch-hadoop
上下文是，我正在使用pyspark，用1k、10k、50k、500k、1m记录索引RDDs到ElasticSearch (ES)。将spark.driver.memory提高到大约4gb，我可以索引更多。然而，这将持续多久是有限度的，我们希望索引在500 K，1米，5米，2000万记录。to_index_rdd.saveAsNewAPIHadoopFile(
path=&#
浏览 0提问于2017-11-30得票数 1
1回答
当从Dataflow写入时，我如何更改桶或前缀？
google-cloud-dataflow
在流数据流管道中，如何动态地更改写入云存储的存储桶或数据前缀？
例如，我希望将数据存储到GCS上的文本或avro文件，但前缀中包含处理时间。更新：这个问题是无效的，因为在写入Google的流数据流中没有接收器可以使用。
浏览 3提问于2016-11-10得票数 0
回答已采纳
1回答
如何将数据流到自托管的elasticsearch集群中？
amazon-web-services、elasticsearch、amazon-kinesis-firehose
我将ES集群部署到access，它可以通过应用程序负载均衡器进行访问。我已经在集群中创建了一个索引。我将部署一个Kinesis来使用http_endpoint作为将数据流到ES集群的目标。但是，我如何配置http谓词消防喉用于将数据放入ES端点呢？例如，我的ES端点是http://xxxx.com/myindex，我希望消防软管向这个端点发送POST请求。如何将其配置为
浏览 2提问于2021-06-15得票数 3
2回答
在Azure数据工厂映射数据流中使用参数化数据集
azure-data-factory、azure-data-factory-2
当通过数据工厂映射数据流引用时，我在使用参数化数据集时遇到了问题。CSV文件的结构将传递给SQL Server存储过程，该存储过程将查找与CSV文件具有相同结构的视图。然后，将读取CSV文件的内容并将其写入SQL
浏览 1提问于2019-11-02得票数 4
1回答
流式传输InfluxDB数据
influxdb
我使用influxDB已经有一段时间了，但从来没有连续使用过它的数据流。一个简单的GET /query就足够了。但现在我需要一种方法来将数据流式传输到前端，以绘制漂亮的图表等。到目前为止，我们已经从前端周期性地运行了GET /query，但是效率非常低。我更愿意让连接保持打开状态，并在数据写入数据库时接收数据。
浏览 20提问于2020-01-09得票数 5
回答已采纳
2回答
使用多字符分隔符将存储在谷歌云存储上的数据加载到BigQuery
google-bigquery、google-cloud-storage、google-cloud-platform、google-cloud-dataflow
我想将带有多个字符分隔符的数据加载到BigQuery。BQ load命令当前不支持多个字符分隔符。它只支持单个字符分隔符，如'|‘、'$’、'~‘等
我知道有一种数据流方法，它将从这些文件中读取数据并写入BigQuery。但是我有大量的小文件(每个文件400MB)，它们必须写入一个单独的表分区(分区编号在700左右)。这种方法在处理数据流时速度很慢，因为我当前必须启动一个不同的数据流作业，以便使用for循环将</e
浏览 22提问于2016-08-11得票数 3
回答已采纳
1回答
如何在Airflow "DataflowTemplateOperator()“中覆盖(而不是追加)目的表中的数据？
google-cloud-dataflow、dataflow、airflow
我使用Airflow DataflowTemplateOperator()将数据从Mssql迁移到Bigquery，使用JDBC to Bigquery数据流模板。默认情况下，它会将数据追加到目标Bigquery表中。是否有默认参数可将数据流/ DataflowTemplateOperator设置从追加更改为覆盖？
浏览 2提问于2020-12-02得票数 0
1回答
设置AWS Kinesis cloudformation模板
amazon-web-services、amazon-cloudformation、amazon-kinesis
我是AWS cloudformation的新手，需要创建一个Kinesis数据流，然后使用python代码将记录写入此数据流。我可以通过cloudformation模板创建数据流，但不能设置权限。我将如何附加一个权限，以允许某些用户组使用python库写入此kinesis数据流？
浏览 25提问于2019-04-23得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频活动推荐
腾讯云开发者
