我想知道你是否可以帮我解决我在使用spark get路线时遇到的一个问题。我正在使用这两个端点： /get?contains=sometext.
return "Hello get contains : " + contains;
}); 在这两个get路由中，只有con
浏览 10提问于2019-03-21得票数 0
回答已采纳
2回答
我试图从spark中写信给MongoDB，为了试验目的，我正在启动spark 2外壳(火花版本=2.1.1.2.6.1.0-129)，如下所述:-并在其中运行以下代码：import org.apache.spark.sql{SaveMod
浏览 3提问于2018-05-28得票数 0
回答已采纳
我想准备一个将索引从MongoDB读取到SQLContext中的Java类，以便在Spark.My代码中处理数据集，如下所示我在maven中使用了以下依赖项：
<!-- MongoDB -->
浏览 1提问于2016-10-09得票数 0
现在，我正在使用mongo火花连接器_2.11-2.0.0.jar从mongodb读取数据，mongodb是一个具有5个配置服务器、5个碎片服务器和1个mongos的分片集群。", 60) .config("spark.executor.memory", "32g")
.config("spark.m
浏览 7提问于2017-07-19得票数 1
2回答
我在星火-2.1.0-bin-hadoop2.7，Scala 2.11.8和python3.5。: java.lang.No
浏览 2提问于2017-05-26得票数 1
1回答
然后我使用卡夫卡消费者的Twitter Stream作为数据源，我在星火(PySpark)中创建了一个“流数据框架”，进行了实时的预处理和情感分析，由此产生的“流数据框架”需要进入MongoDB，这就是问题所在.conf.set("s
浏览 19提问于2022-11-21得票数 0
MongoTypeConversionException: Cannot cast DATE_TIME into a NullTypeDataFrameReader
浏览 2提问于2018-03-17得票数 2
2回答
我正在试图运行一个火花提交作业，使用远程计算机上的MongoDB实例，通过。./bin/spark-submit --master spark://10.0.3.155:7077 \
--conf "spark.mongodb.input.uri但是，当我<
浏览 5提问于2017-07-30得票数 3
回答已采纳
1回答
当在集群模式下使用submit时，jars和包配置让我感到困惑:对于jars，我可以将它们放在HDFS中，而不是本地目录中。但是对于包，因为它们使用Maven构建，用HDFS构建，所以不能工作。/test/mysql-connector-java-5.1.39/mysql-connector-java-5.1.39-bin.jar --conf "spark.mongodb.input.urireadPreference=prim
浏览 8提问于2016-08-12得票数 1
回答已采纳
1回答
pyspark版本: 2.3.4 mongodb : 4.2我的示例代码：
from pyspark.sql.config("spark.mongodb.input.uri", "mongodb://admin:password@www.mongod.com:27017/db_name.col
浏览 1提问于2021-01-29得票数 0
1回答
我正在使用Spark1.3.1，并试图使用版本1.3.2和mongo驱动程序3.0.1将RDD保存到mongodb。当我在独立集群上运行下面的应用程序时，驱动程序会被标记为失败。(Mongo.java:745) at com.mongodb.DBCollection.executeWriteOp
浏览 3提问于2015-05-15得票数 1
回答已采纳
我想要达到的最终目标是使用Scala代码作为独立应用程序，通过MongoDB集合查询Spark 。我已经成功地在运行"Windows 10"操作系统的本地安装了Spark。我可以运行火花壳，火花主节点和工人节点。所以从外观上看，apache的火花在我的p.c上运行得很好当我尝试使用我的scala项目中的相同代码时，使用MongoDB
浏览 2提问于2019-07-22得票数 0
回答已采纳
我正在尝试集成MongoDB和Apache Spark来处理数据。org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.function.FlatMapFunction", Object.class, BSONObject.c
浏览 2提问于2015-03-02得票数 0
我正在尝试用这个(运行在Databricks上)将pyspark连接到MongoDB：from pyspark.mllib.recommendationimport ALSdf = spark.read.format("com.mongodb.spark.sql.DefaultSource").load()java<
浏览 2提问于2017-04-04得票数 1
回答已采纳
我在elephas下面的keras中使用了pyspark。但仅此而已，我找不到任何其他文档如何使用来自pySpark的pySpark。", "MongoSparkConnectorTour")\
.set("spark.<
浏览 3提问于2019-10-16得票数 1
回答已采纳
1回答
我的目标是使用Spark结构化流将转换后的数据从MongoDB集合写入Neo4j。根据Neo4j文档，这在"“版本4.1.2中是可能的。spark-shell --packages org.mongodb.spark:mongo-spark-connector:10.0.2,org.neo4j:neo4j-connector-apache-spark</e
浏览 17提问于2022-06-27得票数 0
当我试图使用以下函数持久化一个List对象时，就会出现这个问题：val usersRDD = rdd.flatMap( breakoutFileById ).distinct().groupByKey().mapValues(_.toList)usersRDD.mapcom.mongodb.Mongo.execute(Mongo.java:781)
at
浏览 13提问于2017-02-21得票数 3
回答已采纳
我能够使用NameNode上的命令行连接：connecting/org/apache/ivy/core/settings/ivysettings.xml
org.mongodb.spark#mongo-spark-connector_2.11 added
浏览 12提问于2020-02-29得票数 0
回答已采纳
要通过SSL进行连接，我通常使用私钥(pk.pem)和CA证书(ca.crt)。我已经完成了以下设置：当前，我使用以下命令启动脚本：--driver-java-options -Djavax.net.ssl.t
浏览 4提问于2019-11-14得票数 1
回答已采纳
使用命令spark-shell --packages com.stratio.datasource:spark-mongodb_2.10:0.11.2执行以下代码 at com.mongodb.DBTCPConnector.getReplicaSetStatus(DBTCPConnector.java:362在阅读了一段
浏览 16提问于2016-07-27得票数 0
回答已采纳
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号