腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
使用
java
和
mongodb
处理
spark
路由
spark-java
我想知道你是否可以帮我解决我在
使用
spark
get路线时遇到的一个问题。我正在
使用
这两个端点: /get?contains=sometext. return "Hello get contains : " + contains; }); 在这两个get
路由
中,只有con
浏览 10
提问于2019-03-21
得票数 0
回答已采纳
2
回答
斯派克写给
mongoDB
的信
mongodb
、
apache-spark
、
apache-spark-sql
我试图从
spark
中写信给
MongoDB
,为了试验目的,我正在启动
spark
2外壳(火花版本=2.1.1.2.6.1.0-129),如下所述:-并在其中运行以下代码:import org.apache.
spark
.sql{SaveMod
浏览 3
提问于2018-05-28
得票数 0
回答已采纳
1
回答
用
Java
在
Spark
中用
MongoDB
中的数据填充SQLContext
mongodb
、
apache-spark
、
spark-dataframe
我想准备一个将索引从
MongoDB
读取到SQLContext中的
Java
类,以便在
Spark
.My代码中
处理
数据集,如下所示我在maven中
使用
了以下依赖项: <!--
MongoDB
-->
浏览 1
提问于2016-10-09
得票数 0
1
回答
带有火花的
mongodb
有一个错误代码-5。
mongodb
、
apache-spark
现在,我正在
使用
mongo火花连接器_2.11-2.0.0.jar从
mongodb
读取数据,
mongodb
是一个具有5个配置服务器、5个碎片服务器
和
1个mongos的分片集群。", 60) .config("
spark
.executor.memory", "32g") .config("
spark
.
m
浏览 7
提问于2017-07-19
得票数 1
2
回答
电火花
mongoDB
连接器问题
python
、
mongodb
、
apache-spark
我在星火-2.1.0-bin-hadoop2.7,Scala 2.11.8
和
python3.5。:
java
.lang.No
浏览 2
提问于2017-05-26
得票数 1
1
回答
将星火流数据流加载到
MongoDB
中
mongodb
、
apache-spark
、
pyspark
、
spark-structured-streaming
然后我
使用
卡夫卡消费者的Twitter Stream作为数据源,我在星火(PySpark)中创建了一个“流数据框架”,进行了实时的预
处理
和
情感分析,由此产生的“流数据框架”需要进入
MongoDB
,这就是问题所在.conf.set("
s
浏览 19
提问于2022-11-21
得票数 0
3
回答
蒙戈火花连接器: MongoTypeConversionException不能将DATE_TIME转换成NullType
java
、
mongodb
、
apache-spark
、
apache-spark-sql
MongoTypeConversionException: Cannot cast DATE_TIME into a NullTypeDataFrameReader
浏览 2
提问于2018-03-17
得票数 2
2
回答
无法在认证模式下
使用
Mongo连接蒙古-火花连接器
mongodb
、
authentication
、
apache-spark
、
apache-spark-sql
、
spark-submit
我正在试图运行一个火花提交作业,
使用
远程计算机上的
MongoDB
实例,通过。./bin/
spark
-submit --master
spark
://10.0.3.155:7077 \ --conf "
spark
.
mongodb
.input.uri但是,当我<
浏览 5
提问于2017-07-30
得票数 3
回答已采纳
1
回答
如何
使用
火花-提交配置: jars,包:在集群模式?
mongodb
、
maven
、
configuration
、
cluster-computing
、
pyspark
当在集群模式下
使用
submit时,jars
和
包配置让我感到困惑:对于jars,我可以将它们放在HDFS中,而不是本地目录中。但是对于包,因为它们
使用
Maven构建,用HDFS构建,所以不能工作。/test/mysql-connector-
java
-5.1.39/mysql-connector-
java
-5.1.39-bin.jar --conf "
spark
.
mongodb
.input.urireadPreference=prim
浏览 8
提问于2016-08-12
得票数 1
回答已采纳
1
回答
无法
使用
pyspark通过ssl连接到
mongodb
python
、
mongodb
、
apache-spark
、
ssl
、
pyspark
pyspark版本: 2.3.4
mongodb
: 4.2我的示例代码: from pyspark.sql.config("
spark
.
mongodb
.input.uri", "
mongodb
://admin:password@www.mongod.com:27017/db_name.col
浏览 1
提问于2021-01-29
得票数 0
1
回答
RDD只部分写入mongo。
mongodb
、
hadoop
、
apache-spark
我正在
使用
Spark
1.3.1,并试图
使用
版本1.3.2
和
mongo驱动程序3.0.1将RDD保存到
mongodb
。当我在独立集群上运行下面的应用程序时,驱动程序会被标记为失败。(Mongo.
java
:745) at com.
mongodb
.DBCollection.executeWriteOp
浏览 3
提问于2015-05-15
得票数 1
回答已采纳
1
回答
无法
使用
Spark
通过
MongoDB
连接器查询
MongoDB
java
、
mongodb
、
scala
、
apache-spark
、
apache-spark-sql
我想要达到的最终目标是
使用
Scala代码作为独立应用程序,通过
MongoDB
集合查询
Spark
。我已经成功地在运行"Windows 10"操作系统的本地安装了
Spark
。我可以运行火花壳,火花主节点
和
工人节点。所以从外观上看,apache的火花在我的p.c上运行得很好当我尝试
使用
我的scala项目中的相同代码时,
使用
MongoDB
浏览 2
提问于2019-07-22
得票数 0
回答已采纳
1
回答
org.apache.
spark
.SparkException:与
MongoDB
集成时,由于阶段故障导致作业中止
java
、
mongodb
、
apache-spark
、
illegalstateexception
我正在尝试集成
MongoDB
和
Apache
Spark
来
处理
数据。org.apache.
spark
.api.
java
.JavaRDD;import org.apache.
spark
.api.
java
.function.FlatMapFunction", Object.class, BSONObject.c
浏览 2
提问于2015-03-02
得票数 0
2
回答
PySpark
Mongodb
/
java
.lang.NoClassDefFoundError: org/apache/
spark
/sql/DataFrame
mongodb
、
pyspark
、
connector
、
databricks
我正在尝试用这个(运行在Databricks上)将pyspark连接到
MongoDB
:from pyspark.mllib.recommendationimport ALSdf =
spark
.read.format("com.
mongodb
.
spark
.sql.DefaultSource").load()
java<
浏览 2
提问于2017-04-04
得票数 1
回答已采纳
1
回答
用Python从DataFrame
MongoDB
GridFS加载
Spark
2.x GridFS
python
、
mongodb
、
apache-spark
、
pyspark
、
gridfs
我在elephas下面的keras中
使用
了pyspark。但仅此而已,我找不到任何其他文档如何
使用
来自pySpark的pySpark。", "MongoSparkConnectorTour")\ .set("
spark
.<
浏览 3
提问于2019-10-16
得票数 1
回答已采纳
1
回答
火花结构化流与Neo4j
neo4j
、
spark-structured-streaming
我的目标是
使用
Spark
结构化流将转换后的数据从
MongoDB
集合写入Neo4j。根据Neo4j文档,这在"“版本4.1.2中是可能的。
spark
-shell --packages org.
mongodb
.
spark
:mongo-
spark
-connector:10.0.2,org.neo4j:neo4j-connector-apache-
spark</e
浏览 17
提问于2022-06-27
得票数 0
1
回答
如何
使用
spark
将scala列表持久化到
mongodb
mongodb
、
scala
、
apache-spark
当我试图
使用
以下函数持久化一个List对象时,就会出现这个问题:val usersRDD = rdd.flatMap( breakoutFileById ).distinct().groupByKey().mapValues(_.toList)usersRDD.mapcom.
mongodb
.Mongo.execute(Mongo.
java
:781) at
浏览 13
提问于2017-02-21
得票数 3
回答已采纳
1
回答
PySpark不能连接到
MongoDB
,但是命令行可以
mongodb
、
apache-spark
、
ubuntu
、
pyspark
我能够
使用
NameNode上的命令行连接:connecting/org/apache/ivy/core/settings/ivysettings.xml org.
mongodb
.
spark
#mongo-
spark
-connector_2.11 added
浏览 12
提问于2020-02-29
得票数 0
回答已采纳
1
回答
无法用SSL将Apache
Spark
连接到
MongoDB
mongodb
、
ssl
、
pyspark
要通过SSL进行连接,我通常
使用
私钥(pk.pem)
和
CA证书(ca.crt)。我已经完成了以下设置:当前,我
使用
以下命令启动脚本:--driver-
java
-options -Djavax.net.ssl.t
浏览 4
提问于2019-11-14
得票数 1
回答已采纳
1
回答
无法
使用
spark
-shell从EMR集群连接到远程
MongoDB
mongodb
、
scala
、
apache-spark
、
amazon-emr
使用
命令
spark
-shell --packages com.stratio.datasource:
spark
-
mongodb
_2.10:0.11.2执行以下代码 at com.
mongodb
.DBTCPConnector.getReplicaSetStatus(DBTCPConnector.
java
:362在阅读了一段
浏览 16
提问于2016-07-27
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
使用 Kafka和MongoDB 进行 Go 异步处理
Java开发之神兵利器——Spring Boot中MongoDB的快速集成和使用
程序猿张开大嘴,一口含住Hadoop的脑袋,原来大数据如此简单
新手学大数据技术,可以按照什么样的流程来学习?
一文读懂Apache Spark
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券