将scala/spark信息写入MongoDB

文章/答案/技术大牛

发布

2回答

mongodb、scala、apache-spark

Finished: SUCCESS val spark = SparkSession.builder().appName("MongoSparkConnectorIntro") .config("spark.mongodb.input.uri", "<e

浏览 10提问于2018-01-28得票数 2

回答已采纳

1回答

如何将字符串值写入MongoDB ObjectId中？

java、mongodb、apache-spark、objectid

我想以ObjectId的形式将字符串值写到MongoDB中。 return new com.mongodb.spark.sql.fieldTypes.api.java.ObjectIdCaused by: scala.MatchError: com.mongodb.spark.sql.fieldTypes.

浏览 10提问于2021-10-29得票数 1

1回答

将JSON数据写入MongoDB本地时出现Spark作业错误

mongodb、scala、apache-spark

我正在尝试一个简单的程序来读取JSON文件并写入MongoDB本地实例，我安装了MongoDBimport com.mongodb.spark.MongoSpark .config("spark.mongodb.

浏览 11提问于2019-11-15得票数 1

1回答

如何从数据库集群连接mongodb地图集

mongodb、apache-spark、pyspark、jupyter-notebook、databricks-community-edition

如何从数据库集群连接mongodb地图集from pyspark.sql import SparkSession .builder\ .config("spark.mongodb.input.uri", "mongodb+srv://admin:<password>@mongocluste

浏览 3提问于2021-10-06得票数 0

3回答

将PySpark数据写入MongoDB插入字段作为ObjectId

python、mongodb、pyspark

我试图向MongoDB写入一个Spark，它包含一个ObjectId的字符串表示形式，它是另一个集合的_id。关键是，PySpark不支持ObjectId (Scala和Java ObjectId支持在这里解释：)，所以，如何使用Spark从PySpark将ObjectId插入MongoDB？

浏览 3提问于2017-11-23得票数 3

回答已采纳

2回答

MongoTypeConversionException:即使显式架构不包含NullTypes，也无法使用Mongo Spark Connector将字符串强制转换为NullType

mongodb、scala、apache-spark、apache-spark-sql

我正在将一个集合从MongodB导入到Spark。val partitionDF = spark.read.format("com.mongodb.spark.sql.DefaultSource").option("database", "db").option根据Writing null values to Parquet in Spark when the NullType is inside a Stru

浏览 161提问于2021-08-12得票数 1

1回答

未能找到数据源: com.stratio.datasource.mongodb

apache-spark、pyspark

当我尝试使用：“.bin/spark submit-packages com.stratio.datasource:spark-mongodb_2.11:0.12.0”时“./bin/火星-提交-jars /home/user/Spark-MongoDB/spark-mongodb_2.11/target/spark-mongodb_2.1

浏览 2提问于2016-09-12得票数 0

回答已采纳

1回答

scala找不到java.lang.class的编解码器

mongodb、scala、apache-spark、intellij-idea

{SparkConf, SparkContext}import com.mongodb.spark.rdd.MongoRDDimport org.apache.spark.sql.SQLContext import com.mongodb.spark.sqlset

浏览 1提问于2017-01-05得票数 0

回答已采纳

2回答

不能显示/写从火花DF读取使用蒙戈火花连接器。

mongodb、scala、apache-spark

我正在尝试从MongoDB读取一个庞大的复杂文档到spark数据框架中。当我将这个数据库转换成json时，它就能工作了。但是，如果我直接从com.mongodb.spark.exceptions.MongoTypeConversionException:中读取，则会得到以下错误:由: MongoDB引起的不能将字符串转换为当我试图显示或写入json/csv时会出错。mongo$.main(mongo.scala:270) - df.show(

浏览 1提问于2018-04-03得票数 1

2回答

将数据写入宇宙数据库(MongoDB API)时出错-共享吞吐量集合应该有一个分区键。

scala、azure、apache-spark、azure-cosmosdb、azure-cosmosdb-mongoapi

我使用Apache将少量(<10)的JSON文档写入Cosmos DB作为概念的证明 at com.mongodb.spark.MongoSpark$$anonfun$save$1$$anonfun$apply$1.apply(MongoSpark.scalacom.mongodb.spark.MongoConnector.withMongoClient

浏览 5提问于2019-11-15得票数 0

1回答

对子文档的sparkR Mongo连接器查询

mongodb、apache-spark、connector

$.com$mongodb$spark$sql$MapFunctions$$convertToDataType(MapFunctions.scala:79) at com.mongodb.spark.sql.MapFunctions$$anonfun$3.apply:

浏览 5提问于2016-08-16得票数 0

回答已采纳

1回答

MongoDB中的读写配置设置管理

mongodb、scala、apache-spark、apache-spark-sql

": "mongodb://127.0.0.1/test.myCollection", "spark_mongodb_pass":"", "spark_mongodb_input_database": "test&qu

浏览 5提问于2020-06-11得票数 2

1回答

Spark Scala将数据帧写入MongoDB

mongodb、scala、apache-spark、apache-spark-sql

我正尝试以此为指导将转换后的数据框写入MongoDB https://docs.mongodb.com/spark-connector/master/scala/streaming/ 到目前为止，我从= SparkSession.builder() .appName("MongoSparkConnectorIntro")

浏览 43提问于2020-08-09得票数 0

回答已采纳

2回答

电火花mongoDB连接器问题

python、mongodb、apache-spark

/smack-2.1.0bin-hadoop2.7/ jar路径之后，我将启动我的./pyspark，如官方的mongo站点所示df = spark.read.format("com.mongodb.spark.sql.DefaultSource").option("uriat com.mongodb.spark.config.ReadConfig$.

浏览 2提问于2017-05-26得票数 1

1回答

MongoDB Spark连接器: mongo-spark无法连接到数据库

java、mongodb、apache-spark

我正在尝试MongoDB的Spark连接器从MongoDB读取数据。在启动应用程序时，我向Spark conf对象提供了DB和集合详细信息。然后使用下面这段代码来阅读。") .config("<

浏览 2提问于2017-04-20得票数 1

1回答

火花Mongodb: Error - java.lang.NoClassDefFoundError: com/mongodb/MongoDriverInformation

mongodb、scala、apache-spark

(DefaultMongoClientFactory.scala:49) at com.mongodb.spark.MongoConnector.acquireClient(MongoConnector.scala:242) at com.mongodb.spark<

浏览 12提问于2019-10-14得票数 1

1回答

Azure Cosmos( Spark* API) -来自MongoDB的错误*

apache-spark、azure-cosmosdb-mongoapi

(ReadConfig.scala:42) at com.mongodb.spark.config.ReadConfig:124) at com.

浏览 1提问于2019-11-16得票数 0

1回答

当试图连接到MongoDB时，未找到异常类ConnectionString

java、mongodb、apache-spark、intellij-idea、connection-string

spark会话的创建是正确的，但是当我试图将数据插入Mongo时，我得到了一个错误： at scala.util.Try$.apply(Try.scala:192) at com.mongodb.spark.config.MongoCompanionConfigconnectionString(WriteConfig.sca

浏览 1提问于2021-10-06得票数 1

回答已采纳

1回答

MongoDb -火花-不能将字符串转换为NullType (值: BsonString{value='4492148'})

java、apache-spark、hadoop、apache-spark-sql

args[2]) .set("spark.mongodb.input.partitioner$.com$mongodb$spark$sql$MapFunctions$$convertToDataType(MapFunctions.scala:80) at com.mongodb.spark</

浏览 5提问于2020-07-15得票数 2

1回答

将BsonDocument写入MongoDB Spark Scala

mongodb、scala、apache-spark

当我尝试将一系列文档写入MongoDB时，我得到了这样一个异常：java.lang.IllegalArgumentException: clusterListener can not be nullval sparkVersion = "org.twitter4j" % &

浏览 2提问于2018-05-27得票数 0

点击加载更多