腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(6482)
视频
沙龙
1
回答
spark
和
mongo
db
连接器
参数
化
聚合
查询
、
、
我正在尝试从
mongo
集合创建一个dataframe (在databricks中),我需要从集合中挑选90天的数据。当我硬编码日期时,它工作得很好,但当我尝试
参数
化时,我得到了一个错误的java.lang.IllegalArgumentException: requirement failed: Invalid pipelineoption, 我需要了解如何将
参数
传递给此管道
查询
pipeline = "{'$match': {'timestamp':{$gte: ISODa
浏览 54
提问于2021-11-02
得票数 0
1
回答
有没有可能在
Spark
的Cosmos
DB
连接器
中使用
Mongo
Shell风格的
查询
?
、
、
我正在使用Cosmos
DB
Connector for
Spark
。是否可以将
Mongo
Shell“JSON样式”
查询
与Cosmos
DB
连接器
一起使用,而不是SQL
查询
?我尝试使用
Mongo
来实现相同的功能,但是在使用MongoDB
连接器
时遇到了一些恼人的内存限制错误。所以我放弃了这种方法。这是我更喜欢的
查询
方式: {
浏览 8
提问于2019-11-07
得票数 0
1
回答
Mongo
Hadoop
连接器
支持的
聚合
?
、
、
我正在尝试使用
spark
的
mongo
hadoop ()库对
mongo
集合进行一些
聚合
操作。我使用作为输入发送到newApiHadoopRDD的
mongo
.input.query配置输入
查询
。";m
浏览 10
提问于2016-08-11
得票数 1
回答已采纳
2
回答
蒙古-火花
连接器
的工作逻辑是什么?
、
、
我一直在试图了解蒙戈火花
连接器
是如何工作的罩下,但我仍然没有得到整个工作逻辑的背后。entity_df = sqlContext.read.format("com.mongodb.
spark
.sql.DefaultSource") \如果是,这是否意味着
连接器
只是一个只在MongoDB
和</e
浏览 3
提问于2017-12-15
得票数 0
回答已采纳
4
回答
使用scala从
Spark
将$group
聚合
写入mongodb时重复键错误
、
、
、
在
spark
上运行的mongodb
聚合
(特别是使用$group)在写回集合时正在创建重复的_id记录。因此,mongodb正在抛出重复的键错误。顺便说一句,这个
查询
在
mongo
中运行得非常好。完成”的{Product Product}组的所有客户
和
日期。我用的是 import org.apache.
spark
."org.mongodb.
spark
" %% "
mongo
-
浏览 6
提问于2017-01-11
得票数 2
1
回答
Spark
Mongo
连接器
如何验证读取首选项
、
我正在使用
spark
mongo
连接器
()。如果我使用的read config设置在not上是正确的,我需要验证几件事。我使用的是读配置 "uri" -> "mongodb://ip:port/
db
.collection?partitionerOptions.shardkey" -> "key", "partitioner&qu
浏览 0
提问于2016-12-02
得票数 0
2
回答
如何使用来自MongoDB的过滤记录来构建星火数据帧?
、
、
、
DB
中的一个集合具有大量的数据量,并且选择了apache通过计算来检索
和
生成分析数据。我已经将配置为与MongoDB通信。我需要使用MongoDB吡火花
查询
来
查询
集合,并构建一个由mongodb
查询
结果集组成的数据集。请给我一个适当的解决办法。
浏览 5
提问于2016-08-09
得票数 3
回答已采纳
2
回答
数据库笔记本Scala
Spark
连接到MongoDB无法初始
化
类com.mongodb.
spark
.config.ReadConfig$
、
、
、
、
import org.apache.
spark
.ml.tuning.{ParamGridBuilder, TrainValidationSplit}import org.apache.
spark
{SparkConf, SparkContext} import com.mongodb.
spark
.config.{ReadConfig, WriteConfi
浏览 1
提问于2020-05-04
得票数 0
1
回答
火花-蒙戈
连接器
SparkR从两个集合中读取
、
、
在
Spark
.
mongo
连接器
中,可以在
mongo
中
查询
服务器长度,java
和
scala提供了有关
查询
不同集合的更多信息,如下所示:然后,在代码中可以指定另一个集合,设置配置/bin/spark
浏览 3
提问于2016-08-23
得票数 0
回答已采纳
2
回答
如何使用pycharm开发火花放电
和
mongoDB
、
、
、
、
我需要在MongoDB集合中工作,读
和
写。一切都很好。我使用下面的包开始使用MongoDB连接然而,问题在于它在命令行中,在命令行中编写大量代码变得非常困难
浏览 3
提问于2017-10-14
得票数 0
回答已采纳
2
回答
如何通过
Spark
查询
MongoDB进行地理空间
查询
、
有没有办法使用MongoDB
和
Spark
进行地理空间
查询
?我不知道如何使用Stratio做到这一点。
浏览 1
提问于2016-01-30
得票数 2
2
回答
火花芒果连接需要很长时间才能实现。
、
、
我使用了蒙哥-火花
连接器
_2.11的火花蒙戈
连接器
。在下面编写代码,并在火花外壳中运行以进行测试。topic: String): ReadConfig = { val pass = Password val
db
), "database" ->
db
, "collection" -> coll, "partitioner" -> partitione
浏览 5
提问于2017-08-24
得票数 2
3
回答
MongoDB
和
Apache
Spark
projection
、
、
在将MongoDB集合拉入Apache
Spark
/Hadoop时,是否可以通过MongoInputFormat进行投影以减小返回的数据集的大小?
浏览 3
提问于2015-02-27
得票数 3
1
回答
用蒙戈火花
连接器
连接到mongodb时出错
、
、
、
我是新的火花/mongodb,我试图使用蒙戈火花
连接器
从火花放电连接到芒果,按照的指示。' \ 它在启动时提供了以下内容:org.mongodb.
spark
#
mon
浏览 7
提问于2020-01-24
得票数 1
回答已采纳
1
回答
将pyspark数据存储到mongodb会产生一个错误
、
、
、
、
我使用的是
spark
2.4.7
和
python 3.7,mongoDB火花
连接器
2.4.3在这里是我的代码: .appName("demo")\ &q
浏览 2
提问于2021-06-22
得票数 1
2
回答
使用
Spark
SQL在Cassandra表上运行复杂的SQL
查询
、
、
、
hereI有设置卡桑德拉
和
火花与卡桑德拉-火花
连接器
。我可以使用Scala创建RDDs。但是我想使用
Spark
SQL在Cassandra表上运行复杂的SQL
查询
(
聚合
/分析函数/窗口函数),您能帮助我应该如何继续吗?以下是使用的
查询
: sqlContext.sql(“CREATE TEMPORARY table words |USING org.apache.
spark
.sql.cassandra |OPTIONS
浏览 4
提问于2017-03-23
得票数 1
1
回答
将矩阵从MongoDB加载/反序列化为pySpark,添加新的向量列
、
、
、
我的数据存储在MongoDB中,包含用cPickle序列
化
的小图像。)client.drop_database(
db
_name)collection = database我成功地使用正式的DataFrame
连接器
将数据库中的数据读取到了MongoDB。但是,它们仍然是序列
化
的:impo
浏览 4
提问于2017-04-26
得票数 0
回答已采纳
1
回答
MongoDB
聚合
不更新我的集合
、
、
我试图使用他们的nodejs驱动程序在
Mongo
中运行一个
聚合
查询
,这会占用我的一些字段,并添加/查找平均值等等。我在
Mongo
中构建了
聚合
并将其导出到节点,但是当我运行代码时,我从
Mongo
获得了以下响应:const agg = [ '$addFields': {
浏览 3
提问于2021-01-15
得票数 0
1
回答
用于MongoDB连接的
参数
化
链接服务
我试图在azure数据工厂中
参数
化
mongo
连接的链接服务。我已将文件提交给您。未能发布*
DB
(链接服务名称)。原因:至少有一个资源部署操作失败。有关详细信息,请列出部署操作。有关使用细节,请参阅。下面是错误的屏幕截图。
浏览 0
提问于2019-07-22
得票数 0
回答已采纳
1
回答
将sql-
Spark
-connector库安装到Azure Synapse Apache
Spark
、
我正在尝试安装Apache
Spark
Connector for SQL Server
和
Azure SQL,以便在大数据分析中使用事务数据,并将结果持久
化
以进行即席
查询
或报告。
连接器
允许您使用任何SQL数据库,本地或云中,作为
Spark
作业的输入数据源或输出数据宿。
spark
sql
连接器
位于此处 有人能告诉我如何在Azure Synapse Apache
Spark
中导入它吗?
浏览 4
提问于2021-10-14
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Python私教MongoDB快速入门教程有录播直播私教课
微软发布SQL Server 2019公开预览版
微软SQL Server 2019 全新发布,更新内容亮点都在这里了
微软SQL Server 2019 全新发布,内容亮点都在这里了
微软SQL Server 2019 全新发布,更新内容亮点都在这里了
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券