spark外部连接与源

文章/答案/技术大牛

发布

1回答

python、apache-spark、pyspark、apache-spark-sql

我对spark比较陌生，我想知道是否可以获得用于外部连接的列的源代码DF 1|item1| key||Item1|key1|| t1| key1|| t3| key8|| t5|key10|我想在这3个数据帧上执行完整的外连接，并包含一个新的列，用来指示该键的源。

浏览 2提问于2017-12-07得票数 0

1回答

如何在数据源级执行函数(进而绕过Catalyst)？

apache-spark、apache-spark-sql

Apache Spark™提供了一种可插拔的机制，以便使用Apache与外部数据源集成。这些API允许Spark从外部数据源读取数据，还允许将在Spark中分析的数据写回外部数据源。除此之外，我想知道Apache spark是否也为能够本机执行函数(本机或用户定义的)的数据源提供了能力(或接口)？我们有一个专有的数据源，它可以将结果传递给max()、min()、s

浏览 2提问于2017-09-18得票数 1

1回答

阅读Azure HDI4.0中的Avro

azure、apache-spark、avro、spark-avro

我试图读取一个阿夫罗文件使用木星笔记本在Azure HDInsight 4.0与Spark2.4。我无法正确地提供.jar文件{ "conf": {"spark.jars.packages": "com.databricks:spark-avro_2.11:4.0.0" }} pyspark.sql.utils.Analy

浏览 3提问于2019-10-25得票数 3

回答已采纳

1回答

Apache Spark Streaming :简单的接收器

rest、rss、rpc、spark-streaming

有没有一种简单的方法可以将spark streaming连接到外部源，如Rest服务器、RSS流、RPC服务器等？

浏览 2提问于2015-07-03得票数 1

1回答

如何使用externalDataSource选项从Databricks写入synapse？

azure、pyspark、azure-databricks

：预先配置的外部数据源，用于从Azure Synapse读取数据.外部数据源只能与PolyBase一起使用，并移除控件权限要求，因为连接器不需要创建作用域的凭据和外部数据源来加载数据。另外，我不知道输入是什么，在文档中写着 .format("com.databricks.spark.sqldw") \ .option("url",your-pr

浏览 1提问于2022-08-18得票数 0

1回答

Azure数据库中的ML Spark作业

azure、azure-hdinsight、azure-databricks

目前我们在Azure HDInsight集群中使用ML pyspark作业(版本:HDI3.6)。有没有可能在Azure Databricks中使用相同的pyspark作业而不做太多更改？

浏览 0提问于2019-02-22得票数 0

1回答

Apache Zeppelin 0.7.0-快照不支持外部Spark

apache-zeppelin

我正在尝试使用齐柏林飞艇(0.7-0快照编译与mvn清理包-Pcassandra- Spark -1.6 -Dscala-2.11 -DskipTests)与外部，独立的Spark版本1.6.1 我已经尝试通过在/ Zeppelin /conf/zeppelin-env.sh中输入export MASTER=spark://mysparkurl:7077来进行设置，并且在%spark interpeter设置下到目前为止

浏览 5提问于2016-08-10得票数 1

1回答

如何使用Spark在Apache Solr上构建聚合

apache-spark、apache-kafka、solr

我有一个要求建立聚合的数据，我们收到我们的Apache Kafka… 我有点不知道该走哪条技术路线…… 似乎人们看到的是标准的方式，一群Apache Kafka <-> Apache Spark <-Solr Aggregation 但我看到了一些代码片段，它们将数据聚合在Spark中，并将其写入到Solr的特殊索引下。此外，可能聚合mit Kafka <-> Kafka Connect Solr <-> Solr仅适用于Kafka中的一个主题，所以如果我必须组合来自2个或更多不同主题和聚合的数据，那么Kafka，<

浏览 34提问于2021-11-11得票数 0

1回答

MongoDB火花连接器不工作在Windows上

mongodb、apache-spark

我在C:/Spark中的C驱动器中安装了Spark安装程序。我在c驱动器中使用以下命令克隆了MongoDB火花连接器-并在C驱动器中创建mongo-spark文件夹。当我在Spark文件夹中运行命令时- C:\spark\bin>spark-shell --conf "spark.mongodb.input.uri=mongodb://127.0.0.1/test.CoOrder--

浏览 4提问于2017-01-19得票数 1

1回答

Python:用Pip安装带依赖项的脱机包？

python-3.x、installation、pip

我已经创建了一个包，我可以安装与互联网连接，但我需要安装它现在没有互联网连接，所以我需要下载所有的外部依赖，并从来源安装他们。如何从需要互联网连接的外部包源安装package？换句话说，如何使pip在安装中查找本地源而不是外部源？

浏览 0提问于2018-08-13得票数 3

回答已采纳

2回答

如何将Virtuoso分布式版本链接到Hadoop

apache-spark、hadoop、sparql、rdf、virtuoso

换句话说: Virtuoso是一个很好的解决方案，可以在hadoop集群中工作，并且可以使用SPARK来执行分布式查询吗？

浏览 0提问于2019-12-01得票数 0

回答已采纳

1回答

Spark-SQL数据帧外部数据源效率低

apache-spark、apache-spark-sql

当我试图在Spark-SQL外部数据源上做一些测试时，会发生这个问题。为了更清楚地表达这个问题，我编写了一段代码：在我的外部Datasource API基准代码中，它实现了一个假的外部数据源(实际上是一个RDD[String，Ar

浏览 2提问于2016-01-09得票数 1

1回答

增量核与火花-avro之间的火花Maven依赖不兼容

scala、maven、apache-spark、avro、delta-lake

我看到的一个奇怪的行为是，它似乎与火花阿夫罗冲突。Maven构建成功，但在运行时我会收到错误。如果首先声明了增量表依赖项，则会得到一个运行时错误，该运行时错误没有安装spark：如果先定义spark

浏览 1提问于2020-08-17得票数 1

1回答

MongoDB & Spark: mongo-hadoop和mongo-spark的区别

mongodb、apache-spark、hadoop、pymongo

mongo-hadoop和mongo-spark连接器有什么不同，pymongo只能和mango-hadoop一起使用吗？ pymongo只与mongo-hadoop一起使用吗？

浏览 2提问于2018-07-10得票数 0

1回答

星星之火/ Scala --比较Dataframe中的两列(其中一列为NULL )。

sql、scala、apache-spark、null、apache-spark-sql

我使用Spark (Scala)将QA数据从一个关系数据库移动到另一个关系数据库。QA过程包括在源表和目标表之间执行一个完整的外部连接。源表和目标表在键上的数据框架中连接：val mismatchedDF = joinedDF.filter(mismatchCol

浏览 0提问于2017-11-07得票数 4

回答已采纳

1回答

databricks-connect，py4j.protocol.Py4JJavaError:调用o342.cache时出错

pyspark、databricks-connect

与数据库的连接工作正常，与DataFrames的工作也很顺利(连接、过滤等操作)。当我在数据帧上调用cache时，问题出现了。Caused by: java.lang.ClassNotFoundException: org.apache.spark.rdd.RDD$client53442a94a3$$anonfun$mapPartitions$.classForName(Utils.scala:257) at org.apache.spark.sql.util.ProtoSeri

浏览 0提问于2020-02-04得票数 1

2回答

Spark通过Mesos转到MongoDB

mongodb、apache-spark、cluster-computing、mesos、mesosphere

我正在尝试使用Mesos将Apache Spark连接到MongoDB。这是我的架构：现在我只在1个节点上安装了Spark。关于这方面的信息并不多。我只想提几个问题：据我所知，我可以通过mesos将星火连接到MongoDB。换句话说，我最终使用MongoDB作为存储层。我真的需要Hadoop吗？是否强制将所有数据放入Hadoop中，以供Spark

浏览 29提问于2016-08-17得票数 0

1回答

来自SQL外部源的Spark自动更新

apache-spark、apache-spark-sql

我正在使用Spark加载一个大型的外部数据源options.put("url"schema.tablename"); 我想知道我的外部在我需要再次调用load函数的情况下，<em

浏览 2提问于2016-05-09得票数 1

1回答

Apache作为ApacheSpark2.4中内置的数据源

apache-spark

最近，我阅读了的文章并试用了这个示例，但是当我运行 .load("examples线程“主”org.apache.spark.sql.AnalysisException中的异常:未能找到数据源: avro。Avro是内置的，但外部数据源模块，从Spark2.4。请按照“”的部署部分在org.apache.spark

浏览 0提问于2019-02-09得票数 8

回答已采纳

2回答

数据源io.pivotal.greenplum.spark.GreenplumRelationProvider不支持流写入。

scala、apache-kafka、spark-streaming、greenplum

我使用的是格林梅-火花连接器，但我正在获取数据源，io.pivotal.greenplum.spark.GreenplumRelationProvider不支持流写入。是否格林梅源不支持流媒体数据？我曾尝试将数据源命名为“绿梅”，并将"io.pivotal.greenplum.spark.GreenplumRelationProvider“转换为.format(”数据源“)

浏览 0提问于2019-04-04得票数 0

回答已采纳

点击加载更多