Spark Scala新手，我只想读取一个json文件并将内容发布到外部rest api服务器。有人能提供一个简单的例子吗？或者提供指导？
浏览 22提问于2019-06-20得票数 0
回答已采纳
我想使用Spark REST API来获取指标并发布到云手表。但RESR API类似于：如果我给出了主主机和应用程序id，它可以工作，但是我如何在作业中使用它并动态地计算我们的主主机和应用程序名呢？使
浏览 3提问于2018-01-06得票数 1
回答已采纳
2回答
我想通过REST API运行Spark作业，并且我想使用Scala for Spark。我有一个混合的Java & Scala项目和Spring框架。我可以调用Scala方法来创建SparkContext并通过REST API完成一些工作。设置主遥控器而不是本地遥控器时出现问题。到目前为止，我能找到的解决方案是创建一个fat-jar并执行conf.setJars(...)，或者通过类似Pro
浏览 0提问于2016-08-12得票数 2
1回答
要使用spark.read.json阅读，我没有发现任何可以提供请求参数的内容。我们还能用它吗？通常，我只使用scalaj-http和play-json库使用Scala读取JSON，如下所示： .postData(body.toString()) 我的
浏览 2提问于2019-12-02得票数 1
回答已采纳
我正在设置mysql manager 1.10.x和DAS3.0.1，以便使用wso2发布API统计数据。我的API管理器系统与单独的VM上的网关工作节点群集在一起。我遵循以下文档，通过UI为API管理器启用分析。我还按照本文档手动启用了对网关工作节点的分析。安装完成后，我重新启动了所有服务器，一切似乎都很正常。但是当我从网关工作者日志向发布的API发出请求时，我看不到它向DAS接收器发布<
浏览 2提问于2017-06-01得票数 1
最简单的方法是加载JSON字符串，并从fields数组中获取"name"和"type"。然后生成CREATE SQL查询。我想知道是否有任何编程方法可以使用任何API来做到这一点。示例模式- { "name" : "kylosample",
浏览 7提问于2019-06-04得票数 1
8回答
我正在尝试使用Java和Akka创建我自己的基于REST的API。我已经使用Akka创建了我的主要算法实现。我的困惑是如何实现剩下的部分。我所见过的大多数示例和库都是专门针对Scala的，而我目前正试图远离Scala。
我知道Scala是个不错的选择，但我认为它应该是Scala的。然而，我知道Scala
浏览 1提问于2013-01-29得票数 11
1回答
是否可以向数据库作业提交/配置spark python脚本(.py)文件？ 我在Pycharm IDE中进行开发，然后将代码推送/提交到我们的gitlab存储库。我的需求是，当python脚本移动到GitLab主分支时，我需要在databricks集群中创建新作业。我想得到一些建议，如果有可能创建一个python脚本上的数据库作业，使用gitlab.yml脚本？在databricks Job UI中，我可以看到可以使用的spark jar或notebook，但不知道是
浏览 17提问于2019-09-06得票数 3
有人能为我提供一些尚未在Apache Spark中实现的示例Java API吗?我正在尝试查看，如果我决定使用Java API，是否有任何“不存在/功能有限”的Scala Spark API。对我来说，这将是一个破坏交易的因素。免责声明:根据我的谷歌搜索/分析，我意识到Scala社区对Apache Spark的</em
浏览 0提问于2016-07-20得票数 0
1回答
我正在努力弄清楚如何使用外部库。我有一个在Spark上成功运行的程序，现在我正在尝试导入外部库。我使用的是virtualenv，每次我提交它时，都会抱怨它找不到文件。以下是我尝试过的许多提交命令之一：
/path/to/spark-1.1.0-bin-hadoop2.4/bin/spark-submit ua_analysis.py --py-files `pwd`$$anon$1.read(Pytho
浏览 1提问于2014-10-04得票数 4
回答已采纳
2回答
我有一个现有的Scala应用程序，它有一个REST调用另一个外部REST。我希望模拟返回假JSON数据的外部Web服务，以便进行内部测试。基于来自：的示例import play.api.test._
import sc
浏览 1提问于2017-07-11得票数 1
我正在尝试构建一个能够读取unix实用程序的输出流的Spark流媒体应用程序。从标准输入创建DStream的最佳方法是什么？如何将外部实用程序的流输出重定向/管道到Spark Streaming DStream？我使用Scala，我意识到rdd.pipe()可能没有帮助，因为它首先使用从rdd读取数据的命令。谢谢!我最初的问题发布在Spark</
浏览 0提问于2015-06-12得票数 2
1回答
给定由some_field (整型)分区的Hive表，数据存储为Avro文件，我想使用Spark SQL查询表的方式，返回的数据帧必须已经由some_field分区(用于分区)。查询看起来就像默认情况下，Spark不会这样做，返回的data_frame.rdd.partitioner为None。获取结果的一种方法是在查询后显式重新分区，但可能还有更好的解决方案。
HDP 2.6，Spark</
浏览 0提问于2017-11-09得票数 3
2回答
随着新的spark 1.3的发布，我很高兴尝试JDBC函数(在Python中)。但是，我认为，在我遇到错误的时候，帮助不是可选的：
SPARK_CLASSPATH=/jdbc_path/some-jdbc-driver.jar箱/火花壳
在PySpar
浏览 1提问于2015-03-24得票数 0
我有一个spark作业，我通常使用spark-submit和输入文件名作为参数来运行它。现在我想让工作对团队可用，这样人们就可以提交一个输入文件(可能通过一些web-API)，然后spark作业将被触发，它将返回给用户结果文件(也可能是通过web-API)。(我使用的是Java/Scala)
在这种情况下，我需要构建什么才能触发spark作业？有什么教程吗？我应该在这种情况下使用spark-streaming吗？谢谢!
浏览 0提问于2015-06-16得票数 0
仅针对PySpark的这个问题没有得到回答。所以我再问一次。我正在使用来自wordcount.py的PySpark做一个简单的示例。 at org.apache.spark.api.python
浏览 0提问于2018-10-29得票数 1
我是Scalatra的新手。我一直在用Spark做实验我想将Spark与Scalatra web界面集成在一起。到目前为止，我发现了两个将Scalatra与Spark集成的代码示例。其中一个来自Github (链接如下)，似乎不遵循Scalatra文档的标准构建配置，因此我无法使用该模型创建新的Scalatra-Spark项目。我自己尝试集成一个简单的Spark操作得到以下错误：
浏览 1提问于2014-07-26得票数 1
我正在Java中运行一个简单的星火程序(IDE :Eclipse露娜，Maven)。我的示例程序是import org.apache.spark.api.java.JavaSparkContext;
scala/xml&#
浏览 8提问于2015-05-05得票数 7
回答已采纳
我想调用一个web服务来获取Spark Structured Streaming中的一些数据。有可能吗？多么?
浏览 0提问于2019-12-07得票数 5
1回答
我使用Spark2.2.0。问题试图通过创建自定义接收器来回答非结构化流和scala的问题。 .format("s3-sqs") \ .option("queueUrl", ...) \ .load(
浏览 3提问于2017-12-28得票数 15
回答已采纳
云服务器
ICP备案
云直播
腾讯会议
对象存储
腾讯云开发者
