使用HDinsight运行spark和一个scala脚本。我正在使用intellij中的Azure插件提供的示例脚本。HdiSamples/SensorSampleData/hvac/HVAC.csv")rdd1.saveAsTextFile("wasb:///HVACout2")val df = spark.read.
浏览 12提问于2021-03-09得票数 0
1回答
方法:我用：spark-shell --master yarn --conf "spark.executor.extraClassPath=方法2
上传/示例/jars后，与第一个方法相同。$.findTightestCommonType()Lscala/Fun
浏览 4提问于2017-10-19得票数 5
2回答
我正在尝试使用spark将拼图文件从我的本地机器读写到S3。但是我似乎无法正确地配置我的spark会话来做到这一点。显然，需要进行一些配置，但我找不到关于如何进行配置的明确参考。目前，我的spark会话读取本地拼图模拟，定义如下：
val sparkSession = SparkSession.builder.master("local").appName("spark session
浏览 6提问于2017-12-05得票数 4
回答已采纳
1回答
我使用星火在HDInsight与木星笔记本。我使用%%配置“魔术”来导入包。每次该包出现问题时，都会出现以下错误：
{ "conf": {"spark.jars.pack
浏览 5提问于2017-05-03得票数 1
我不知道如何从HDInsight自动化图形runbook启动Azure Spark2.0。我有一个现有的runbook，可以使用Spark1.6与HDInsight一起工作。通常，我会将版本字符串从3.4更新到3.5，但看起来HDInsight 3.5有两个版本-一个是Spark2.0，一个是1.6。
谁能告诉我怎样才能让我的runbook使用Spark2.0版本？
浏览 2提问于2016-11-08得票数 4
1回答
这就是我想要运行的：packages = "graphframes:graphframes:0.3.0-spark2.0" # -s_2.11%set_env PYSPARK_SUBMIT_ARGS='--packages graphframes:graphframes:0.3.0-spark2.0
浏览 3提问于2016-12-12得票数 2
回答已采纳
我试图按照中的步骤在Azure HDinsight上运行Apache spark
我想知道我是必须自己管理主/从故障恢复，还是由HDinsight来处理。
浏览 0提问于2015-04-08得票数 0
1回答
我正在使用scala和storage，并且需要访问azure存储并获取它的文件列表。什么是最好的方式来做这个知道火花版本是2.11。
浏览 2提问于2018-03-17得票数 0
回答已采纳
1回答
我希望更改火花会话的默认内存、执行器和核心设置。在木星中的HDInsight集群上，我的pyspark笔记本中的第一段代码如下所示： .builder\ .config("spark.executor.instances", "2")\
.config(&quo
浏览 3提问于2017-07-21得票数 2
回答已采纳
1回答
从Blob中读取文本文件
、、、
编写了一段代码，通过spark...works在local...but中读取文本文件，在HDInsight ->中从Blob读取文本文件时生成错误。$$anonfun$fn$1$1.apply(JavaRDDLike.scala:125) at org.apache.spark.api.java.JavaRDDLike$$anonfun$fn$1$1$$anonfun$foreach$1$$anonfun$apply$28.apply(RDD.scala:927) at org.apache.spark.rdd.RD
浏览 0提问于2019-07-01得票数 1
1回答
我需要问一些Azure的问题。我想知道如何将.jar文件传递到集群中，这样您就可以从命令行集群azure启动。import scala.io.Sourceimport org.apache.spark.SparkContext._ def main(args: Array[String]) {
val textFile =count
浏览 4提问于2015-11-03得票数 0
1回答
我已经阅读了有关批处理的Microsoft Azure文档，我决定使用Spark作为批处理。我的问题是，在我们使用RDD/DF传输数据之后，下一步会做什么？我们如何将数据可视化？由于这个过程应该每天运行，一旦使用Spark完成了数据转换，我们是否需要在可视化之前将数据推送到任何类型的数据存储，如hive hdfs或cosmos？
浏览 0提问于2018-05-05得票数 2
new SparkConf().setAppName("MyApp")val sqlContext = new org.apache.spark.sql.hive.HiveContext
浏览 3提问于2016-06-03得票数 0
回答已采纳
创建作为拼图位置'wasb://sparkblob@lntsparkblobaccount.blob.core.windows.net/empparquet'；存储的外部表parquet_emp_parquet
浏览 14提问于2017-08-10得票数 0
1回答
在拼图表格中使用SPARK向时间戳列插入数据时，插入数据的方式会有所不同。CDH 5：如果我们在拼图表格时间戳列中插入2019-01-30并从配置单元中选择数据，则值为'2019-01-30 00:00:00 0'蜂窝：
如果我们在拼图表格时间戳列中插入
浏览 6提问于2020-08-21得票数 0
我想从运行在Azure上的Spark集群上的jupyter服务中使用来自的包。在本地集群中，我知道我可以这样做：export PYSPARK_SUBMIT_ARGS="-
浏览 4提问于2016-01-27得票数 3
回答已采纳
1回答
我试图读取一个阿夫罗文件使用木星笔记本在Azure HDInsight 4.0与Spark2.4。我无法正确地提供.jar文件{ "conf": {"spark.jars.packages": "com.databricks:spark-avro_2.11:4.0.0" }} pyspark.sql.ut
浏览 3提问于2019-10-25得票数 3
回答已采纳
我正在使用SparkHDInsights集群使用spark-submit命令运行一个jar。
浏览 0提问于2019-03-08得票数 2
根据微软的这个，指向外部共享Hive的所有集群都必须具有相同的HDInsight版本。这是否意味着只要集群具有相同的HDInsight版本，集群就可以具有不同的类型？因为对于相同的HDInsight版本，集群类型可以是Hadoop、Spark、Interactive等。
浏览 2提问于2019-11-03得票数 1
回答已采纳
我已经在Azure上的HDInsight中设置了一个Spark集群，我有一个服务thaqt定期将数据推入到HDInsight blob存储中，并在此基础上创建了一个Hive外部表。我能够使用木星并执行一些Spark查询并查看结果。
现在，我有了一个ASP.Net网站，它需要在用户请求时执行类似的Spark查询作业，并在网页上显示结果。我看到HDInsight星体集群集群附带了Livy，但我没有看到任何示例向我们展示如何在dotnet环境中使用它。顺便说一句，我认为这是我们需要采取的解决我
浏览 5提问于2016-04-14得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
