spark ()函数在spark中做什么_spark 窗口函数_Spark SQL在Spark Streaming (KafkaStream)中失败 - 腾讯云开发者社区

scala、apache-spark

我将数据加载到RDD中，然后运行一个map函数，并在其中发送一个拆分函数。我希望行是按单词拆分的。例如： val testRDD = sc.textFile("file.txt"); val splitRDD = testRDD.map(x => x.split("|")) 我在newRDD中期望的值是

浏览 9提问于2019-04-28得票数 2

回答已采纳

2回答

Scala火花-将RDD[List[scala.Double]]转换为RDD[scala.Double]

scala、apache-spark

我正在调用mllib Statistics.corr()函数并接收以下错误： (x: org.apache.spark.api.java.JavaRDDjava.lang.Double，y: org.apache.spark.api.java.JavaRDDjava.lang.Double，方法: String)scala.Double (x: org.apache.spark.rdd.RDDscala.Double，y: org.apache.spark.rdd.RDDscala.Double，方法:

浏览 6提问于2015-09-21得票数 1

回答已采纳

1回答

为什么使用sparklyr将R lubridate::duration数据类型转换为spark中的字符？

r、apache-spark、lubridate、duration、sparklyr

在R中，这将导致duration数据类型，然后可以将其转换为numeric数据类型，如下面的示例所示。dur_num1 2021-01-01 2021-01-05 4 days 4使用sparklyr在Spark请忽略从本地R转换到Spark时的日期更改，这是由于时区的差异造成的。to Spark df_spark <

浏览 23提问于2021-02-17得票数 1

1回答

星火的构型和env变量之间有什么区别？

apache-spark、admin

有些配置我混淆了，比如spark.dynamicAllocation.minExecutors = 3SPARK_WORKER_DIR=/home/knoldus/work/sparkdata 我将在哪里使用火花-env.sh或火花-defaults.conf在</e

浏览 2提问于2017-04-16得票数 1

1回答

如果一个文件已经多次读取，为什么Scala需要更少的时间来读取它呢？

scala、apache-spark

在Scala中，我执行以下操作： def getDfFromFile(path: String, spark: SparkSession) = { .read .option("inferSchema很明显，时间的增加在N中

浏览 0提问于2019-04-08得票数 0

1回答

在UDT上激发SQL表达式

apache-spark、apache-spark-sql、spark-dataframe

我想在Spark表达式中使用它，例如UDTName * 10.3。我的UDT不仅仅是一个简单的数字，它是一个复杂的类型，它对+-/*有自己的重写函数。我无法用标准scala类型实现我想要的逻辑。我尝试在Spark1.6.0中的Spark表达式中使用这个表达式，并得到了以下结果：无法解析“(UDTName*10.0)”，原因是数据类型不匹配：“(udttype *10.0)”(udttype*10.0)中的不同类型(udttype和double)。我可以<e

浏览 2提问于2016-01-18得票数 2

回答已采纳

1回答

如何在spark-2.1.1- bin -hadoop2.7的bin文件夹之外运行spark-job

maven、apache-spark、apache-spark-2.0

我有一个现有的spark-job，这个spark-job的功能是连接kafka-server获取数据，然后将数据存储到cassandra tables中，现在这个spark-job是在spark-2.1.1-bin-hadoop2.7/bin内的服务器上运行的，但是每当我试图从其他位置运行这个spark-job时，它没有运行，这个spark-job包含一些JavaRDD相关的代码。有没有可能，我也可以通过在pom或其他地方添

浏览 1提问于2017-05-22得票数 0

1回答

对象火花不是包org的成员。

scala、apache-spark、sbt、scala-ide

在中导入以下内容时import org.apache.spark.SparkContext._我安装了sbt-0.13.9.msiname := "scala-spark-app" scalaVe

浏览 3提问于2015-11-26得票数 10

2回答

SparkSession总是使用Hive上下文吗？

apache-spark、hive、apache-spark-sql

我可以使用SparkSession获取Hive中的表列表，或者访问Hive表，如下面的代码所示。现在我的问题是，在这种情况下，我是否在使用带有Hive上下文的Spark？或者，要在Spark中使用hive上下文，我必须直接使用HiveContext对象访问表，并执行其他与Hive相关的功能吗？spark.catalog.listTables.show val personnelTable = spark.catalog.getTable("personnel")

浏览 9提问于2017-10-24得票数 3

回答已采纳

1回答

在sbt中，我们如何指定依赖于哪个火花的hadoop版本？

scala、apache-spark、sbt

我有一个sbt项目，它使用星星之火和火花sql，但是我的集群使用Hadoop1.0.4和Spark-SQL1.2，目前我的build.sbt如下所示： "org.apache.spark" % "spark-core_2.10" % "1.2.1","

浏览 3提问于2015-06-16得票数 2

回答已采纳

1回答

Apache执行者站立集群

apache-spark、apache-zeppelin

我尝试在Spark解释器中设置spark.executor.instances，spark.executor.memory，但似乎都没有工作。谢谢，-菲尔

浏览 2提问于2016-12-13得票数 0

回答已采纳

1回答

当合并= 1时，加快星火书写速度？

apache-spark、parquet

任务的目的是将许多小文件连接到s3中的每个单元样式分区的单个文件中。我的代码非常简单，但运行非常慢。spark://foobar \ --conf spark.dynamicAllocation.enabled=true \ --conf spark.dynamicAllocation.minExecu

浏览 0提问于2018-04-10得票数 2

3回答

尝试运行Spark时出错

linux、git、apache-spark

我是spark的新手。我已经下载了为hadoop版本2.6预建的spark版本1.3.1。我解压并导航到该文件夹，然后键入以下命令：./bin/spark-shell，对于该命令，我得到一个错误，指出没有找到spark-shell命令。我使用git bash在windows上做了同样的事情，我得到了一个错误消息：在尝试运行spark之前，我还需要做什么吗？

浏览 1提问于2015-05-09得票数 4

回答已采纳

2回答

纱线上的火花；如何将指标发送到石墨水槽？

scala、hadoop、apache-spark

我是spark的新手，我们在纱线上运行spark。我可以很好地运行我的测试应用程序。我正在尝试收集Graphite中的spark指标。我知道要对metrics.properties文件做什么更改。但是我的spark应用程序将如何查看这个conf文件呢？/xxx/spark/spark-0.9.0-incubating-bin-hadoop2/bin/spark-cla

浏览 0提问于2014-05-08得票数 6

1回答

自定义标签在拉拉维尔火花模板？

javascript、php、laravel、frontend、laravel-spark

在Laravel中，许多供应商模板都包含类似自定义标记的内容。例如，下面的<spark-update-profile-photo/>标记。#File: resources/views/vendor/spark/settings/profile/update-profile-photo.blade.php</spa

浏览 2提问于2017-04-22得票数 0

回答已采纳

3回答

火花:执行器心跳超时

apache-spark、pyspark、azure-databricks

我正在一个数据库集群中工作，该集群具有内存的240GB和64个核心。这是我定义的设置。("spark.sql.shuffle.partitions", 1000)spark.conf.set("spark.driver.memory", "20g") spark.conf.set("spark.network.timeout"

浏览 8提问于2020-03-31得票数 2

1回答

如何从applications.properties(配置文件)调用Spark函数(带参数)？

scala、function、apache-spark、config、typesafe-config

QualityCheck/Data .getOrCreate() 现在我已经在我的spark代码中定义了某些函数(func1、func2等)。arg4,arg5 dev.func2.arg2.lis = arg6,arg

浏览 26提问于2021-03-23得票数 1

回答已采纳

1回答

无法访问码头中的火花节点

docker、apache-spark

我正在使用这个设置()来建立星火集群，但是这里提到的I中没有一个像通过浏览器访问的10.5.0.2区域和超时。我不知道我在做什么？ENV DAEMON_RUN=trueENV HADOOP_VERSION=3.2ENV SC

浏览 4提问于2020-07-22得票数 1

回答已采纳

1回答

在spark-avro中找不到架构注册表的to_avro函数

scala、apache-spark、apache-kafka、avro

我正在尝试使用以下文档向kafka接收器写入内容：https://docs.databricks.com/spark/latest/structured-streaming/avro-dataframe.html#example-with-schema-registry 但是，我在spark-avro(https://mvnrepository.com/artifact/org.apache.spark/s

浏览 19提问于2020-08-06得票数 0

回答已采纳

1回答

添加到字符串Spark列表

java、json、apache-spark、spark-streaming、rdd

我有以下Java Spark代码： //do some operations }); } 我想对每条消息进行迭代，将消息添加到我的列表中，我是Spark的新手，我试图理解为什么在rdd.fo

浏览 1提问于2018-07-05得票数 2

点击加载更多

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云