1回答
其中一个字段是地址，其中包含换行符。因此，当我使用spark读取它时，这会给我带来相当大的麻烦，在spark中，一个输入记录被分成多个记录。我想在spark中创建一个通用的解决方案。我使用scala dataframe api。
浏览 2提问于2017-11-10得票数 2
下面的代码在python中运行良好。我在用scala编写等效代码时遇到了困难Scala中对应的代码是什么？我尝试在Scala中运行下面的命令，得到下面的错误。scala> val read_rdd=sc.wholeTextFiles("/user/test/test1.txt").map(x =>
浏览 86提问于2020-02-17得票数 0
回答已采纳
我想知道如何在scala中执行以下操作？
编写SQL查询，如SELECT、UPDATE等，以修改数据库中的表。我知道如何使用scala来实现它，但是如何在打包时将psql scala的连接器jar导入sbt？
浏览 0提问于2014-07-23得票数 40
回答已采纳
我得到了以下异常： at java.lang.ProcessBuilder.start(Unknown Source)
at org.apache.spark.launcher.S
浏览 2提问于2016-05-13得票数 0
我正在尝试使用pyspark读取器读取dat文件，它包含换行符("\n")作为数据的一部分。Spark无法将此文件读入单个列，而只能将其视为新行。spark.read.csv(file_path, schema=schema, sep=delimiter,multiLine=True)
数据就是这样的。这里$是CRLF的换行符，如vim所示。如何在火花放电中读取这些数据。在spark2.2和spark2.3两种版本
浏览 0提问于2018-04-02得票数 1
回答已采纳
1回答
我试图包括火花-阿夫罗包，同时启动火花外壳，如这里提到的说明：。com.databricks:spark-avro_2.10:2.0.1封装的火花壳
我的目的是使用包中的SchemaConverter类将avro模式转换为schema类型。导入com.databricks.spark.avro._ . //colListDel是来自avsc的字段列表，由于某种功能原因，这些字段将被删除。println(SchemaConverters.toSqlType(field.schema())
浏览 3提问于2016-07-10得票数 3
回答已采纳
+= "org.apache.spark" %% "spark-core" % "2.0.0"resolvers += Re
浏览 6提问于2017-09-22得票数 0
回答已采纳
Spark2.3的文档中说spark.jars就是这样的参数：
spark.jars: Comma-separated list of jars to include on the driver and$.fetchHcfsFile(Utils.scala:724) at org.apache.spark.util.Utils$.doFetchFile(Utils.scala:692)at org.apache.spark.util.Utils
浏览 0提问于2018-05-08得票数 9
[info] Compiling 1 Scala source to /home/raghuveer/Spark/target/scala-2.10/classes...$.fetchFile(Utils.scala:253)
at org.apache.spark.executor.Executor$$anonfun$org$apache$spark$executor$org$apache$spark$exe
浏览 2提问于2014-02-27得票数 0
我遵循关于的Scala教程/* SimpleApp.scala */import org.apache.spark.SparkContext._ def main(args: Array[String]) {
val logFile" % &q
浏览 9提问于2017-11-08得票数 12
回答已采纳
1回答
我的Pom.xml <dependencies> <groupId>org.scala-lang</groupId> <version>${scala.version}</version> <dep
浏览 28提问于2021-03-28得票数 2
我们有不同类型的CSV文件，其中一些是换行符作为行分隔符，还有一些是其他自定义分隔符，如|，!..etc是行分隔符。那么如何在spark CSV数据读取中提供行分隔符。
浏览 4提问于2017-10-04得票数 1
1回答
它确实类似于，但我无法在代码中应用它(双模式或函数)。 private val spark: SparkSession) ..
浏览 1提问于2019-02-22得票数 3
1回答
我在Intellij的scala中使用spark，我使用POM导入spark。现在我想读取一个csv文件，如下所示： at demo$.main(demo.scala:12)Caused by: java.lang.ClassNotFoundException-- https://mvnrepository.com
浏览 11提问于2021-06-13得票数 0
val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc)error: object hive is not a memberof package org.apache.spark.sql从自动完成的过程中，我清楚地看到蜂巢并不存在。这是sparkSQL文档中的一个示例。
谢谢
浏览 27提问于2014-10-29得票数 12
回答已采纳
我正在尝试在spark和scala中实现神经网络，但无法执行任何向量或矩阵乘法。Spark提供了两个向量。Spark.util向量支持点运算，但已弃用。mllib.linalg向量不支持scala中的操作。如何使用mllib在spark scala中执行向量乘法，如w*x，其中w是向量或权重矩阵，x是输入。pyspark向量支持点积，但在scala</em
浏览 0提问于2016-01-20得票数 8
我实现了如下内容，如中的建议：
rate_limiter = RateLimiter(max_calls=10, period=(ApplicationMaster.scala:778) at org.apache.spark.deploy.yarn.ApplicationMaster.run(ApplicationMaster.scala:244) at org.apache.spark.deploy.yarn.
浏览 0提问于2021-02-10得票数 1
回答已采纳
当我被处决时在我的星星之火应用程序中，错误显示如下：
从日志中选择*，其中的内容如%流%^ at org.apache.spark.sql.catalyst.AbstractSparkSQLParser.apply(AbstractSparkSQLParser.sca
浏览 0提问于2015-09-29得票数 2
2回答
如何在Java中使用构建器创建sparkSession？线程"main“java.lang.NoSuchMethodError: java.lang.NoSuchMethodError中的异常org.apache.spark.util.Utils$$anonfun(Utils.scala:2373) at org.apache.spark.SparkContext.(SparkContext.scala:295) at org.apache.spark.Spa
浏览 5提问于2017-04-28得票数 1
回答已采纳
2回答
Scala映射过滤方法
、、、
我是Scala和Spark的新手。我正在尝试删除文本文件中的重复行。每行包含三列(向量值)，例如：-4.5、-4.2、2.7import org.apache.spark.SparkContextimport scala.collection.mutable.Map
object WordCount {
浏览 0提问于2017-10-14得票数 0
云服务器
ICP备案
实时音视频
对象存储
云直播
腾讯云开发者
