如何使用Spark将输出写为现有HDFS目录下的单独文件？
使用Spark将输出写为现有HDFS目录下的单独文件，可以通过以下步骤实现：
- 导入必要的Spark库和模块：
import org.apache.spark.SparkConf
import org.apache.spark.sql.SparkSession- 创建SparkSession：
val sparkConf = new SparkConf().setAppName("SparkHDFSWrite").setMaster("local")
val spark = SparkSession.builder().config(sparkConf).getOrCreate()- 读取数据并进行处理：
val data = spark.read.textFile("hdfs://<HDFS路径>")
// 进行数据处理和转换操作
val processedData = data.map(...)- 将处理后的数据写入HDFS目录下的单独文件：
processedData.write.mode("overwrite").text("hdfs://<HDFS目录>/<文件名>")其中，mode("overwrite")表示如果目标文件已存在，则覆盖原文件。
完整的示例代码如下：
import org.apache.spark.SparkConf
import org.apache.spark.sql.SparkSession
object SparkHDFSWrite {
def main(args: Array[String]): Unit = {
val sparkConf = new SparkConf().setAppName("SparkHDFSWrite").setMaster("local")
val spark = SparkSession.builder().config(sparkConf).getOrCreate()
val data = spark.read.textFile("hdfs://<HDFS路径>")
// 进行数据处理和转换操作
val processedData = data.map(...)
processedData.write.mode("overwrite").text("hdfs://<HDFS目录>/<文件名>")
}
}请注意，上述示例中的<HDFS路径>和<HDFS目录>/<文件名>需要替换为实际的HDFS路径和目录路径。
推荐的腾讯云相关产品：腾讯云对象存储（COS）
- 概念：腾讯云对象存储（COS）是一种高扩展性、低成本、可靠安全的云端存储服务，适用于存储大规模非结构化数据。
- 分类：对象存储
- 优势：高可靠性、高可用性、低成本、数据安全、灵活性、可扩展性
- 应用场景：大规模数据存储、静态网站托管、备份与恢复、多媒体存储与处理等
- 产品介绍链接地址：腾讯云对象存储（COS）
注意：以上答案仅供参考，具体实现方式可能因环境和需求而异。
相关·内容
1回答
火花作业- Scala对象是按FIFO顺序读取的，如何使其并行？
scala、apache-spark
我有一个Scala -火花程序如下所示
这里的Scala对象季节，产品，Vendor.....Groups都是按串行顺序运行的，FIFO，有没有办法使它并行？一次提交所有工作？
import org.apache.spark.SparkConf
import org.apache.spark.sql.SparkSession
object Main extends App {
var appName: String = "DataExtract"
var master: String = "local[*]"
val sparkConf: Spa
浏览 3提问于2019-10-28得票数 2
回答已采纳
2回答
使用intellij在本地运行spark
scala、apache-spark
我写了以下内容：
import org.apache.spark.SparkConf
import org.apache.spark.sql.SparkSession
object ProcessingApp extends App {
val sparkConf = new SparkConf()
.setAppName("er")
.setMaster("local")
val sparkSession: SparkSession = SparkSession.builder().config(sparkConf).getOrCre
浏览 13提问于2019-07-22得票数 1
3回答
火花:与阵列连接
scala、apache-spark、apache-spark-sql
我需要将一个带有string列的dataframe连接到一个字符串数组中，这样如果数组中的值匹配，行就会连接起来。
我试过了，但我想这不是支持。还有别的办法吗？
import org.apache.spark.SparkConf
import org.apache.spark.sql.SparkSession
val sparkConf = new SparkConf().setMaster("local[*]").setAppName("test")
val spark = SparkSession.builder().config(sparkConf).g
浏览 1提问于2017-08-07得票数 10
回答已采纳
1回答
如何修复Scala中的22: error: not found: value SparkSession？
scala、apache-spark、spark-dataframe
我是Spark的新手，我想将CSV文件读到Dataframe中。
Spark 1.3.0 / Scala 2.3.0
这就是我到目前为止所知道的：
# Start Scala with CSV Package Module
spark-shell --packages com.databricks:spark-csv_2.10:1.3.0
# Import Spark Classes
import org.apache.spark.SparkContext
import org.apache.spark.SparkConf
import org.apache.spark.sql.SQLCon
浏览 1提问于2018-04-25得票数 0
1回答
用case类从JSON数据生成类型化转换时出错
json、scala、apache-spark、apache-spark-sql、kryo
我正试图为案例类Person创建强类型数据集。这是我现在的代码：
import org.apache.spark.SparkConf
import org.apache.spark.sql.SparkSession
import scala.collection.mutable.ArrayBuffer
import org.apache.spark.sql.types._
case class Person(name: String,phone: String,address :Map[String, String])
val schema = ArrayBuffer[StructFiel
浏览 1提问于2018-03-11得票数 1
回答已采纳
1回答
如何运行，一旦我的对象在spark中创建
apache-spark
请帮帮我，我已经安装了spark，现在我正在尝试运行的代码对象是已定义的，但是下一步我有什么困惑呢？
scala> import org.apache.spark.SparkContext
import org.apache.spark.SparkContext
scala> import org.apache.spark.SparkConf
import org.apache.spark.SparkConf
scala> import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.Spark
浏览 0提问于2017-11-06得票数 0
1回答
如何用“未找到类型”修复Scala错误
scala、apache-spark
我是Scala的新手，只是想在星火中学习。现在我正在编写Scala应用程序，将csv文件从hadoop加载到dataframe中，然后我想在该dataframe中添加一个新列。有一个函数来填充那个新列的内容，为了测试函数--从csv文件中大写列，csv文件只包含一个列: emp_id和它的字符串。该函数在对象TestService中定义。我的IDE是Eclipse。现在我有了错误: not :输入TestService
非常感谢有人能帮我。
\\This is the main:
import org.apache.spark.sql.SparkSession
import org.apach
浏览 1提问于2020-03-12得票数 0
回答已采纳
1回答
如何将Spark与我的SQL数据库Scala连接
mysql、scala、apache-spark、apache-spark-sql
问题陈述：
嗨，我是星火世界的新手。我想查询MySQL数据库，然后将一个表加载到Spark中。然后，我想使用SQL查询在表上应用一些过滤器。一旦过滤了结果，我想以JSON的形式返回结果。我们必须从一个独立的Scala应用程序中完成所有这些工作。
我正在努力初始化星火上下文并得到一个错误。我知道我漏掉了一些信息。
有人能看看密码然后告诉我该怎么做吗。
代码：
import application.ApplicationConstants
import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.sql.{S
浏览 0提问于2019-08-19得票数 0
回答已采纳
1回答
只从Java中的DataFrame -火花列中提取时间戳日期
java、apache-spark
我有cloudera-快速启动-VM-5.13.0环境。在这个环境中，Hadoop和Spark已经安装好了。我已经将csv文件放入hdfs中。然后，我编写了这个java代码来读取csv，并尝试计算每天有多少出租车路线(例如，10/10/2019天有29条出租车路线，11/10/2019天有16条出租车路线等等)。Csv文件字段是：
●taxi_id
●pickup_datetime
●passengers
●pick_lon
●pick_lat
.My java代码是：
package com.bigdata.taxi;
import org.apache.spark.S
浏览 0提问于2019-12-15得票数 1
回答已采纳
1回答
火花会话的问题
scala、apache-spark
我有这个错误
“线程中的异常"main”org.apache.spark.internal.Logging.$init$(org.apache.spark.internal.Logging)‘：’org.apache.spark.sql.SparkSession$.(SparkSession.scala:787) at org.apache.spark.sql.SparkSession$.(SparkSession.scala:787) at org.apache.spark.sql.SparkSession$.(SparkSession.scala)“‘
当我试图执行
val co
浏览 5提问于2022-10-14得票数 0
1回答
星火WordCount命令行编译中的错误
scala、apache-spark、word-count
我试图使用命令行编译并运行Scala的WordCOunt程序，而没有任何Maven和sbt支持。我用来编译scala程序的命令是
scalac -classpath /spark-2.3.0-bin-hadoop2.7/jars/ Wordcount.scala
import org.apache.spark._
import org.apache.spark.SparkConf
/** Create a RDD of lines from a text file, and keep count of
* how often each word appears.
*/
object w
浏览 0提问于2018-07-18得票数 0
回答已采纳
1回答
使用Maven Got错误测试Spark Scala : java.lang.NoClassDefFoundError
scala、maven、apache-spark、noclassdeffounderror、scala-ide
我试着用Maven在Scala IDE (eclipse)上测试Spark Scala，但总是出错：
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream
at org.apache.spark.SparkConf.loadFromSystemProperties(SparkConf.scala:73)
at org.apache.spark.SparkConf.<init>(SparkConf.scala:6
浏览 209提问于2018-08-17得票数 0
1回答
输出为空
dataframe、scala、apache-spark、databricks、azure-databricks
我是斯卡拉的新手。我已经写了一个样本代码，从csv阅读后，从网站参考。我正在执行Databricks中的代码。这是样品
import org.apache.spark.sql.SparkSession
import org.apache.spark.SparkConf
import java.io.FileNotFoundException
import java.io.IOException
import spark.implicits._
import org.apache.spark.sql.types._
import org.apache.spark.sql.func
浏览 4提问于2022-07-22得票数 -1
1回答
使用scala从HDFS读取输入xml数据
xml、scala、apache-spark、spark-dataframe
我正在尝试使用Scala中的Xml load来解析Xml文件。但是这个程序不能从HDFS读取输入数据。它只能从本地文件系统读取。
有人可以帮助我如何从HDFS读取输入数据。
我试过下面的程序：
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import scala.collection.mutable.WrappedArray
import scala.collection.immutable.HashMap
import scala.collection.immutable.HashMap
imp
浏览 12提问于2017-03-16得票数 0
1回答
Scala异常
scala、apache-spark、sbt
我正在学习Scala编程，使用Windows7和最新的Spark2.2.0版本在Apache .I am中编写单词计数驱动程序。在执行程序时遇到下面提到的错误。
如何修正和取得结果？
SBT
命名为:=“:=”版本:= "0.1“scalaVersion：= "2.12.3”val sparkVersion = "2.2.0“libraryDependencies ++= Seq( "org.apache.spark”%“火花-核心2.11”% sparkVersion，"org.apache.spark“%”火花-sql_2.11% sparkVer
浏览 1提问于2017-09-24得票数 0
回答已采纳
4回答
将Spark连接到多个Mongo集合
mongodb、apache-spark
我有以下MongoDB集合：employee和details。
现在我有了一个需求，我必须将两个集合中的文档放入spark中以分析数据。
我尝试了下面的代码，但似乎不起作用
SparkConf conf = new SparkConf().setAppName("DBConnection").setMaster("local[*]")
.set("spark.app.id","MongoSparkExample")
.set("spark.mongodb.in
浏览 0提问于2017-03-28得票数 1
3回答
如何在不使用Scala case类的情况下为CSV文件指定模式？
scala、apache-spark、apache-spark-sql
我正在将CSV文件加载到DataFrame中，如下所示。
val conf=new SparkConf().setAppName("dataframes").setMaster("local")
val sc=new SparkContext(conf)
val spark=SparkSession.builder().getOrCreate()
import spark.implicits._
val df = spark.
read.
format("org.apache.spark.csv").
option("h
浏览 0提问于2016-11-17得票数 15
回答已采纳
3回答
解析并显示.config("spark.some.config.option“、”some“)的.getOrCreate()
json、scala、apache-spark、apache-spark-sql
我是SparkSQL的新手，我试图解析和显示JSON文件的数据。所以我的问题是，我无法理解下面给出的代码中的第2行，为什么构建器函数不像文档(.setAppName而不是.appName等)我已经说过了吗？在我的代码第2行中添加的"some-value").getOrCreate()是什么意思？如果有人能帮助我理解这一点，我会发自内心地感激你。
employee.json
{"name":"John", "age":28}
{"name":"Andrew", "age":36}
{&
浏览 9提问于2017-08-11得票数 0
回答已采纳
2回答
从多个MongoDB读取以形成数据集
mongodb、apache-spark、apache-spark-sql
我想从2个不同的Mongo数据库中创建2个数据集。我目前使用的是官方的MongoSpark连接器。sparkSession的启动方式如下。
SparkConf sparkConf = new SparkConf().setMaster("yarn").setAppName("test")
.set("spark.mongodb.input.partitioner", "MongoShardedPartitioner")
.set(
浏览 2提问于2017-02-16得票数 3
1回答
当我尝试以csv格式将.xlsx文件作为DataFrame读取时，会发生此错误。有谁能帮我一下，这里有什么问题，怎么解决？下面是我使用的代码，
package Sample
import org.apache.spark.sql{SparkSession, SparkContext}
import org.apache.spark.SparkConf
Object Read extends App {
val conf = new SparkConf()
.setAppName("Excel to DataFrame")
.setMaster("local[*]&
浏览 6提问于2020-02-07得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
活动推荐
腾讯云开发者
