腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(8508)
视频
沙龙
3
回答
如何导入
sparksession
如何创建
sparksession
?scala> import org.apache.spark.SparkContext <console>:27: error: not found: value
S
浏览 128
提问于2019-08-21
得票数 5
1
回答
如何在Databricks dbfs *中列出文件密钥
、
、
、
import org.apache.hadoop.fs.Path val path = new Path(inputDir) val fs = path.getFileSystem(
sparkSession
.sparkContext.hadoopConfigurati
浏览 1
提问于2020-11-09
得票数 0
回答已采纳
5
回答
如何从现有的
SparkSession
创建SparkContext
、
、
我有一个星火应用程序,它使用Spark2.0NewAPI和
SparkSession
。我在使用SparkContext的另一个应用程序的基础上构建这个应用程序。我希望将SparkContext传递给我的应用程序,并使用现有的SparkContext初始化
SparkSession
。 然而,我却找不到办法去做这件事。我发现带有
SparkSession
的SparkContext构造函数是私有的,所以我不能以这种方式初始化它,而且构建器不提供任何setSparkContext方法。你认为有什么解决办法吗?
浏览 9
提问于2017-03-21
得票数 39
回答已采纳
2
回答
星星之火--
SparkSession
应该只是其中之一吗?
在一些示例代码中,
SparkSession
实例是单例的。这是否意味着应该只有一个
SparkSession
实例?如果有多个
SparkSession
,会发生什么?
浏览 18
提问于2017-02-06
得票数 2
回答已采纳
1
回答
火花驱动程序不会在异常情况下崩溃
、
、
、
、
我们是一个简单的scala星星之火应用程序,它从S3加载parquet文件并聚合它们:我们的应用程序完美地运行在愉快的路径上
浏览 2
提问于2021-08-07
得票数 3
回答已采纳
1
回答
如何编写从json文件读取spark应用的单元测试
、
、
、
现在,我希望我的spark应用程序只创建一个
sparkSession
并将Json文件读取到DataFrame中。object SparkAppExample { val
sparkSession
=
SparkSession
.builder() .getOrCreate() val records: DataFrame =
sparkSessi
浏览 15
提问于2020-04-10
得票数 0
1
回答
JAVA: SparkConf不能转换为SparkContext
、
、
我试图使用Java中的Spark创建一个简单的程序,并得到了以下错误: package com.example.lab;import org.apache.spark.api.java.JavaSparkContext; public static void main(String[] ar
浏览 1
提问于2018-03-07
得票数 2
1
回答
只应在驱动程序上创建和访问SparkContext。
、
我使用带有核心的Azure (10.4LTS(包括ApacheSpark3.2.1,Scala2.12))。import pyspark.pandas as pd dataframe = pd.DataFrame([300,600,900,1200,150
浏览 6
提问于2022-07-25
得票数 0
1
回答
Spark/scala使用特征中的泛型创建空数据集
、
、
trait MyTrait[T] { val spark =
sparkSession
.session val sparkContext
浏览 8
提问于2017-12-05
得票数 1
回答已采纳
1
回答
将行转换为星火中的嵌套JSON
、
、
final Column event = struct(col("timestamp").as("timestamp"), properties).as("events"); final Dataset<Row> events =
sparkSession
.readidentifier"
浏览 1
提问于2019-05-10
得票数 1
回答已采纳
1
回答
Spark和Spark SQL with Java新手
、
、
、
、
我是Spark和Spark SQL的新手,但了解Java和SQL。
浏览 11
提问于2017-08-11
得票数 0
3
回答
可以从不同的SparkSessions访问DataFrame吗?
、
、
我可以从不同的
SparkSession
%s访问DataFrame吗?
浏览 4
提问于2017-04-20
得票数 2
1
回答
如何在导入csv或txt文件时为Spark数据集设置编码器
、
、
、
val conf = new val spark =
SparkSession
.builder.appName
浏览 4
提问于2017-09-02
得票数 0
1
回答
在Python代码中获取Azure数据砖块的实例
、
我正在开发一个python包,它将部署到databricks集群中。我们经常需要引用python代码中的"spark“和"dbutils”对象。
浏览 0
提问于2019-03-22
得票数 1
回答已采纳
1
回答
如何修复一个未知的IP获取的方式访问蜂巢使用火花?
、
、
、
、
hive_server:9083 ubuntu@bayseian_nodefrom pyspark.sql import
SparkSession
, HiveContext
sparkSession
= (
SparkSession
浏览 3
提问于2019-03-26
得票数 2
回答已采纳
1
回答
在JAAS配置中找不到'KafkaClient‘条目。未设置系统属性'java.security.auth.login.config‘
、
、
、
SparkContext(conf) } val spark =
SparkSession
.getOrCreate() spark.sparkContext.addFile
浏览 19
提问于2018-08-25
得票数 0
回答已采纳
8
回答
在scala中导入spark.implicits._
、
当我将其导入如下所示的方法时: val spark =
SparkSession
()....但是我正在编写一个测试类,我想让这个导入对我尝试过的所有测试都可用: var spark:
SparkSession
= _ import spark.implicits._ spark =
SparkSessio
浏览 44
提问于2016-08-26
得票数 55
1
回答
通过在apache spark scala中编写单元测试来测试实用函数
、
、
def readParquetFile(spark:
SparkSession
, .parquet(locationPath) lazy val spark:
S
浏览 16
提问于2019-04-24
得票数 3
回答已采纳
2
回答
我们能不能使用多个火花会话来访问两个不同的蜂巢服务器?
、
、
、
val spark =
SparkSession
.builder().master("local") .config("javax.jdo.option.ConnectionURLconfig("hive.metastore.uris", "thrift://192.168.175.160:9083") .getOrCreate()
SparkSess
浏览 12
提问于2017-07-06
得票数 7
回答已采纳
1
回答
使用Spark Scala在MongoDB中保存流式数据帧
、
、
、
我正在使用Kakfa和MongoDB,我的输出(Df1)是一个流数据帧,我想把它保存到Kakfa中。有什么建议吗?非常感谢! val df= lines.selectExpr("CAST(value AS STRING)").as[(String)] .select("data.*") .format("console") .option("truncat
浏览 6
提问于2019-09-26
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
第八篇|Spark SQL百万级数据批量读写入MySQL
Flume-Kafka-SparkStreaming实战2
Zzreal的大数据笔记-SparkDay05
Spark SQL DataFrame与RDD交互
编程字典-详细的PySpark环境设置
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
活动推荐
运营活动
广告
关闭
领券