腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(8508)
视频
沙龙
3
回答
如何导入
sparksession
apache-spark
如何创建
sparksession
?scala> import org.apache.spark.SparkContext <console>:27: error: not found: value
S
浏览 128
提问于2019-08-21
得票数 5
1
回答
如何在Databricks dbfs *中列出文件密钥
apache-spark
、
hadoop
、
filesystems
、
azure-databricks
import org.apache.hadoop.fs.Path val path = new Path(inputDir) val fs = path.getFileSystem(
sparkSession
.sparkContext.hadoopConfigurati
浏览 1
提问于2020-11-09
得票数 0
回答已采纳
5
回答
如何从现有的
SparkSession
创建SparkContext
scala
、
apache-spark
、
apache-spark-2.0
我有一个星火应用程序,它使用Spark2.0NewAPI和
SparkSession
。我在使用SparkContext的另一个应用程序的基础上构建这个应用程序。我希望将SparkContext传递给我的应用程序,并使用现有的SparkContext初始化
SparkSession
。 然而,我却找不到办法去做这件事。我发现带有
SparkSession
的SparkContext构造函数是私有的,所以我不能以这种方式初始化它,而且构建器不提供任何setSparkContext方法。你认为有什么解决办法吗?
浏览 9
提问于2017-03-21
得票数 39
回答已采纳
2
回答
星星之火--
SparkSession
应该只是其中之一吗?
apache-spark
在一些示例代码中,
SparkSession
实例是单例的。这是否意味着应该只有一个
SparkSession
实例?如果有多个
SparkSession
,会发生什么?
浏览 18
提问于2017-02-06
得票数 2
回答已采纳
1
回答
火花驱动程序不会在异常情况下崩溃
scala
、
apache-spark
、
amazon-s3
、
kubernetes
、
parquet
我们是一个简单的scala星星之火应用程序,它从S3加载parquet文件并聚合它们:我们的应用程序完美地运行在愉快的路径上
浏览 2
提问于2021-08-07
得票数 3
回答已采纳
1
回答
如何编写从json文件读取spark应用的单元测试
scala
、
unit-testing
、
apache-spark
、
mocking
现在,我希望我的spark应用程序只创建一个
sparkSession
并将Json文件读取到DataFrame中。object SparkAppExample { val
sparkSession
=
SparkSession
.builder() .getOrCreate() val records: DataFrame =
sparkSessi
浏览 15
提问于2020-04-10
得票数 0
1
回答
JAVA: SparkConf不能转换为SparkContext
java
、
hadoop
、
apache-spark
我试图使用Java中的Spark创建一个简单的程序,并得到了以下错误: package com.example.lab;import org.apache.spark.api.java.JavaSparkContext; public static void main(String[] ar
浏览 1
提问于2018-03-07
得票数 2
1
回答
只应在驱动程序上创建和访问SparkContext。
pyspark
、
azure-databricks
我使用带有核心的Azure (10.4LTS(包括ApacheSpark3.2.1,Scala2.12))。import pyspark.pandas as pd dataframe = pd.DataFrame([300,600,900,1200,150
浏览 6
提问于2022-07-25
得票数 0
1
回答
Spark/scala使用特征中的泛型创建空数据集
scala
、
apache-spark
、
scala-reflect
trait MyTrait[T] { val spark =
sparkSession
.session val sparkContext
浏览 8
提问于2017-12-05
得票数 1
回答已采纳
1
回答
将行转换为星火中的嵌套JSON
java
、
json
、
apache-spark
final Column event = struct(col("timestamp").as("timestamp"), properties).as("events"); final Dataset<Row> events =
sparkSession
.readidentifier"
浏览 1
提问于2019-05-10
得票数 1
回答已采纳
1
回答
Spark和Spark SQL with Java新手
java
、
apache-spark
、
apache-spark-sql
、
data-migration
、
bigdata
我是Spark和Spark SQL的新手,但了解Java和SQL。
浏览 11
提问于2017-08-11
得票数 0
3
回答
可以从不同的SparkSessions访问DataFrame吗?
apache-spark
、
dataframe
、
apache-spark-sql
我可以从不同的
SparkSession
%s访问DataFrame吗?
浏览 4
提问于2017-04-20
得票数 2
1
回答
如何在导入csv或txt文件时为Spark数据集设置编码器
csv
、
apache-spark-mllib
、
apache-spark-dataset
、
implicits
val conf = new val spark =
SparkSession
.builder.appName
浏览 4
提问于2017-09-02
得票数 0
1
回答
在Python代码中获取Azure数据砖块的实例
apache-spark
、
azure-databricks
我正在开发一个python包,它将部署到databricks集群中。我们经常需要引用python代码中的"spark“和"dbutils”对象。
浏览 0
提问于2019-03-22
得票数 1
回答已采纳
1
回答
如何修复一个未知的IP获取的方式访问蜂巢使用火花?
python
、
amazon-web-services
、
apache-spark
、
hive
、
pyspark
hive_server:9083 ubuntu@bayseian_nodefrom pyspark.sql import
SparkSession
, HiveContext
sparkSession
= (
SparkSession
浏览 3
提问于2019-03-26
得票数 2
回答已采纳
1
回答
在JAAS配置中找不到'KafkaClient‘条目。未设置系统属性'java.security.auth.login.config‘
apache-spark
、
apache-kafka
、
jaas
、
spark-structured-streaming
SparkContext(conf) } val spark =
SparkSession
.getOrCreate() spark.sparkContext.addFile
浏览 19
提问于2018-08-25
得票数 0
回答已采纳
8
回答
在scala中导入spark.implicits._
scala
、
apache-spark
当我将其导入如下所示的方法时: val spark =
SparkSession
()....但是我正在编写一个测试类,我想让这个导入对我尝试过的所有测试都可用: var spark:
SparkSession
= _ import spark.implicits._ spark =
SparkSessio
浏览 44
提问于2016-08-26
得票数 55
1
回答
通过在apache spark scala中编写单元测试来测试实用函数
scala
、
unit-testing
、
apache-spark
def readParquetFile(spark:
SparkSession
, .parquet(locationPath) lazy val spark:
S
浏览 16
提问于2019-04-24
得票数 3
回答已采纳
2
回答
我们能不能使用多个火花会话来访问两个不同的蜂巢服务器?
scala
、
apache-spark
、
hive
、
apache-spark-sql
val spark =
SparkSession
.builder().master("local") .config("javax.jdo.option.ConnectionURLconfig("hive.metastore.uris", "thrift://192.168.175.160:9083") .getOrCreate()
SparkSess
浏览 12
提问于2017-07-06
得票数 7
回答已采纳
1
回答
使用Spark Scala在MongoDB中保存流式数据帧
mongodb
、
eclipse
、
scala
、
apache-spark
我正在使用Kakfa和MongoDB,我的输出(Df1)是一个流数据帧,我想把它保存到Kakfa中。有什么建议吗?非常感谢! val df= lines.selectExpr("CAST(value AS STRING)").as[(String)] .select("data.*") .format("console") .option("truncat
浏览 6
提问于2019-09-26
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
第八篇|Spark SQL百万级数据批量读写入MySQL
Flume-Kafka-SparkStreaming实战2
Zzreal的大数据笔记-SparkDay05
Spark SQL DataFrame与RDD交互
编程字典-详细的PySpark环境设置
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券