腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Apache
Spark
+
cassandra+Java
+
Spark
session
显示
所有
记录
apache-spark
、
apache-spark-sql
、
spark-cassandra-connector
我正在做一个Spring Java项目,使用Datastax连接器集成
Apache
spark
和cassandra。 我已经自动连接了sparkSession,下面的几行代码似乎可以正常工作。table", tableName.toLowerCase()); Dataset<Row> ds = sparkSession.sqlContext().read().format("org.
apache
.
spark
.sql.cassandra").options(configMa
浏览 14
提问于2020-06-25
得票数 0
4
回答
解析行并从
Spark
Dataframe中隔离学生
记录
python-3.x
、
pyspark
我的学生数据库在表Student中有每个学生的多条
记录
。from pyspark.sql import SparkSession .builder \ .config("
s
浏览 48
提问于2019-10-23
得票数 0
1
回答
火花卡桑德拉连接器基简易程序获取火花测井误差
java
、
apache-spark
、
cassandra
所有
解决火花
记录
问题的解决方案都指向更旧的版本。这对我们来说不是一个实际的解决办法,因为我们需要为今后的发展找到这个办法。/
spark
/logging noclassdeffound error <groupId>org.<em
浏览 2
提问于2018-06-27
得票数 0
3
回答
在Scala程序中减少
Spark
的日志输出
scala
、
apache-spark
、
logback
、
scala-logging
我正在编写一个遵循this example的Scala /
Spark
程序。我的工具是IntelliJ和sbt。(我没有使用scala
spark
shell。)我正在使用scala-logging和logback-classic,我需要减少
Spark
的日志
记录
,或者将
spark
日志
记录
定向到不同的.log文件。更糟糕的是,
Spark
log输出来自几个不同的包(org.
apache
.
spark
、o.a.h.m.lib、o.
浏览 71
提问于2019-01-18
得票数 2
1
回答
如何限制Eclipse控制台中
显示
的
spark
详细信息?
eclipse
、
scala
、
apache-spark
我正在用
Spark
编写一些单元测试用例,然后在Eclipse中运行。Eclipse控制台id正确地
显示
了数据帧的内容,但在过程中也
显示
了许多与执行状态相关的行,这是我不需要的: [Stage 1:====>例如,通过添加以下行: import org.
apache
.log4j.Logger Logger.getLogger(&
浏览 11
提问于2021-04-05
得票数 0
3
回答
如何在不执行的情况下验证
Spark
SQL表达式?
apache-spark
、
apache-spark-sql
我想验证一下
spark
-sql查询在语法上是否正确,而不是在集群上实际运行该查询。实际的用例是,我正在尝试开发一个用户界面,它接受用户输入
spark
-sql查询,并且我应该能够验证所提供的查询在语法上是否正确。此外,如果在解析查询之后,我可以就
spark
最佳实践给出关于查询的任何建议。
浏览 2
提问于2017-10-27
得票数 9
1
回答
基于火花版本的
Spark
- Load jar
apache-spark
、
pyspark
、
jar
我们希望以一种版本不可知的方式为我们的
spark
作业加载org.
apache
.
spark
:
spark
-avro_2.12包。org.
apache
.
spark
:
spark
-avro_2.12:3.1.2org.
apache
.
spark
:
spark
-avro_2.12:3
浏览 18
提问于2021-11-02
得票数 1
1
回答
SparkSession变量是由星火壳(scala)执行的,是val还是var?
scala
、
apache-spark
、
apache-spark-sql
、
spark-shell
spark
.conf.set("
spark
.sql.
session
.timeZone", "UTC") 该方法签名是否应该包含(
Spark
: org.
apache
.
spark
.sql.SparkSession)作为参数,所以我总是可以从显式代码语句开始,将时区设置为UTC为SparkSession,而不冒任何风险(
所有
分布式星火节点可能有或可能没有完全相同的时区配置)?目前,我的方法签名需要两个输入参数(org.
apa
浏览 5
提问于2020-02-24
得票数 0
回答已采纳
1
回答
如何让AWS EMR集群上的
Spark
driver和executor自定义log4j.properties生效?
amazon-web-services
、
apache-spark
、
log4j
、
amazon-emr
","Properties":{"log4j.logger.org.
apache
.
spark
.cluster":"ERROR","log4j.logger.com.foo":"INFO","log4j.logger.org.
apache
.zookeeper":"ERROR","log4j.appender.stdout.layout":"org.
apach
浏览 38
提问于2021-04-12
得票数 2
回答已采纳
1
回答
从scala.collection.immutable.Iterable[org.
apache
.
spark
.sql.Row]到DataFrame?
scala
、
apache-spark
、
apache-spark-sql
、
spark-dataframe
、
scala-collections
<and> (rdd: org.
apache
.
spark
.rdd.RDD[_],beanClass: Class[_])org.
apache
.
spark
.sql.DataFrame <and>(rows: java
浏览 0
提问于2017-10-12
得票数 0
1
回答
为什么
spark
告诉我“name 'sqlContext‘is not defined”,如何使用sqlContext?
apache-spark
、
apache-spark-sql
我试着运行
spark
-ml的例子,但是import pyspark.sql sc = SparkContext(appName="
浏览 2
提问于2016-11-14
得票数 8
1
回答
火花并行化集合
python
、
apache-spark
、
rdd
我对火花很陌生,我不能运行并行化集合,这是我的代码: '
Apache
', '
Spark
', 'is', 'an', 'open-source', 'cluster-computing', 'framework', '
Apache
', '
Spark</e
浏览 3
提问于2020-05-20
得票数 0
2
回答
可以在cql脚本的cql命令中使用变量吗?
cassandra
、
cql
、
cqlsh
在CQL脚本中使用CQL命令时,是否有一种方法可以在CQL命令中传递变量,如:欢迎提出任何建议。
浏览 1
提问于2015-05-21
得票数 8
1
回答
当groupBy在火花中时,转换变慢
scala
、
apache-spark
、
hive
我是新来的火花,我有一个表包含100 cr的数据在表中。表模式是: 名为varchar工资双 为此,我编写了以下代码: Row(row.getInt(0), row.getString(1), row.getInt(2), row.getDo
浏览 0
提问于2016-09-28
得票数 0
1
回答
用JavaSpark2.1.1阅读嵌套Json (
Spark
2.2有解决方案,但我正在开发SPAK2.1.1版本)
apache-spark
、
apache-spark-sql
我想用下面提到的数据在
spark
中创建一个表。0.303, "empdate": "08/14/2018",}] 但是,当我试图查看打印模式时,它
显示
的是那么,请您帮我一个人,如何读取2.1.1中嵌套的JSON
记录
,我将附加我的代码。
浏览 2
提问于2019-03-05
得票数 0
回答已采纳
1
回答
如何将每个RDD分区限制为只有'n‘个
记录
?
java
、
apache-spark
有没有办法让我指定每个JavRDD分区只有'n‘个
记录
?
浏览 7
提问于2019-09-20
得票数 0
1
回答
PySpark无法从Pycharm读取本地Avro文件
apache-spark
、
pyspark
getOrCreate() .format("org.
apache
.
spark
.sql.avro.AvroFileFormat") \.load("avro-to-orc-jobs/association-complete-rebuild/avro") ╰─ venv/bin/
spark
-submit --packages org.
apache
.
spark</
浏览 1
提问于2021-11-03
得票数 1
1
回答
如何在
显示
亚马逊S3分区表的计数和模式时修复亚马逊网络服务胶水代码
python
、
amazon-web-services
、
pyspark
、
etl
、
aws-glue
我正在尝试对
记录
进行计数并打印我的分区表的模式(以拼接的形式)。我只是在AWS Glue控制台中执行此操作(因为我无法连接到开发人员端点)。然而,我认为我的查询没有产生任何结果。请参阅下面的代码。
浏览 19
提问于2019-06-28
得票数 0
1
回答
使用docker中的scala从mongodb读取数据到
spark
。得到0条
记录
,为什么?
mongodb
、
scala
、
docker
、
apache-spark
、
apache-spark-sql
尝试将数据加载到
spark
时获得零
记录
。printSchema
显示
根目录。我验证了该集合
显示
了24条具有多个属性的
记录
。脚本: import org.
apache
.
spark
.sql.SparkSession builder().appName("
Spark
SQL basic example"). config("
spark<
浏览 20
提问于2021-08-02
得票数 0
1
回答
数据集不
显示
任何列
apache-spark
、
apache-spark-dataset
当我执行dataset.show()时,它
显示
所有
空白,列长度
显示
0。代码:import org.
apache
.
spark
.api.java.JavaRDD;import org.
apache
.
spark
.api.java.f
浏览 0
提问于2018-09-12
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
pyspark 安装
Flume-Kafka-SparkStreaming实战2
Spark-2
一文读懂Apache Spark
简化TensorFlow和Spark互操作性的问题:LinkedIn开源Spark-TFRecord
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券