1回答
星星之火SQL异常处理
、、、、
为了处理RDD操作中的Spark，我可以使用以下方法对其他exceptions列进行处理：castExcepDf.show()例如，除以0将得到null值，而不是错误。在我看来--在Spar
浏览 1提问于2019-11-12得票数 9
回答已采纳
我想使用上面的代码检查是否有一个点在角落里，但是scala一直给我 error >type mismatch;[error] required: org.apache.spark.sql.Column
浏览 54提问于2021-06-30得票数 0
回答已采纳
具体来说，以下是我的问题：当Spark读取Parquet文件时，这个设置被忽略了吗?当我在谷歌上搜索spark.hadoop.parquet.enable.dictionary时，我也看到了对这个parquet.enable.dictionary的引用。这有关系
浏览 1提问于2018-09-14得票数 8
回答已采纳
scala> spark.udf.register("myUpper", (input:String) => input.toUpperCase)
scala> spark.catalog.listFunctions.fi
浏览 4提问于2017-08-11得票数 2
回答已采纳
Spark-shell：它基本上打开了scala>提示符。查询需要以下面的方式编写// Queries are expressedin HiveQLspark-sql：它似
浏览 7提问于2017-05-01得票数 6
回答已采纳
{Level, Logger}import org.apache.spark.sql.: SparkSession = SparkSession.builder().appName("generationobj").master("local[*]").config("spark.sql.crossJoin.enabled", value = true).getOrCre
浏览 12提问于2020-06-06得票数 1
2回答
找不到包含org.apache.spark.sql.Row类的jar 我打开了jar文件spark-SQL2.11-2.4.3.jar，但其中没有org.apache.spark.sql.Row类。https://spark.apache.org/docs/2.1.1/api/java/org/apache/spark/sql/
浏览 115提问于2019-07-03得票数 2
("MyApp") \ .config("spark.sql.catalog.spark_catalog", "org.apache.spark.sql.delta.catalog.DeltaCa
浏览 10提问于2022-12-01得票数 0
(RuleExecutor.scala:80) at org.apache.spark.sql.Dataset$$anonfun$6.apply(Dataset.scala:196) at or
浏览 4提问于2021-02-18得票数 2
for (db <- list_of_dbs)
.format("csv")
.option("sep
浏览 18提问于2020-08-28得票数 0
获取误差在pom.xml中添加此依赖项 <groupId>org.apache.spark</groupId>import org.apache.spark.streaming.kafka.K
浏览 0提问于2018-04-09得票数 1
3回答
我已经使用spark-thriftserver connection将表从PostgreSQL数据库导入到spark-sql中，现在我可以从直线上看到这些表。有没有办法把这些表格转换成spark数据帧？
浏览 1提问于2016-09-25得票数 2
:333) at org.apache.spark.sql.Dataset:2765)
at org.apache.spark.sql.Dataset.org$apache$spark$sql$Dataset$$execute$1(Dataset.scala:2370
浏览 17提问于2017-03-24得票数 4
回答已采纳
from pyspark.sql import SparkSession, Rowfrom kafka importKafkaConsumer
os.environ['PYSPARK_SUBMIT_ARGS'] = '--jars spark-sql-kafka-0-10_2.11-2.0.2.jar,spark-streaming-kafka-0-8-assembly_2.11-2.3.
浏览 5提问于2020-06-12得票数 1
对于Hadoop2.x，我可以使用以下代码段来配置：但是，在spark 3.0中，当我尝试配置hadoop时：它抛出：
[info] org.apache.spark.<
浏览 2提问于2020-07-29得票数 1
我想验证一下spark-sql查询在语法上是否正确，而不是在集群上实际运行该查询。实际的用例是，我正在尝试开发一个用户界面，它接受用户输入spark-sql查询，并且我应该能够验证所提供的查询在语法上是否正确。此外，如果在解析查询之后，我可以就spark最佳实践给出关于查询的任何建议。
浏览 2提问于2017-10-27得票数 9
我正在Scala-IDE中为Spark-core和Dataframes构建我的工作区。以下是我在pom.xml中获得的端点<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.10</artifactId-- https://mvnrepository.com/artifact/org.apache.spark&#x
浏览 2提问于2016-11-16得票数 0
读取数据val spark = SparkSession.builder.config().config(
"spark.serializer", "org.apache.spark.serializer.KryoSe
浏览 20提问于2022-06-13得票数 4
云服务器
ICP备案
即时通信 IM
云直播
实时音视频
腾讯云开发者
