spark.sql()，但它给出以下错误-at org.apache.spark.sql.catalyst.parser.AbstractSqlParser.parse(ParseDriver.scala:115)
at org
浏览 1提问于2018-10-22得票数 2
我们使用Apache Spark处理数据已经有4年了。近年来，Spark Application作业经常因为“流被破坏”而失败，特别是在作业运行时工作量大、数据量大的情况下。我们已经尝试在混洗数据时不使用压缩，或者为压缩编解码器指定snappy，但都不起作用。火花: 2.0.2，2.4下面是来自executor的日
浏览 1提问于2021-05-12得票数 0
我有大量的json文件，星火可以在36秒内读取，但Spark3.0几乎需要33分钟才能读取同样的文件。从更仔细的分析来看，Spark3.0选择的DAG与Spark2.0不同。有人知道这是怎么回事吗？火花2.4Time taken: 19691 ms
浏览 2提问于2020-06-27得票数 6
回答已采纳
2回答
但是当我在执行我的代码的时候。job 1434110260000 ms.1 atorg.apache.spark.sql.SQLContext$$anonfun$getSchema$1.apply(SQLContext.scala:1193)
at org.apache.spark.sql<
浏览 6提问于2015-06-12得票数 0
回答已采纳
我使用星火结构化流来读取来自卡夫卡的多个主题的信息。(Ljava/time/Duration;)V：java.lang.NoSuchMethodError<?console") .start()
}
下面，我可以看到我在控制台上打印的日志中设置
浏览 10提问于2022-07-27得票数 1
回答已采纳
我正在使用Spark2.0.0并使用SparkSession创建一个SparkSession。当我在java.util.UUID方法中使用createDataFrame时，它工作得很好。但是，当我将java.util.UUID作为Javabean中的字段时，当我使用这个Javabean创建Dataset时，它给了我scala.MatchError。请参阅下面的代码和控制台日志。$$anonfun$beansToRows$1$$anonfun$apply$1.apply(
浏览 1提问于2016-08-26得票数 3
在我的星星之火项目中，我使用星火-sql 3.0.2和星火-卡桑德拉-连接器_2.12:3.1.0以及java8。当我写到卡桑德拉表时，我面临下面的错误
在一致性LOCAL_ONE的简单写入查询过程中，Cassandra超时(需要一个副本，但只有0确认写入)
请在com.datastax.spark.connector.writer.AsyncStatementWriter:46) at org.apache.spark.sql.exe
浏览 11提问于2022-07-15得票数 1
我试图在GCP上下文中测试Spark连接器，并尝试遵循，后者要求使用Maven (我尝试了Maven 3.6.3)对Spark2.4进行本地打包，并在Dataproc上(在完成3之后)提交作业时得到以下错误多谢你们的支持
(base) gcloud dataproc jobs submit spark --cluster $SPARK_CLUSTER --class com.example.bigtable.spark.shc.BigtableS
浏览 1提问于2020-12-27得票数 3
回答已采纳
1回答
从PySpark加载数据
、、、
我正在尝试使用spark.read.jdbc从PySpark连接到MS SQL DB。$$anonfun$6.apply(JDBCOptions.scala:105) at scala.Option.
浏览 1提问于2020-11-29得票数 0
回答已采纳
我正在尝试找到一个兼容版本的jar为pyspark readStream。我已经探索了许多版本，但没有找到兼容的jar。如果我做错了什么，请让我知道。我的系统配置和使用过的jarspyspark==3.1.2SPARK-KAFKA-CLIENT==kafka-clients-3.0.0.jar at org.apac
浏览 9提问于2021-10-05得票数 0
1回答
("202003101810", "22222222", 222)someDF5: org.apache.spark.sql.DataFrame| ("202003101750", "202003101700",42)
| ).toDF("number", "word","
浏览 1提问于2020-04-29得票数 0
回答已采纳
我试图在spark scala应用程序中运行hive sql query，但当应用程序对存储在s3上的表执行查询时，收到以下错误"No plan for HiveTableRelation“。at org.apache.spark.sql.Dataset.withAction(Dataset.scala:3249)
at org.apache.spark.sql.Dataset.head(Dataset.<e
浏览 6提问于2018-08-28得票数 7
这就是我的目的，读取一个mysql表(50行million+ )到hdfs。System.getProperty("db_password")) }当我提交火花任务(主纱-部署模式客户端)并调用方法"loadUserVerifyData“并读取1000(或更多)时，使用20m+并仍然抛出异常"org.apache.spark.SparkException:由于阶段故障而中止的作业：”
def loadUserVerifyData(spark
浏览 0提问于2018-08-26得票数 1
回答已采纳
1回答
Ivy 2/缓存存储在以下文件中的包的jars :/home/zqwang/.Ivy 2/jars :：home设置:：url = jar:file:/data/opt/tmp/zqwang/spark#spark-submit-parent-26b526c6-0535-4007-8428-e38188af5709；1.0甜点:默认:：解析报告:：resolve 966 0ms :：artifactsdl
浏览 1提问于2018-08-27得票数 0
回答已采纳
1回答
我能用pyspark做基本的操作。(HiveContext.scala:309) at org.apache.spark
浏览 0提问于2015-01-23得票数 1
1回答
星星之火SQL异常处理
、、、、
为了处理RDD操作中的Spark，我可以使用以下方法对其他exceptions列进行处理：castExcepDf.show()
在Spark上可以处理这样的异常吗？例如，在当前发生任何错误的情况下，Spark只返回
浏览 1提问于2019-11-12得票数 9
回答已采纳
2回答
我有一个spark应用程序，它对一个数据集运行多个测试，这些测试是包含诸如groupBy、filter等spark查询的函数.Row> dataset = loadDataset();test2(dataset);在这一点上，一切都很好，但是我可以看到集群被使用了大约thread2.start();thread3.start();
然而，这似乎
浏览 0提问于2019-07-14得票数 2
回答已采纳
请提供以下问题的解决方案我正在使用com.microsoft.sqlserver.jdbc.SQLServerDriver访问spark项目中的数据，代码如下，instance of SQL Server is running on the host and accepting TCP/IP
connections at当我的防火墙关闭的时候。
浏览 3提问于2017-08-30得票数 0
我正在从事一个流项目，其中有一个kafka流的ping统计数据，如下所示： pyspark --packages org.apache.spark:spark-sql-kafka-0-10_2.11:2.4.0 at org.apache.
浏览 1提问于2019-01-21得票数 13
回答已采纳
1回答
数据库作业失败
、、
进行一些查询以比较数据并获得最后更新，将这些过滤后的新数据与历史数据进行比较，以获得更多的最新数据，并将结果保存在datalake中。此作业每天运行，因此数据保存在按处理日期划分的数据中。:248) at org.apache.spark.sql.execution.QueryExecutio
浏览 3提问于2022-09-06得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
