spark sql中的BIGINT和INT比较失败

文章/答案/技术大牛

发布

1回答

apache-spark、hive、apache-spark-sql

我有一个具有以下定义的配置单元表： my_column MAP<BIGINT, ARRAY<String>>该表具有以下记录Time taken: 0.067 seconds, Fetched: 5 row(s)select * from testforerror where my_colum

浏览 0提问于2016-08-17得票数 0

2回答

火花计数&每个列值的百分比异常处理和加载到配置单元数据库

scala、apache-spark、hadoop、hive、apache-spark-sql

在下面的Scala Spark代码中，我需要找到不同列的值的计数及其百分比。，所以你能帮助我们添加不同的列的条件，如日期，使用等(例如，在代码中，我们已经获取的列包含日期，我们已经添加了计数和其他条件，我们想要的)现在，这些事情我们想要的动态，所有的列名称应该进入一个yml文件内，并必须从该文件中读取这些名称，我如何才能实现这一点，任何人都可以帮助和阅读YML文件

浏览 9提问于2019-01-24得票数 3

回答已采纳

4回答

Zeppelin -无法使用%sql查询我使用pyspark注册的表

apache-spark、pyspark、apache-spark-sql、apache-zeppelin

我是spark/zeppelin的新手，我想完成一个简单的练习，我将把一个csv文件从熊猫转换成Spark数据帧，然后注册表格，用sql查询它，并用Zeppelin可视化它。但我似乎在最后一步失败了。我使用的是Spark 1.6.1%pysparkprint spark</

浏览 1提问于2016-06-02得票数 7

2回答

如何在Spark中实现"Cross Join“？

apache-spark、cross-join

我们计划将Apache Pig代码迁移到新的Spark平台。但是当我们移动到Spark平台时，我在Spark API中找不到任何对应的东西。你有什么想法吗？

浏览 66提问于2014-07-21得票数 14

回答已采纳

2回答

Parquet列无法在文件中转换，列：[印象]，预期: bigint，查找:二进制

apache-spark、pyspark、pyspark-sql

我正面临着一个我无法理解的奇怪问题。为该列注册的单元模式是长的。因此，在加载数据时：CREATE OR REPLACE TEMPORARY VIEW adwords_ads_agg_Yxz AS a.customer_id该错误稍后会在步骤中发生：

浏览 3提问于2019-11-28得票数 5

1回答

转换后保留Spark数据帧的分区数量

apache-spark、apache-spark-sql、partitioning、data-partitioning

我在代码中发现了一个bug，其中一个数据帧被分割成比预期更多的分区(超过700个)，当我试图将它们重新分区到只有48个时，这会导致太多的随机操作。我不能在这里使用coalesce()，因为在进行重新分区之前，我希望首先有更少的分区。我正在寻找减少分区数量的方法。假设我有一个spark数据帧(包含多个列)划分为10个分区。此操作完成后，生成的数据帧是否具有相同数量的分区？如果没有，spark将如何决定分区的数量？另外，除了像repar

浏览 2提问于2017-09-13得票数 1

1回答

将包含BigInt的RDD转换为Spark数据帧

scala、apache-spark、apache-spark-sql、spark-dataframe、scala-collections

嗨，我在spark 1.6.3中工作。我有一个rdd，里面有一些BigInt scala类型。我如何将其转换为spark数据帧？是否可以在创建数据帧之前转换类型？我的rdd： Array[(BigInt, String, String, BigInt, BigInt, BigInt, BigInt, List[String])] = Array((14183197(rows: java.util.List[org.a

浏览 0提问于2017-10-12得票数 1

2回答

如何在Spark* SQL的( java) DataFrame中更改列类型？*

java、apache-spark

我正在尝试使用java在spark sql中将列数据类型从long转换为int，我在scala中看到了一些示例，并进行了尝试，但这并不是wotking。

浏览 0提问于2019-01-22得票数 2

1回答

当连接来自同一个父源的两个派生数据时，spark是如何工作的？

scala、apache-spark、apache-spark-sql、directed-acyclic-graphs

假设我有某种类型的转换，如下面的代码段所示，我想加入两个数据帧，它们是从同一个父框架中派生出来的。DAG将如何为那些计算优化或不优化，并且是否对任何用途的初始读取值保持不变？

浏览 2提问于2020-12-17得票数 0

回答已采纳

1回答

将地图炸成平面格式

scala、apache-spark、spark-dataframe、avro、spark-avro

我有以下Spark Scala Dataframe：data.printSchema root将它“爆发”成以下平面格式(丢弃可能的空值)的确切语法是什么：[id, key, value]？

浏览 2提问于2016-11-15得票数 2

回答已采纳

1回答

星星之火: DF.as[Type]无法编译

scala、apache-spark、apache-spark-sql、scala-3、spark3

我正在尝试从星火书Spark: The Definitive Guide中运行一个例子ThisBuild / scalaVersion := "3.2.1" ("org.apache.spark" %% "spark-sql" % "3.2.0" % "provided").cross(CrossVersion.f

浏览 23提问于2022-10-30得票数 1

回答已采纳

1回答

在CREATE (列定义为MAP<INT、<ARRAY<MAP<INT、FLOAT>>>> )的输入处，没有可行的替代方法

sql、apache-spark、apache-spark-sql

, arm ARRAY<BIGINT>, context_feature MAP<INT,<ARRAY<MAP<INT,FLOAT>>>>Spark App Metrics to XDB through wrapper: Sample(<class 'dict'>, {'normal': {'exception'

浏览 5提问于2022-08-23得票数 0

0回答

Scala:对查询输出执行比较

scala、apache-spark-sql

我正在尝试比较2个不同查询/表的计数。是否可以在Scala(Spark SQL)中执行此操作？("select count(*) from parquetFile1")second_table_count: org.apach

浏览 1提问于2016-12-24得票数 0

回答已采纳

3回答

如何使用Spark2.4.4使用delta创建表？

apache-spark、apache-spark-sql、delta-lake

这里是星火2.4.4和德尔塔湖0.5.0。 at org.apache.spark.sql.Dataset$.ofRows(Dataset

浏览 4提问于2019-12-31得票数 11

回答已采纳

1回答

无法使用case类从RDD中创建数据

scala、apache-spark、apache-spark-sql

它在Spark1.6.x上运行良好，但在2.x上失败，运行时异常如下：前面有一堆从催化剂生成的代码。下面是片段(我正在做的事情的简化版本)： import org.apache.spark

浏览 1提问于2016-09-01得票数 5

回答已采纳

2回答

在星火中创建UDF时出错

scala、apache-spark、user-defined-functions

我正试图使用以下代码在星火中创建一个UDF但我得到了以下错误：

浏览 4提问于2018-01-16得票数 0

回答已采纳

1回答

使用聚合函数对列中的数组求和

apache-spark、apache-spark-sql

我正在尝试对包含数组的字段求和， ("a", [2,2])]) from a但我遇到了以下错误：: org.apache.spark<

浏览 6提问于2019-10-28得票数 0

回答已采纳

1回答

如何在没有位置的情况下创建外部蜂巢表？

apache-spark、apache-spark-sql、spark-hive

在集群模式下，我在一个纱线集群上有一个SparkSQL2.1.1作业，我想在其中创建一个空的外部单元表(带有位置的分区将在后面的步骤中添加)。CREATE EXTERNAL TABLE IF NOT EXISTS new_table (id BIGINT, StartTime TIMESTAMP, EndTime TIMESTAMP) PARTITIONEDBY (year INT, month INT, day INT) ROW FORMAT DELIMITED FI

浏览 9提问于2017-05-31得票数 1

回答已采纳

1回答

为什么Dataset.unpersist级联到所有依赖的缓存数据集？

apache-spark、apache-spark-sql

我用的是火花2.3.2。对于我的用例，我缓存第一个dataframe，然后缓存第二个dataframe。df: org.apache.spark.sql.Dataset[org.apache.spark.<

浏览 0提问于2019-01-01得票数 3

回答已采纳

1回答

星星之火:将字节数组转换为bigint

apache-spark、pyspark、apache-kafka、apache-spark-sql

试图将kafka键(二进制/字节数组)转换为长/ bigint，使用pyspark和sql会导致数据类型不匹配:不能将二进制转换为bigint。中:调用o63.selectExpr时出错。：org.apache.spark.sql.AnalysisException:由于数据类型不匹配，无法解析“强制转换(key AS bigint)”：不能将二进制转换为line；第1行pos 0；(.)pyspark.sql.u

浏览 0提问于2019-08-06得票数 2

点击加载更多