Spark Dataframe最大列数

文章/答案/技术大牛

发布

1回答

apache-spark、pyspark、apache-spark-sql

spark Dataframe的最大列数是多少？我试着从data frame文档中获取它，但找不到。

浏览 9提问于2016-09-07得票数 7

1回答

将DataFrame转换为RDD，并将RDD动态拆分为与DataFrame相同的列数。

scala、dataframe、apache-spark、rdd

我试图将DataFrame转换为RDD，并根据DataFrame中的列数动态而优雅地将它们拆分为特定的列数。Id Name Age State City456 Stan 26 Florida Tampaval temp2_rdd = temp_df.rdd.map(x =&g

浏览 1提问于2021-07-31得票数 2

1回答

如何在Spark (Databricks)中计算表中的列数？

sql、apache-spark-sql、databricks

我在编写语句以计数Spark中的列数时遇到了困难。我尝试使用信息模式和table.columns，但这两种方法在Spark中似乎都不起作用。有人有什么建议吗？

浏览 2提问于2020-04-28得票数 1

1回答

如何将具有大量列计数的csv文件导入ApacheSpark2.0

csv、apache-spark、pyspark、apache-spark-mllib、google-cloud-dataproc

com.univocity.parsers.common.TextParsingException: java.lang.ArrayIndexOutOfBoundsException - 20480 提示:已处理的列数可能超过了20480列的限制。使用settings.setMaxColumns(int)定义输入的最大列数，确保您的配置是正确的，并使用与您试图解析的解析分析器配置: CsvParserSettings:的输入格式匹配的分隔符、引号和转义序列：如何设置解析器使用

浏览 4提问于2016-08-27得票数 6

回答已采纳

1回答

有没有办法限制spark数据帧类型中的字符串长度？

dataframe、apache-spark

有没有办法在spark Dataframe中设置字符串类型的最大长度。我正在尝试读取一列字符串，获取最大长度，并将该列的最大长度设置为字符串的最大长度。有没有办法做到这一点？

浏览 54提问于2020-01-20得票数 1

回答已采纳

1回答

如何使用同一个case类创建多个数据帧

scala、apache-spark、hadoop

假设我想创建多个数据帧，一个有5列，另一个有3列，我如何使用一个case类来实现这个目标？

浏览 2提问于2019-05-14得票数 1

1回答

将最大值转换为独立的1和0项的列

python、apache-spark、pyspark、apache-spark-sql、etl

我的输入 DataFrame如下所示： 'id': [1], 'cat_2': [2],})test_df_spark.show() +---+-----+-----+--+-----+----

浏览 1提问于2021-03-29得票数 1

回答已采纳

1回答

Pyspark :检查日期列中的值是否有效

python、apache-spark、apache-spark-sql、pyspark-sql

我有一个从CSV文件导入的spark。在应用了一些操作(主要是删除列/行)之后，我尝试将新的DataFrame保存到Hadoop，这将显示一个错误消息：有什么想法吗？PS:据我理解，

浏览 1提问于2018-08-27得票数 1

回答已采纳

1回答

如何在SQL中使用枢轴(不是作为DataFrame分组操作符)？

sql、scala、apache-spark、apache-spark-sql

我有这个dataframe，我试图将这个dataframe操作转换成sql使用pivot函数。我试过这样做， """我也试过这个 """ select * from ( select * from df lateral v

浏览 0提问于2020-05-11得票数 4

回答已采纳

1回答

参数为动态的火花滞后函数

apache-spark、apache-spark-sql

我需要在spark中实现滞后函数；我可以像下面这样做(使用hive/temp spark表中的一些数据)lagno:value0, 2003,nullDataFrame df; org.apache.spark.sql.fu

浏览 3提问于2016-09-16得票数 3

1回答

在集群上使用applyInPandas和PySpark

apache-spark、pyspark、amazon-emr、pyarrow、pyspark-pandas

import pandas as pdfrom pyspark.sql import SparkSession def func(x): return x# run test function in parallel pdf = pd.DataFrame({'x': range

浏览 37提问于2022-10-10得票数 1

回答已采纳

1回答

交叉连接的结果是“设备上没有空间”

amazon-web-services、apache-spark、pyspark

实例类型: r4.2xlarge (8核，61 EBS，128 EBS)

浏览 14提问于2022-08-02得票数 0

1回答

根据另一列中数组的长度将列添加到吡火花数据

pyspark

0:2:1", "maker":"pr", "dev":"1022"}, "max_w" : 8, "max_s" : 2, "curr_w" : 7, "curr_s" : 4}]}}}`时间戳down_dev，payload_links_1_up_db，payload_links_1_up_mak

浏览 9提问于2022-07-21得票数 0

回答已采纳

1回答

使用现有列使用Scala添加新列

scala、apache-spark

嗨，我想在DataFrame的每一行中添加使用现有列的新列，我在Scala中尝试这样做.df是包含可变列数的dataframe，只能在运行时决定。导入spark.implicits._支持基本类型(Int、String等)和Product (case类)，以便在以后的版本中添加其他类型的序列化支持。方法映射的参数不足：(隐含证据$7: org.apache.spark.sql.Encoderorg.apache.spark.sql.R

浏览 2提问于2017-10-09得票数 1

1回答

N列m行的动态数据帧

scala、apache-spark

从json(动态模式)读取数据，并将其加载到dataframe。示例数据帧：import spark.implicits._ (1, "ABC"), (3, "GHIJ")someDF: org.apache.<em

浏览 6提问于2020-06-04得票数 0

回答已采纳

1回答

如何在数据库存储中计数表中的列

sql、apache-spark、databricks

从information_schema.columns选择count(*)，其中table_name = 'emp‘均匀描述表请建议一些其他代码来计算特定表中的列

浏览 5提问于2022-05-10得票数 1

2回答

获取数组列的大小/长度

scala、apache-spark、apache-spark-sql

我是Scala编程的新手，这是我的问题:如何计算每行的字符串数？我的数据帧由ArrayString类型的单个列组成。friendsDF: org.apache.spark.sql.DataFrame = [friends: array<string>]

浏览 2提问于2017-09-07得票数 45

回答已采纳

1回答

星星之火:用read.csv读取许多文件

apache-spark、pyspark、apache-spark-sql、spark-dataframe

我想从位于同一个目录中的许多小文件创建一个DataFrame。我计划使用来自pyspark.sql的pyspark.sql。

浏览 0提问于2018-03-21得票数 0

1回答

我们可以在dataframe星火scala中拥有的最大列数

scala、apache-spark、dataframe、rdd

我想知道在dataframe中我可以拥有的最大列数，在数据文件中保持列的数量有什么限制吗？谢谢。

浏览 3提问于2017-06-15得票数 6

1回答

通过集群提高SparkSQL查询性能

apache-spark-sql

我是SparkSQL新手，我主要负责编写SparkSQL查询。我们经常需要在查询中使用JOIN大表，并且不需要很长时间就会遇到与它们相关的性能问题(例如。Joins、aggregates等)。不幸的是，我找不到足够的例子，让我清楚地理解它们，并开始将它们应用到我的查询中。我主要是寻找一些例子来解释它们的语法、提示和使用场景。有谁能在这里帮助我，并提供SparkSQL查询它们的用法和

浏览 5提问于2020-06-05得票数 0

点击加载更多