使用pyspark或spark SQL选择不在组中的所有或特定列

文章/答案/技术大牛

发布

2回答

mysql、apache-spark、pyspark、apache-spark-sql

我正在尝试从下面的数据中获取结果集。显示的是示例数据。我正在尝试为Name和Department设置不同的值。我可以看到几个与获取不同计数相关的答案，但找不到与我的场景匹配的答案，或者可能是我找不到的地方。我无法在group by中使用ID，因为我正在尝试使用唯一ID获取不同的名称和部门集 df = sqlContext.sql("select Name,Department from e

浏览 65提问于2021-02-25得票数 0

回答已采纳

1回答

似乎无法初始化spark上下文(pyspark)

python、apache-spark、ubuntu、pyspark

last): File "/home/sharan/.local/lib/python3.5/site-packages/pyspark118, in __init__ File "/home/sharan/.local/lib/python3.5

浏览 56提问于2019-01-22得票数 0

2回答

使用scipy记分规范大型电火花数据

python、dataframe、apache-spark、pyspark、databricks

我在中运行了一个py火花代码。我有一个包含20个数值列的星星之火数据，名为column1、column2、...column20。我必须计算这20列的Zscore(from scipy.stats import zscore)，因为我将这20列读入numpy数组。但是这个收集正在导致星火集群重新启动，据我所知，collect正在试图将整个数据集带到一个驱动程序中，我们有一个解决这个问题的替代方法吗？我可以增加驱动程序节点内存，或者我可以考虑为驱动程序<

浏览 15提问于2022-11-13得票数 1

回答已采纳

1回答

使用csv文件中的pyspark数据绘制RDD数据

dataset、bigdata、apache-spark、pyspark、plotting

我刚刚开始在非常大的csv文件上使用pyspark。我使用的是Spark版本2.1.0。我希望从一个.csv文件中读取数据，并将其加载到中，然后在过滤特定的行之后，使用matplotlib绘制2列(纬度和经度)，将其可视化。这就是我到目前为止所做的：from pyspark.sql import SparkSess

浏览 0提问于2017-06-28得票数 1

1回答

在PYSPARK中从联接表中选择所有列

python、apache-spark、pyspark

我有一个'type = pyspark.sql.dataframe.DataFrame‘的数据，我想从这个数据df和另一个具有相同类型的数据df1中选择所有列。我从r创建df，这是一个元组列表。df = spark.createDataFrame(r, schema =column )

浏览 4提问于2022-07-08得票数 0

1回答

(Py) SQL语法中的星火getItem()

apache-spark、pyspark、apache-spark-sql

数组类型列的第n项可以使用getitem(n)检索.地图类型的列可以使用getItem(key)或'column.key'分开。数组有类似的语法吗？上下文:目标是以可读的方式从大规模嵌套的json中获取特定字段。from pyspark import SparkContext from pyspark.sql import S

浏览 4提问于2020-10-09得票数 0

回答已采纳

2回答

如何删除星火表列中的空白

python、apache-spark、pyspark、databricks、sparktable

我想从特定列(Purch_location)中的所有值中删除空格。我使用的是spark表，而不是dataframe或SQL表(但如果需要，我可以使用dataframe或SQL表)。下面是我的星火表的生成方式：c

浏览 6提问于2017-12-03得票数 2

1回答

在自定义包中创建pyspark dataframe？

python、pyspark、package、databricks

我对最佳实践以及如何在包中创建spark会话感到有点困惑，其中包可以在databricks或local上使用。但是假设我有一个函数，它接受一些数据列表或字典，预期的输出是包含数据的pyspark dataframe。我认为单个会话应该足够了，因此需要检查会话是否存在，如果不存在，则创建一个会话。但我只是不确定如何在函数中做到这一点？这是我的代码，为什么它不在一个jupyter笔记本里面，我不知道这

浏览 2提问于2020-10-31得票数 0

2回答

Pyspark替换Spark dataframe列中的字符串

python、apache-spark、pyspark

我想通过替换子字符串在Spark Dataframe列上执行一些基本的词干提取。做这件事最快的方法是什么？在我当前的用例中，我有一个想要规范化的地址列表。

浏览 0提问于2016-05-05得票数 54

回答已采纳

2回答

将文件读取并附加到spark数据文件中

pyspark

我已经创建了一个空的dataframe，并开始添加它，通过读取每个文件。但其中一个文件的列数比前一个文件多。如何仅为所有其他文件选择第一个文件中的列？from pyspark.sql import SparkSession from pyspark.sql.types im

浏览 1提问于2019-09-06得票数 3

回答已采纳

2回答

如何使用pyspark python从文本文件中删除重复的数字

python、apache-spark、pyspark

我正在尝试使用python从文本文件中删除重复的数字，但该操作仅适用于行。例如，我的文本文件是：66 9 23 import pyspark from pyspark import SparkContext, SparkConf

浏览 2提问于2022-02-14得票数 0

回答已采纳

1回答

通过另一列的值初始化列表

cassandra

我在Cassandra DB中有一个表，其中有一些列，例如： id (text), ..., data (text).出于迁移的目的，我需要将“数据”的值复制到一个新列：data_list (list<text>)。如何通过data_list列中的值初始化data列？这个是可能的吗？

浏览 2提问于2021-06-13得票数 1

回答已采纳

1回答

星火DataFrame如何区分不同的VectorUDT对象？

apache-spark、dataframe、pyspark、apache-spark-mllib、apache-spark-ml

我正在尝试理解DataFrame列类型。当然，DataFrame不是一个物化的对象，它只是一组Spark的指令，将来要转换成代码。但我认为，这个类型列表代表了在执行操作时JVM中可能出现的对象类型。import pysparkimport pyspark.sql.functions as F data = [0, 3,

浏览 1提问于2016-07-31得票数 7

回答已采纳

1回答

如何重命名所有列，在pyspark中创建dataframe之后，如何根据模式/从csv文件中读取数据类型来转换数据类型

python、pyspark

在pyspark中创建示例数据 from pyspark.sql.types import StructField testdata = [("aaaa",1,50.0,"05-APR-2020"), ("bbbb",2

浏览 1提问于2020-05-04得票数 0

回答已采纳

2回答

在spark.sql中选择具有组的多个元素

scala、apache-spark、apache-spark-sql、bigdata

在选择我正在使用的多个元素代码的sql spark中，是否有按表分组的方法：df.createOrReplaceTempView("GETBYID")val sqlDF = spark.sql( "SELECT count(cu

浏览 7提问于2017-01-02得票数 2

回答已采纳

1回答

如何将带有时区的奇怪日期时间字符串转换为时间戳(PySpark)

apache-spark、pyspark、apache-spark-sql、pyspark-sql

我有一个名为datetime的列，它是一个表单字符串。因为日志是如此接近的时间。TZ是可选的，因为它们都在同一个时区，但理想情况下，它们也想捕捉到这一点。试过formatw = 'MMM dd yyyy H:mm:ss,SSS a z'from table Errorin <

浏览 1提问于2019-03-19得票数 0

回答已采纳

1回答

用于显示不带小数点的整数

python-3.x、apache-spark、pyspark

在下面的代码中，数据文件的所有列都是字符串。其中一列用一个小数位存储整数或小数(6.1,4.8,3,9.4,6，...etc.)。但是，一旦将数据加载到pyspark dataframe中，它也会显示带有单个小数位(例如3.0)的整数。问题：我们如何才能强迫pyspark显示所有不带小数的整数值？例如，3.0应该显示为3。from pyspark.sql

浏览 7提问于2022-05-21得票数 0

1回答

无法将列转换为bool:在构建DataFrame布尔表达式时，请使用'&‘for 'and'，’AC.26‘for’或'or'，'~‘表示'not’

pyspark

from pyspark.sql.window import Windowfrom pyspark.sql.functions import udf df17.show()

浏览 3提问于2022-01-09得票数 0

1回答

Dataframe上的Pyspark列

python、apache-spark、pyspark

我正在尝试根据某些列的值在dataframe上创建一个新列。它在所有情况下都返回null。有人知道这个简单的例子出了什么问题吗？0 1 0 None 1 1 1 Nonespark_udf = udf(get_profile,StringType()) spark<

浏览 2提问于2018-09-26得票数 2

回答已采纳

1回答

通过将值设置为空来隐藏错误？

apache-spark、pyspark

有人能解释一下为什么spark这样做是有意义的吗？+-------------+>>> df.filter('COLUMN_A is null').count()我认为它在解析某些行(数据文件中没有空行，这是csv)时会出错，但它会“清空”行，而不是失败，并且还从count()等函数中隐藏了错误。有趣的是，如果我将df写入磁盘(就像使用检查点一样)，那么空值就会显示出来。

浏览 1提问于2020-11-04得票数 0

点击加载更多