我想让它全部小写，我这样做了： df1=df.select("*", lower(col('name'))) 但是它创建了一个名为lower(name)的新列。我不想保留上一篇专栏文章。所以我这样删除了： df2=df1.drop(*'title_split') 但要删除它需要很长时间。我怎么才能让它更快呢？我能不能把它改成小写，不保留前面的那个？
浏览 18提问于2021-01-09得票数 0
回答已采纳
我有一张带有A、B和C列的HIVE/PySpark的桌子。我想为每一列获得唯一的值，如任何格式(数据、表格等)
如何在或PySpark中高效地执行这个(与每个列并行)？我现在的方法是分别为每一列做这件事，因此花费了很多时间。
浏览 0提问于2018-07-18得票数 0
回答已采纳
我有一个带有整数列的pySpark数据。我也有一个从整数到字符串的映射，如 2: 'B', 我希望使用此映射从原始列中获得一个新列。怎么做？我尝试使用替换函数，但它将新值转换为与原始值相同的数据类型。我想我可以先把整数转换成字符串，但是很高兴知道一种更一般的方法。
我是pySpark的新手，可能只是错过了一些非常简单的东西。)
浏览 10提问于2022-07-06得票数 0
1回答
文件videos.csv如下所示099acca-8888-48ca,Action,Comedy
在Scala中，Scala可以使用.drop(1)删除RDD列1，以便对所有行删除rdd列1，例如482cal-2792-48da和099acca-8888-48ca。我想知道如何在PySpark rdd中PySpark中这样做<
浏览 2提问于2016-12-29得票数 3
当我阅读Spark/Hive文档时，将插入到带有列列表的表中，在Spark2.4和更早版本中不支持。insert into output_table(fieldx, fieldy, fie
浏览 1提问于2019-01-09得票数 4
回答已采纳
1回答
原始数据有一列，数据包括输入样例文件(Pyspark)：column1 column2
Date20191009 [1,
浏览 3提问于2019-10-10得票数 1
回答已采纳
2回答
我正在将csv加载到pyspark dataframe中。我正在尝试删除列标题中的空格和更多特殊字符，如"("，")“和"/”。 我可以删除列标题中的空格，如下所示。它只删除列中的空格，而不删除特殊字符。 我试了一下，它起作用了。
浏览 63提问于2020-12-15得票数 0
回答已采纳
无论如何，我正在进行搜索，需要将其与列中的字符串和值进行比较。它必须超越像。例如，我希望将列放在小写，并在将其与字符串进行比较之前取出所有空格(字符串太小写了，所有空格都消失了)。我想在不修改列内容的情况下这样做。所以只是为了比较。然后，如果比较结果为true，则将原始内容从列中删除(不以小写形式，也不以空格形式)。这可能是具体的。是否有可能这样做</em
浏览 9提问于2013-09-02得票数 0
回答已采纳
4回答
但首先，我不想从JDBC读取原始表，而是在JDBC端运行一些查询，以筛选列和连接表，并在Spark中将查询结果作为表加载。例如，您也可以使用括号中的子查询来代替完整的表。为了做实验，我尝试了这样简单的方法： url="jdbc:mysql://foo.com:、删除'as‘子句、开关大小写等)，但没有
浏览 10提问于2017-04-02得票数 10
1回答
我有一个数据帧，如下所示我想删除其中包含"id"和"ac"的列，并保留其他列我应该如何在这里的列名上使用regexep？
浏览 1提问于2020-02-06得票数 0
2回答
如何在Component 1 Flex网格中实现拖放功能。此外，网格还应允许一些与拖动数据相关的功能，如如果删除了原始项目，则拖动的项目也会被删除。请任何人可以帮助我或建议我，这是如何可能在flex网格。因此，如果有任何可能性
浏览 1提问于2011-05-09得票数 0
回答已采纳
1回答
用火花放电流到HBase
、、、
在线上有相当数量的关于使用Scala进行星火流的批量加载的信息( 是特别有用的)，以及一些用于PySpark的信息，但是使用PySpark似乎缺乏这样的信息。所以我的问题是：
任何语言中的大多数示例都只显示每一行上的一个列。如何在每一行中插入多列？我以前已经取得了一些进展，有很多各种各样的错误(如文档化的和)
浏览 2提问于2016-01-29得票数 3
如果存在另一列中的值，如何筛选出一列中的值？我试图删除代码列中的所有C，如果代码列中有'-‘。CODE | DescriptionA -B -C -A
浏览 0提问于2020-06-28得票数 1
回答已采纳
2回答
| 1 || 3 | -4 |我希望删除所有具有任何值3 || 2 | 8 |我尝试这样做:只对带有Value<=0的行进行筛选，从中选择不同的ID，将其转换为列表，然后使用df.filter(~df.Id.isin(mylist))
浏览 4提问于2020-07-21得票数 2
回答已采纳
我有一个df，它的'products‘列如下所示：|member_srl|click_day|103825645]|| 6963| 20160111|[99643224, 106032...|
如何添加一个新的列product_cnt以及如何在给定产品长度的条件下过滤df以获得指定的行？谢谢。
浏览 3提问于2017-06-14得票数 25
2回答
下面的DataFrame应该根据标志列进行过滤。如果基于列id和cod的组没有任何与None值不同的行，则只需要维护一个唯一的行，否则，必须删除列标志<code>E 211</code>中的None值行。import pysparkfrom pyspark.sql.window import Window
from p
浏览 3提问于2022-06-30得票数 0
1回答
它如下所示，其中RESULT列是我希望分配给另外两列中每一列的数值。乍一看，我认为这是一个简单的枢轴过程，但在Pyspark中这样做似乎要复杂得多。有没有办法用火花放电来做这件事？我所考虑的一种方法包括以下步骤:如果原始数据为df，包含RESULT和WINDOW列
标识WINDOW列中的唯一值，并将它们放在一个单独的1Ddataframe unq中</
浏览 3提问于2021-08-16得票数 1
回答已采纳
3回答
我有一个带有N列的表，我想将它们连接到一个string列中，然后在该列上执行一个散列。我想完全在Spark中完成这项工作，理想情况下，我已经尝试过HASH(*) as myhashcolumn，但是由于几个列有时为null，我无法像我所期望的那样使它工作。
浏览 1提问于2018-11-26得票数 1
回答已采纳
我想知道如何删除postgres表中包含title列中特定字符串的整个行。因此，如果字符串是：如何在postgres中发出命令，将该行从表中完全删除。例如，将删除下一行：另外，我希望它忽略大小写，因为字符串可以是大写字母和小写字母的混合(
浏览 0提问于2016-05-25得票数 1
回答已采纳
List = ['NYC','Austin','San Diego', 'New Orleans','LA'] 我有一个数据框，其中有一列，"raw“。'raw‘中的所有值都是字典值。Austin':'mild','San Diego':'hot','New Orleans':'cold','LA':'
浏览 18提问于2020-08-04得票数 1
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
