请建议我如何在spark dataframe中的列上实现字符串包含，就像我过去做的那样
df1 = df[df['col1'].str.contains('anystring_to_match')]
浏览 3提问于2016-08-26得票数 6
回答已采纳
1回答
我是pyspark的新手，我想把我现有的pandas / python代码转换成PySpark。我希望对我的dataframe进行子集，以便只返回'original_problem'字段中包含特定关键字的行。下面是我在PySpark中尝试的Python代码：
searchf
浏览 0提问于2018-05-18得票数 3
回答已采纳
2回答
我有下面的Python代码，本质上是搜索子集dataframe中感兴趣的特定列，如果其中任何列包含"AD"，我们不想处理它们。if ~(df.query("id == @trial")["unit"].str.upper().str.contains("AD").any()]
这是Pandas中的一个数据样本。ID=1具有与其关联的字符串'AD'，因此我们希望将其排除在处
浏览 7提问于2021-03-09得票数 1
回答已采纳
1回答
在PySpark中，如何将一行中的数据与另一行中的数据关联起来，然后在此基础上进行筛选？我有一个每天有9行数据的，我有很多天的数据，在下面的例子中，我给出了2天，18行数据。首先，我想要数据有效的第一个实例的最终结束压力，其次是过滤这个值超过一个阈值的所有行，3000 psi。在某些情况下，数据一天两次有效，但我只想要与第一个有效实例相对应的结束压力
浏览 4提问于2022-10-05得票数 0
2回答
我编写的代码提取csv文件中的所有内容。下面是原始的csv文件：df = df.loc[(df['categories']''在str.contains中不工作，或者or |在df.loc中不起作用。编辑的
我想要的输出应该是类别chine
浏览 1提问于2018-07-24得票数 0
回答已采纳
2回答
我想过滤掉所有包含符号“在列”"Col1“中的行。11" A但是，此代码在错误消息中失败：
TypeError:当()缺少一个必需的位置参数时：'value‘
浏览 0提问于2019-07-08得票数 1
回答已采纳
开始在Databricks上使用PySpark，我看到我可以在pandas的同时导入pyspark.pandas。有什么不同吗？我想这不像koalas，对吧？
浏览 13提问于2022-09-20得票数 0
我试图使用pyspark.pandas API在数据库上构造数据的共生矩阵。该代码在熊猫中运行良好，但在使用pyspark.pandas时出现了错误。pyspark.pandas.DataFrame.dot()
以串联作为输入。我尝试使用psdf.squeeze()将dataframe转换为系列化，但它并不将dataframe转换为串联，因为我的dataframe有多个列。有没有办法将pyspar
浏览 8提问于2022-10-14得票数 0
回答已采纳
我的python脚本中有一条np.where语句，它根据在另一列中的搜索来分配新的列值，如下所示：
df['campaignNameFilter'] = pd.np.where(df['campaignLabels，它将遍历“campaignLabels”列，并将这些值分配给一个名为“campaignNameFilter”的新列。现在，如果没有找到任何匹配的内容，'campaignNameFilter‘将被赋值为未赋值。这一切都很好用，然而，问题是
浏览 2提问于2020-04-16得票数 0
1回答
我正在DataFrame中创建一个NAME列，并根据另一列中包含的子字符串设置它的值。df = pd.DataFrame([['www.pandas.org','low'], ['www.python.org','high']],
columnsdf['Name'] = df['
浏览 0提问于2020-06-25得票数 3
回答已采纳
2回答
我在pyspark中有一个包含I和位置代码的df。我的问题是一些I重复，并且包含一行我想忽略的信息。Location2 L-Location
2 Keep this row too 在这个玩具示例中，我想丢弃每个ID中包含Legacy或L-*的行 我尝试构建自己的名为filterLoc的函数，然后使用df.groupby(I
浏览 24提问于2021-02-03得票数 1
回答已采纳
我想在下面的Phyton中使用的代码中添加一行，这样它就会删除第一列中所有包含单词'hate‘的行，这被称为'Bio'： import pandas as pd
from datetime import
浏览 21提问于2019-04-13得票数 0
1回答
我面临许多问题，集成/添加Pandas现有代码的Pandas代码。2)如果我选择使用Pandas和pandas在同一代码中处理不同的数据集，当通过map调用的函数包含任何熊猫数据时，Pyspark转换(如map)似乎根本不起作用。我在Python中已有使用熊猫和numpy的代码，并且在一台机器上工作得很好。我最初试图将整个代码转换为的尝试失败了，因为不支持Pand
浏览 2提问于2017-12-26得票数 6
我已经将PYSPARK_PYTHON设置为称为my_env的conda环境的python。我希望能够在不同的conda环境上启动pyspark，而不必在每个环境中重新安装pyspark (我只想修改PYSPARK_PYTHON)。这也将避免在不同的conda环境中拥有不同版本的Spark (有时这是可取的，但并不总是如此)。当我使用pyspark命令启动吡火花外壳
浏览 23提问于2022-03-25得票数 0
回答已采纳
来自Databricks https://databricks.com/blog/2021/10/04/pandas-api-on-upcoming-apache-spark-3-2.html的这篇最近的博客文章说，在pyspark.pandas下运行熊猫程序所需的唯一更改是将from pandas import read_csv更改为from pyspark.pandas<
浏览 121提问于2021-10-26得票数 1
回答已采纳
希望在pandas数据帧列中搜索多个文本字符串。当找到某个字符串时，程序应该输出一个特定的单词。import pandas as pdfrom pandas import ExcelFile
category = []
for row in df['THINGS&
浏览 0提问于2017-11-30得票数 0
SparkSession available as 'spark'.Traceback (most recent call last):
File "/home/ec2-user/bin/spark/latest/python/pyspark/sql/pandas/utils.py", li
浏览 14提问于2022-12-01得票数 0
回答已采纳
1回答
我正在尝试创建一个新列，使用以下方法检查我的值中是否有字符串：但我一直收到以下信息using .loc[row_indexer,col_indexer] = value instead
See the caveats in the documentation: https://pandas.pydata.org
浏览 7提问于2022-01-12得票数 -1
3回答
在这个例子中，我试图把红色钢笔的价格提高10%。下面是我试过的东西，但是一旦找到匹配的东西，它就会增加所有的价格。import pandas as pd
df['price'] = df
浏览 6提问于2022-06-14得票数 1
回答已采纳
我使用toPandas()将pyspark数据帧转换为pandas数据帧。但是，因为某些数据类型不对齐，所以pandas会将数据帧中的某些列强制转换为object。我想用实际的字符串在我的列上运行.str，但似乎不能让它工作(如果没有显式地找到首先要转换的列)。我也不能使用.str.contains，因为即使包含数值的列是dtype object，在使用.str时它也会出错。(作为参考，我尝试做的是
浏览 1提问于2020-06-23得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
