这是我的数据集 lastvalue_month DataFrame[msisdn: string, year: string, month: string, day: string, date_id:hpos_from_ios: string, hptype_to_smart: string, hptype_from_smart: string, hpbrand_change: string]` 这是我的代码 from pyspark.sqlhptype_from_smart) AS `hptype_from_smart`'>,
Colum
浏览 15提问于2021-09-03得票数 1
回答已采纳
1回答
我有一个pyspark格式的dataframe，它的列是大写的，比如ID、COMPANY等等我们如何做到这一点？
浏览 0提问于2017-03-25得票数 18
回答已采纳
2回答
我有一些混合的列名，比如sum(TXN_VOL)，我想把它们转换成大写字母，比如SUM(TXN_VOL)我尝试的是: Dataset<Row我已经在许
浏览 1提问于2019-01-02得票数 0
回答已采纳
在PySpark中，我试图清理一个数据集。一些列的值中有不需要的字符(=“")。假设列总是包含类似的条目，我只使用数据集的最后一行。中尝试了以下操作，但是它返回所有的列名：for x in df.columns: columns_to_fix.append(x)columns_to_fix: ['id', 'value3&#
浏览 0提问于2018-09-24得票数 1
回答已采纳
2回答
我有一个dataframe值为false、true或null。我想创建两个dataframes，1)只使用True列名，2)只使用假列名。我最初的想法是创建两个dataframes (因为它们稍后将被附加到一个更大的数据集中)，或者我还考虑将适当的列名转换为一个列表，然后将列表名称转换为列名。我是pySpark新手，我想知道如何在不硬编码任何列名(我有几百列)的情况下做到这一点，我知道我不能遍历行，因为这样做会违背pySpark的目的
浏览 3提问于2020-05-07得票数 1
回答已采纳
1回答
我有以下数据帧：from pyspark import SparkContext [11, 'abc',str+'_'+str(val)，结果表填充相应的val，<em
浏览 17提问于2019-07-30得票数 0
回答已采纳
2回答
我是PySpark新手，我想要更改我的列名，因为它们中的大多数都有一个烦人的前缀。我的专栏名称如下：e1014_var2Data_date_stampfor col in df.columns:
df= df.withColumnRenamed(col, col.upper())
浏览 2提问于2021-08-31得票数 1
回答已采纳
我有两个不同的数据源，模式和列名略有变化。例如： col("id"),是否有任何方法可以让模式意识到并选择对列名上的位置或次要名称更
浏览 4提问于2022-07-19得票数 0
当我从.bib下载IEEEExplore项目时，即使原始标题没有大写，纸质标题也会用小写格式格式化--为了保持原始格式，我必须在标题周围手动添加花括号。如何设置JabRef以向所有库条目添加大括号，以保持标题大写？
浏览 5提问于2022-07-25得票数 0
我正在尝试通过pyspark使用columnSimiliratiespyspark.__version__
test我相信这是最后一行，全是0--但理想情况下，我想知道所有的行，outputted...any，我该如何得到方阵？
浏览 1提问于2017-08-24得票数 0
1回答
我有一个pyspark dataframe，其中一列填充了列表，要么包含条目，要么只包含空列表。我想高效地过滤掉所有包含空列表的行。import pyspark.sql.functions as sf也许为了清楚起见，我有多个列，但想要在单个列上应用上面的过滤器，
浏览 17提问于2017-02-24得票数 7
回答已采纳
这个问题在这里已经有答案了 ： 在Pyspark Dataframe中修剪 (3个答案) 3天前就关门了。 对于此数据帧:如何修剪循环中每列的所有前导空格和尾随空格？types. ['col1', 'col2','col3'] # add your columns label here df.show(5) 我知道如何通过如下方式指定每一列，但需要对循环中的所有列执行此
浏览 19提问于2021-02-26得票数 0
回答已采纳
还有关于如何在PySpark DataFrame中重命名列的其他线程，请参阅、和。我不认为现有的解决方案具有足够的性能或通用性(我有一个应该更好的解决方案，而且我被一个边缘案例错误困住了)。，但它还不够通用，而且对于许多列来说，手工操作太多了(例如，如果您试图将2,000个列名转换为snake_case)
importa|| sam|
浏览 5提问于2020-07-16得票数 2
如何创建对象的数据格式，列名是创建对象的函数的名称？因此，要创建常规的dataframe，我有：但是，我目前还没有办法将所有的functionA__name__, etc.作为列名插入到dataframe中。
我如何保持同样的简洁性，并设置列名？
浏览 0提问于2015-12-12得票数 2
回答已采纳
我有一个包含100个cols的pysaprk数据帧：我有另一个pyspark dataframedf2，具有相同的列计数和列名称，但数据类型不同。df2=[(col1,bigint),(col2,double),(col3,string),..so on]
如何使df2中所有cols的数据类型与其各自cols的dataframe df1中存在的数据类型相同
浏览 3提问于2018-01-03得票数 0
databricks中运行了一条火花放电线：在这行代码之前和之后，dataframe随机丢失了一堆行。如果在行之前和之后进行计数，那么行数就会下降。导入为F df = df.toDF(*F.col( column_name )，用于column_name in df.columns)
在df.Column：-1中，
浏览 3提问于2022-09-21得票数 0
我试图降低PySpark Dataframe模式的所有列名的情况，包括复杂类型列的元素名。|-- key: timestamp (nullable = true)但是，我只能使用下面的脚本降低列名的情况：schema = df.schema
schema.fields = list(map(lambda f
浏览 0提问于2021-06-15得票数 0
回答已采纳
1回答
为什么Pandas中的列名分配更倾向于大写而不是小写？示例： 'altitude':[3158,3000,2762]})dframe = DataFrame({'City&
浏览 3提问于2015-05-31得票数 2
回答已采纳
2回答
但现在当我尝试查询数据库时：我得到一个错误' column _ name '，因为我们的mssql数据库服务器被设置为使用区分大小写的列名，而规则是强制我的所有列名都是小写的。我如何设置规则来保持敏感度(更好)或使其大写？
浏览 4提问于2010-11-09得票数 2
一些用户在大写中输入他们的姓名和地址。我想出了如何将熊猫的dataframe列转换为标题大小写(df‘last’= df.last_name.str.title() )，但这会混淆某些姓，比如McWhirter，它变成了Mcwhirter。很抱歉，如果这是一个菜鸟的问题，但是否有任何方法有选择地应用标题大小写的条目，只有在所有大写？
浏览 2提问于2022-05-09得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
