1回答
我使用下面的CTAS命令使用SparkSQL创建表。FROM TBL1 在那之后，我正在使用下面的PySpark代码读取新创建的位置(TBL2)下面的文件。但是，下面的data frame仅使用lowercase中的所有列名创建。而预期的结果是在camel case中，就像我在上面对CTAS所做的那样。
浏览 12提问于2019-12-23得票数 1
回答已采纳
2回答
我想创建两个dataframes，1)只使用True列名，2)只使用假列名。我最初的想法是创建两个dataframes (因为它们稍后将被附加到一个更大的数据集中)，或者我还考虑将适当的列名转换为一个列表，然后将列表名称转换为列名。我是pySpark新手，我想知道如何在不硬编码任何列名(我有几百列)的情况下做到这一点，我知道我不
浏览 3提问于2020-05-07得票数 1
回答已采纳
我想使用Spark来显示拼花文件的内容，但是由于parquet文件中的列名包含空格，所以我得到了错误--属性名"First“包含”，;{}()\n\t=“中的无效字符。请使用别名重命名它。spark.read.parquet("filepath")r2.select(r2("First Name").alias("FirstName")).show()
但还是会犯同样的错误
浏览 0提问于2018-09-16得票数 5
我是pySpark的新手。我收到了一个csv文件，大约有1000列。我正在使用databricks。大多数这些列之间有空格，例如“总收入”，“总年龄”等。我需要更新所有的列名与空格下划线‘_’。我已经试过了但它在databricks上的Pyspark中不起作用。
浏览 1提问于2019-08-02得票数 1
我已经在现有的数据框中添加了一个新列，但它没有反映在数据帧中。如果我们可以将数据帧分配给另一个数据帧，我们就可以看到结果test.show()
有没有办法向现有的dataframe添加一个新的列(不复制dataframe)？我们只有一个选择(熊猫中<e
浏览 4提问于2021-01-26得票数 0
1回答
R中的列绑定
、、
我在R中使用cbind命令将许多data.frames绑定在一起，并且每个数据框都有相同的列名，因此当我绑定它们时，R会自动将列名从原始名称更改。例如，有一个名为"X“的列，因此对于每个绑定，它将其重命名为X.1、X.2、X.3等。有没有一种方法可以让我在不更改任何列名的情况下绑定它们，并拥有多个同名的列？我希望这样做
浏览 2提问于2013-02-28得票数 1
回答已采纳
2回答
我在我的Kafka流媒体应用程序中的UDF函数有问题。每次调用UDF函数时，输入上只有None值，而不是有效列值。然后引发TypeError，因为应用程序需要str，而不是None。.withColumn("destinationAS", get_asn('destinationIPv4Address'))TypeError: search_best() argument 1 mu
浏览 16提问于2020-05-06得票数 0
在csv文件的json schema中，pyspark是否可以使用dateformat参数读取不同的日期格式？{
使用.option(dateFormat)只能读取一种格式的日期，如何读取其他格式的日期。(或)
在不
浏览 1提问于2021-05-05得票数 0
1回答
我在pyspark中有一个类似下面示例的数据框。我想复制数据框中的列，并将其重命名为另一个列名。Name Age RateBen 32 98期望的输出为：
Name Age
浏览 5提问于2018-05-18得票数 13
回答已采纳
1回答
下面是一些与我正在处理的数据相似的模拟数据： df1 <- data.frame(Date.Time..GMT.04.00 = c(1, 2, 3, 4, 5),，这样我就可以对每个数据帧应用一个函数： df.list <- list(df1, df2) 下面是我编写的函数： change_date_name <- function(df){
colnames(df) <- sub("^Date.Time..GMT.0\\d.00", "Date_
浏览 8提问于2020-06-29得票数 2
回答已采纳
我知道我可以通过执行以下操作来更改列名： df = df.rename(columns = {old_name: new_name}) 但是我必须重命名很多名称，而且旧名称很长，所以我只想传递一个新名称的列表如果我将新列设置为自己的数据框架，则可以很好地工作： ranks = sw[sw.columns[9:15]]
ranks.columns = ['ranking_1', 'ranking_2', 'ranking_3', 'ran
浏览 13提问于2020-10-06得票数 2
有没有办法使用lambda更改pandas dataframe中的某些列名，而不是全部？例如，假设此数据框具有名称为osx、centos、ubunto、windows的列。在这个数据框中，我想用x附加的列名替换所有列名，所以在本例中，我可以用以下方式重命名列名：但是，如果我
浏览 3提问于2013-05-27得票数 9
回答已采纳
1回答
我必须使用pySpark加载很多文件到hive表中。有多个包含数据的不同json文件和定义文件数据模式的单独文件。在不传递模式的情况下加载文件时，数据列变得无序，这就是我想要创建模式的原因。我的想法是将这个文件作为字典读取，提取“属性”键值作为列名和数据类型，然后以某种方式为spark dataframe加载到hive生成模式。
浏览 2提问于2018-07-14得票数 0
我希望使用Spark DataFrame的PySpark在特定的单元格中更改一个值。简单的例子--我创建了一个模拟Spark DataFrame [ (4我知道df.iloc[4, 3] = 'new_orleans'或df.loc[4, 'detroit'] = 'ne
浏览 4提问于2018-05-17得票数 7
回答已采纳
1回答
我想创建一个新的表，就像MySQL数据库中的现有表一样，并对“列名”进行一些更改。那么，有没有办法在不导入的情况下查看现有表的SQL转储呢？ ?
浏览 7提问于2019-05-02得票数 1
回答已采纳
1回答
如何在不更改列名的情况下从数据框中删除行？我的意思是：> df11 335
如你所见，我美丽的名字消失了。当然，我可以在删除后保存我的列名来重命名新的数据帧，
浏览 4提问于2020-11-12得票数 0
回答已采纳
9回答
我刚从R开始，遇到了一个奇怪的行为:在一个空的数据框中插入第一行时，原来的列名就丢失了。row.names)#[1] "one" "two"a#1 5 6#[1] "X5" "X6"
如您所见，列名谁能告诉我为什么会发生这种情况，有没有一种正确的
浏览 135提问于2011-03-08得票数 77
回答已采纳
7回答
我们希望在几个SQL Server数据库中执行更新，将某个表中的所有空值更改为空字符串，而不是NULL。我们可能会在数百个数据库中做到这一点。表名将始终是相同的，但是列名是根据前端应用程序的配置而变化的(不要判断...我没有创建这个系统)。
有没有办法在不事先知道列名的情况下对所有这些列进行更新？
浏览 1提问于2012-10-12得票数 20
回答已采纳
1回答
有一个数据库，其中包含许多用空格和列名命名的表、报告和窗体。最初创建数据库时并不打算使用VBA，现在我们尝试在其中编程，我们面临着如何在不更改表名和列名的情况下进行查询和编程的巨大挑战。非常感谢您的意见。
浏览 1提问于2014-12-20得票数 0
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
