将多个列的值存储在新列下的pyspark dataframe中
在pyspark中，可以使用withColumn方法将多个列的值存储在新列下的dataframe中。
具体步骤如下：
- 导入必要的模块：
from pyspark.sql import SparkSession
from pyspark.sql.functions import concat, col- 创建SparkSession对象：
spark = SparkSession.builder.getOrCreate()- 创建原始的dataframe：
data = [("John", "Doe", 25),
("Jane", "Smith", 30),
("Tom", "Brown", 35)]
df = spark.createDataFrame(data, ["first_name", "last_name", "age"])
df.show()输出：
+----------+---------+---+
|first_name|last_name|age|
+----------+---------+---+
| John| Doe| 25|
| Jane| Smith| 30|
| Tom| Brown| 35|
+----------+---------+---+- 使用
withColumn方法将多个列的值存储在新列下：
df_new = df.withColumn("full_name", concat(col("first_name"), col("last_name")))
df_new.show()输出：
+----------+---------+---+---------+
|first_name|last_name|age|full_name|
+----------+---------+---+---------+
| John| Doe| 25| JohnDoe |
| Jane| Smith| 30|JaneSmith|
| Tom| Brown| 35|TomBrown |
+----------+---------+---+---------+在这个例子中，我们使用withColumn方法创建了一个新的列"full_name"，该列的值是"first_name"和"last_name"列的值的拼接。
推荐的腾讯云相关产品：腾讯云的数据仓库产品TencentDB for TDSQL，它提供了高性能、高可用的云数据库服务，适用于各种规模的数据存储和分析场景。产品介绍链接地址：https://cloud.tencent.com/product/tdsql
相关·内容
2回答
从熊猫数据栏中删除特定一组过滤列中的空列
python、pandas、dataframe
我有一个包含多个空列的dataframe。我在他们中间几乎没有旗帜栏。我只需要从我的dataframe中删除空国旗列。我需要一个解决方案来过滤出国旗列，并从原始数据栏中删除它们。
df = pd.DataFrame({'Last_Name': ['Smith', 'Tom', 'Brown'],
'First_Name': ['', '', ''],
'Age'
浏览 3提问于2019-07-03得票数 1
回答已采纳
2回答
我不知道这是什么正确的定义，但它比正常的关系更有活力。
联系人：
id, first_name, last_name
字段：
id, handle, type
field_values:
id, field_id, contact_id, value
表字段在这方面没有那么重要，但希望给出上下文。
联系人表示例：
id first_name last_name
-- ----- --------
1 John Doe
2 Jane Smith
字段值表的示例：
id contact_id field_id val
浏览 0提问于2019-08-31得票数 1
回答已采纳
2回答
用拆分列替换dataframe列
python、python-3.x、pandas、dataframe
拆分后如何用列替换dataframe列？我知道如何拆分列，但不知道如何用拆分值列替换它。
输入：
import pandas as pd
df = pd.DataFrame({'id': [101, 102],
'full_name': ['John Brown', 'Bob Smith'],
'birth_year': [1960, 1970]})
df_new = df['full_name'].str.split(&
浏览 0提问于2020-03-30得票数 0
回答已采纳
1回答
Python，Pandas:比较数据并分别保存旧的、更新的和新的
python、pandas、dataframe、comparison
晚上好,
假设我有两个数据文件：
Dataframe 1:
id | first_name | last_name | age | personnel_number
1 | Jane | Doe | 37 | 0045ac
2 | John | Doe | 35 | 0102ha
3 | Sarah | Smith | 28 |
浏览 1提问于2021-02-13得票数 1
回答已采纳
3回答
Python - List:如何从带有嵌套属性的字典列表中删除空属性？
python、list、dictionary
因此，我有下面的字典列表，我已经用blank、None或empty values初始化了这些字典。检查列表的每个字典并检查一个属性是否符合这些条件并删除它们，正确的方法是什么。
members = [{
"member_id": 0,
'title': "Manager",
'full_name': "John Doe",
'first_name': None,
'last_name': None,
浏览 0提问于2019-07-31得票数 2
3回答
如何在SQLite中转换表？
sql、sqlite、transpose
你好，所以我在SQlite中有一个这样的表：
User | Group | Role
John Smith | A | admin
John Smith | B | user
Jane Doe | A | user
Jane Doe | B | limit
Jane Doe | C | admin
Jack Brown | A | admin, user
我想转接这个表，这样每个列标题都只有一个row.The用户是"Group"。"Gr
浏览 0提问于2018-10-24得票数 8
回答已采纳
1回答
我想要获得没有头列的特定行的内容，我将使用df.ilocrow编号，但它没有给我一个预期的结果？我的代码如下：
import pandas as pd
df = pd.DataFrame({
'first_name': ['John', 'Jane', 'Marry', 'Victoria', 'Gabriel', 'Layla'],
'last_name': ['Smith', 'Doe', 'Jackson&
浏览 2提问于2022-03-01得票数 0
回答已采纳
2回答
我有一个联系人表：
id first_name last_name full_name
1 John Doe -null-
2 -null- -null- Mike Willson
3 Dany Jean -null-
4 Peter -null- -null-
如何合并first_name和last_name列以填充full_name列，其中full_name为NULL<code>E 210</code>
我希望得到这样的结果
浏览 0提问于2019-11-25得票数 0
回答已采纳
1回答
我真的需要一些帮助
我使用csv.DictReader()方法将csv文件导入python，数据结构如下所示：{'first_name': 'John', 'last_name': 'Doe', 'email': 'john-doe@bogusemail.com'} {'first_name': 'Mary', 'last_name': 'Jane', 'email': 'maryjane@bogusemail.
浏览 5提问于2022-05-17得票数 0
2回答
将datatable转换为R中的一组JSON对象
json、r
我想将R中的数据表转换为一组json对象:假设我的datatable如下：
name group age (y) height (cm) weight (kg) score
[1,] "Doe, John" "Red" "24" "182" "74.8" NA
[2,] "Doe, Jane" "Green" "30" "170" "70.1
浏览 1提问于2014-09-12得票数 0
2回答
Python & Pandas:根据不同csvs中的匹配编写列
python、pandas、csv
对于Python和Pandas来说，任何帮助或指导都是值得赞赏的。
我正在使用两个不同的csv，roster.csv和assignment.csv，字段的结构如下：
roster.csv
first_name, last_name, user_id, user
John, Doe, 0001, abcd
Jane, Doe, 0002, efgh
John, Smith, 0003, ijkl
assignment.csv
user, text
abcd, text1
efgh, text2
ijkl, text3
当roster.
浏览 0提问于2021-08-22得票数 0
回答已采纳
1回答
如何选择带有复选框表单的PHP多维数组项
php、html、arrays、forms
我对PHP非常陌生，一般只是代码，所以如果我的代码看起来一团糟，我很抱歉。
我已经创建了一个多维数组，当某些复选框被选中并通过表单提交时，我只想要显示选定的数组项。例如，约翰史密斯的信息和形象，只有当他被选中。
以下是我的多维数组：
<?php
$characters = array (
'john' =>
array (
'first_name' => 'John',
'last_name' => 'Smith',
'age' =>
浏览 5提问于2021-12-08得票数 0
回答已采纳
3回答
MySQL左外加入问题
mysql、left-join
我有一个用于项的元数据的表wmeta：(有些项缺少数据)简化的示例：
id | item_id | meta_key | meta_value
1 |100 |first_name |Joe
2 |100 |last_name |Bloggs
3 |100 |age |21
4 |101 |first_name |Fred
5 |101 |last_name |Smith
6 |102 |first_name |Jane
7 |102 |last_
浏览 3提问于2017-09-26得票数 0
回答已采纳
7回答
从php中的关联数组中获取列值
php、associative-array
我有一组表格：
$records = array(
array(
'id' => 2135,
'first_name' => 'John',
'last_name' => 'Doe',
),
array(
'id' => 3245,
'first_name' => 'Sally',
'last_name'
浏览 11提问于2014-05-21得票数 1
回答已采纳
3回答
对pandas数据帧中的行进行编号
pandas、dataframe、loops
我有一个数据帧看起来像这样：
import pandas as pd
df = pd.DataFrame({
'first_name': ['John', 'Jane', 'Marry', 'Victoria', 'Gabriel', 'Layla'],
'last_name': ['Smith', 'Doe', 'Jackson', 'Smith', 'Brown',
浏览 1提问于2021-05-30得票数 1
1回答
Elasticsearch:如何在计算字段上搜索
elasticsearch、groovy
使用当前版本的数据，即：
[{
"first_name" : "John",
"last_name" : "Smith",
"age" : 25,
"about" : "I love to go rock climbing",
"interests": [ "sports", "music" ]
}, {
"first_name" : "
浏览 1提问于2016-01-25得票数 4
回答已采纳
1回答
Solr是否支持每个父级的多种类型的嵌套文档？
solr、nested
使用Solr 5.2.1
父文档可以具有多种类型的嵌套文档，还是每个父文档都有一种子文档类型？
所以，例如
gathering: {
location: { name: "The park", city: "New York", country: "United States Of America", ...}
people: [
{ first_name: "John", last_name: "Smith", age: 21, ... },
{ first_na
浏览 2提问于2017-04-04得票数 1
回答已采纳
1回答
如果单元格包含MDBDataTable，则无法对列进行排序。
html、reactjs、datatables、jsx、mdbreact
我试图使用mdbreact在reactj中生成一个可排序和可搜索的表，如下所示
import React from 'react';
import { MDBDataTable } from 'mdbreact';
const tableData = {
columns: [
{
field: 'first_name',
label: 'First Name'
},
{
field: 'last
浏览 1提问于2020-05-29得票数 1
回答已采纳
1回答
Python通过匹配值获取json数组项
python、python-3.x
因此，我有一个json数据数组，如下所示：
[{
"first_name": "Joe",
"last_name": "Smith",
"numbers": [1,2,3,4,5]
}, {
"first_name": "Jane",
"last_name": "Doe",
"numbers": [6,4,1,35,2]
}, {
"first_name": "Mike",
浏览 2提问于2017-08-23得票数 2
回答已采纳
2回答
从Python中的字典列表中创建以特定属性作为键的新字典的简明方法
python、dictionary
我希望从字典列表中创建一个新字典，并将这些字典中的一个特定属性作为新键。
下面是一个更好地概述这一概念的例子：
原始
[
{
"id":"asdf1234",
"firstname":"john",
"lastname":"smith",
"age":30
},
{
"id":"sdfg2345",
"firstname":"jane
浏览 8提问于2020-07-22得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
