pyspark将数组转换为循环中的字符串
Pyspark是一个用于大数据处理的Python库，它提供了丰富的功能和工具来处理和分析大规模数据集。在Pyspark中，将数组转换为循环中的字符串可以通过使用内置的函数和方法来实现。
首先，我们需要导入Pyspark的相关模块和类：
from pyspark.sql import SparkSession
from pyspark.sql.functions import concat_ws接下来，我们可以创建一个SparkSession对象来初始化Spark环境：
spark = SparkSession.builder.appName("Array to String").getOrCreate()然后，我们可以创建一个包含数组的DataFrame，并使用concat_ws函数将数组转换为字符串：
data = [("John", ["apple", "banana", "orange"]),
("Alice", ["grape", "melon"]),
("Bob", ["kiwi", "pineapple"])]
df = spark.createDataFrame(data, ["name", "fruits"])
df.show()
df = df.withColumn("fruits_str", concat_ws(", ", df.fruits))
df.show()在上述代码中，我们创建了一个包含姓名和水果数组的DataFrame，并使用concat_ws函数将数组转换为以逗号和空格分隔的字符串。最后，我们将新生成的字符串列添加到DataFrame中，并打印出结果。
输出结果如下：
+-----+-------------------+
| name| fruits|
+-----+-------------------+
| John|[apple, banana, o...|
|Alice| [grape, melon]|
| Bob| [kiwi, pineapple]|
+-----+-------------------+
+-----+-------------------+-----------------+
| name| fruits| fruits_str|
+-----+-------------------+-----------------+
| John|[apple, banana, o...|apple, banana, o...|
|Alice| [grape, melon]| grape, melon|
| Bob| [kiwi, pineapple]| kiwi, pineapple|
+-----+-------------------+-----------------+通过上述代码，我们成功地将数组转换为循环中的字符串。这种转换在处理大规模数据集时非常有用，可以方便地对数组进行分析和处理。
推荐的腾讯云相关产品：腾讯云大数据分析平台（https://cloud.tencent.com/product/emr）
腾讯云大数据分析平台是一款基于云计算和大数据技术的全托管大数据处理和分析平台，提供了丰富的工具和服务来处理和分析大规模数据集。它支持Pyspark等多种编程语言和框架，可以方便地进行数据处理、机器学习、数据挖掘等任务。
相关·内容
1回答
R:嵌套分组和通过dplyr的总计数？
r、grouping、dplyr
我正在尝试使用R中的dplyr包使用名为fruit_eaten的数据框架，如下所示：
person,fruit
Alice,apple
Alice,apple
Alice,apple
Alice,orange
Bob,apple
Bob,banana
Bob,grape
Bob,grape
Bob,grape
Cheryl,orange
Cheryl,orange
Cheryl,kiwi
Donald,apple
Donald,apple
Donald,grape
Donald,grape
我想用dplyr做下面的工作
对于每种水果，计算谁吃的最多(所以这不是一个简单的计数，我想要找到最大数量
浏览 4提问于2016-04-18得票数 1
回答已采纳
4回答
用字符串R替换数据格式中的所有数字实例
r、replace、dataframe
我正在考虑用单词/字符串替换数据中的所有数字。每个数字将被完全相同的单词替换。例如，数字5的所有实例都应替换为“香蕉”，数字10的所有实例应替换为“奇异果”，以此类推。
这是一个样本数据。行名和冒号也是数字：
# 1 2 3 4 5 6
#1 7 7 7 7 7 7
#2 5 5 5 5 5 5
#3 4 4 4 4 4 4
#4 8 8 8 8 8 8
#5 1 1 1 1 1 1
#6 2 2 2 2 2 2
#7 6 6 6 6 3 3
#8 3 3 3 3 6
浏览 8提问于2014-06-21得票数 2
回答已采纳
1回答
从一个数据帧中提取数据并将其添加到第二个数据帧中
python、dataframe
我是python初学者。我有两个数据帧，df1，df2有一些副本(apple，grape)，所以我想从df2添加用户信息，并将其添加到df1，但只添加到副本。最后，我应该有一个新的df1与苹果和葡萄行与新的数据(我知道我将不得不创建一个新的列‘用户’在df1中)，任何帮助是感激的
import pandas as pd
df1 = pd.DataFrame({'FRUIT':['banana','apple', 'grape'], 'COLOR':['yellow', 'red',
浏览 2提问于2019-04-06得票数 0
1回答
迭代，每个键多个值
loops、dictionary、ansible
我有个这样的白痴：
distr:
Alice:
- Avocado
- Cherries
Bob:
- Apple
David:
- Pineapple
- Watermelon
John:
- Banana
- Mango
Shara:
- Orange
- Peach
现在我想用每个组合来执行一个任务。
如下所示：
Alice eats Avocado
Alice eats Cherries
Bob eats Apple
David eats Pineapple
David
浏览 1提问于2021-03-16得票数 1
回答已采纳
7回答
PHP正则表达式从模式中删除不需要的值
php、regex、preg-replace、preg-match
我有一大堆抓取的名称和价格，如下所示：
Array([0] => apple3 [1] => £0.40 [2] => banana6 [3] => £1.80 [4] => lemon [5] => grape [6] => pear5 [7] => melon4 [8] => £2.32 [9] => kiwi [10] => £0.50)
我想删除后面没有紧跟价格的水果名称。在上面的示例中，这将删除产生以下输出的：[4] => lemon [5] => grape [6] => pear5：
Array(
浏览 8提问于2012-10-17得票数 1
回答已采纳
3回答
生成随机字符串，而不重复以前的字符串吗？
arrays、swift、string、random
当我按下按钮时，我的代码已经生成数组的随机字符串，但有时字符串会被重复。我要做什么才能使字符串"Mango“只在所有其他字符串都已经调用时才再次调用，而不需要使用洗牌，我想一次调用一个字符串？
例子：“芒果”，“猕猴桃”，“香蕉”，“菠萝”，“甜瓜”，“芒果”，“猕猴桃”，……
这是我的代码：
var array = ["Mango", "Banana", "Apple","Kiwi", "Melon", "Pineapple"]
let fruits = Int(arc4random_u
浏览 4提问于2017-09-23得票数 1
回答已采纳
2回答
如何更有效地将分号分隔的列透视为0/1/2指示矩阵？
python、pandas、performance、lambda、pivot
我从一个由以下代码生成的pandas Dataframe开始：
import pandas as pd
data = {'basket_1':['apple;banana;orange', 'apple;banana;mango', 'mango;orange;grapefruit'],
'basket_2':['pineapple;strawberry;peach', 'peach;lemon;guava', 'strawberry;peach;guava
浏览 0提问于2021-05-28得票数 3
3回答
寻找火花放电arrays_zip的逆
python、apache-spark、pyspark、pyspark-dataframes
我有以下格式化的输入数据框架：
from pyspark.sql import SparkSession
import pyspark.sql.functions as F
spark = SparkSession.builder.master("local").getOrCreate()
input_df = spark.createDataFrame(
[
('Alice;Bob;Carol',),
('12;13;14',),
('5;;7',),
浏览 3提问于2020-06-23得票数 1
回答已采纳
3回答
发生在两个日期R上的可变值
r、unique
我想知道谁至少有两个不同的(独特的)日期的苹果或橘子。我想创建一个新的列，用二进制指示符来表示一个人是否至少有两个日期(1=yes，0=no)有一个橘子或苹果。
我来的最近的是这个plyr码。
df1<- ddply(df, .(names, fruit), mutate, acne = ifelse(fruit=="apple" | fruit=="orange" & length(unique(dates))>=2,1,0))
然而，这不是解决办法。安妮两次得到苹果，但在同一天，所以她不应该得到一个在这里。同样，泰德得到了1分，尽管他只有
浏览 0提问于2013-07-19得票数 1
回答已采纳
2回答
将数据从TableViewController传递到XIB文件，而不需要Segues 3
ios、swift、uitableview、xib
我不熟悉快速和快速的学习3
我试图将数据从表视图控制器传递到XIB文件。我的表视图控制器中有水果列表。单击该控件后，我希望在新XIB控制器中的标签中显示水果名称。我尝试了下面的代码，但它没有给我显示XIB vc..please中的任何数据，告诉我这里遗漏了什么
我的TableVC：
class FruitsTableViewController: UITableViewController {
var fruits = ["Apple", "Apricot", "Banana", "Blueberry", "Ca
浏览 3提问于2017-03-19得票数 0
回答已采纳
1回答
mongodb模式优化
json、django、mongodb、mongodb-query
上早期查询的扩展
在一个季节里，不同的小贩销售不同的水果，他们按照货架号来安排它们。下面是我在mongodb - vendor.json中插入的一些记录
{
"_id" : "vendor1",
"shelf_1": ["Pear","Banana"],
"shelf_2" : ["Grapes", "MuskMelon", "Apricot"],
"shelf_3" : ["Pineapple, "Ki
浏览 3提问于2015-04-28得票数 0
回答已采纳
2回答
编辑保存到用户默认情况下的数组
ios、swift、xcode6.4
我一直试图从保存到用户默认值的Array中读取数据，但是对象类型会导致冲突。
if NSUserDefaults.standardUserDefaults().valueForKey("data")==nil{
let arrya : Array = ["Apple", "Apricot", "Banana", "Blueberry", "Cantaloupe", "Cherry",
"Clementine", "Coc
浏览 3提问于2015-08-13得票数 1
回答已采纳
1回答
如何从熊猫现有的一栏中用名单中的名字创建新的列，并从另一栏中的列表中赋值？
python、python-3.x、pandas、list、time
我有一个大数据的问题*大约1kk行，180列。它从3列开始。第一列包含ids。第二行和第三行包含每一行中的列表--它们是连接的(来自第一列的第一行-first元素与从第二列的列表中的第一个元素连接：
ids | fruits | count |
1 | [grape, apple, banana] | [7.0, 4.0, 3.0]
2 | [mango, banana, strawberry, grape] | [5.0, 8.0, 15.0, 2.0]
3 | [apple, avocado] | [9.0, 1.0]
4 | NaN | NaN
5 | [pummelo] | [
浏览 3提问于2019-03-29得票数 2
回答已采纳
1回答
索引具有多个条件的Python Pandas数据帧SQL，如where语句
python、sql、indexing、pandas
我对R很有经验，对Python Pandas还很陌生。我正在尝试对DataFrame进行索引，以检索满足一组逻辑条件的行-非常类似于SQL的"where“语句。
我知道如何在R中使用数据帧(以及R的data.table包，它更像是一个熊猫DataFrame而不是R的原生数据帧)来做到这一点。
下面是一些构建DataFrame的示例代码，并描述了我希望如何对其进行索引。有什么简单的方法可以做到这一点吗？
import pandas as pd
import numpy as np
# generate some data
mult = 10000
fruits = ['Appl
浏览 1提问于2013-07-01得票数 9
1回答
使用ES6，我如何在for循环结束时返回？
javascript、ecmascript-6、redux、immutability
我对Redux、es6、函数式编程和不变性都比较陌生。由于我正在使用所有这些，所以我在我试图构建的redux应用程序中遇到了一些严重的混乱。我遇到的问题是，我正在尝试更新我的存储，但它只更新了我的操作负载数组中的第一个元素。我知道这是因为我在for in循环中做了返回。问题是，我不知道如何在for循环之外返回更新后的状态。
这是我的减速器的样子：
function fruitsReducer(state = initialState, action){
switch(action.type){
case 'DEDUCT':
//only updates on
浏览 0提问于2017-05-11得票数 1
4回答
下列条件下的n-长度序列
arrays、ruby、algorithm、graph-theory、graph-algorithm
我有以下二维水果阵列：
fruits = [["apple", "lemon"],["apple", "cucumber"],["carrot", "lemon"],["carrot", "cucumber"],["peach", "cucumber"],["lemon", "melon"],["grape", "cucumber"],["lime", &#
浏览 14提问于2017-09-25得票数 1
回答已采纳
4回答
PHP函数array_replace()，为什么参数是通过引用传递的？
php、arrays、php-5.3
array_replace()的PHP.net上的函数签名表明数组将通过引用传入。/benefit使用这种方法而不是值的原因是什么，因为要获得预期的结果，必须将完成的数组返回给变量。为了清楚起见，我能够重现手册中的结果，所以这不是关于如何使用此函数的问题。
下面是函数签名和示例，它们都来自php.net。
来源：
函数签名：
array array_replace ( array &$array , array &$array1 [, array &$... ] )
示例代码：
$base = array("orange", "banana
浏览 0提问于2012-06-22得票数 5
回答已采纳
1回答
实现Aria 1.1
wai-aria
我正在尝试实现w3c.org提供的示例1。网址为。它一直在线给我未定义的错误(var ex1Combobox =新的aria.ListboxCombobox)。代码如下：
<!DOCTYPE html>
<html>
<body>
<label for="ex1-input"
id="ex1-label"
class="combobox-label">
Choice 1 Fruit or Vegetable
</label>
<div class="combobo
浏览 2提问于2020-03-12得票数 0
3回答
如何在一个列表列的平均值上对熊猫数据进行群比操作？
python、pandas、dataframe、group-by
我有一只熊猫DataFrame，如下所示：
df = pd.DataFrame({"A": [1, 1, 1, 2, 2],
"B": ["apple", "apple", "banana", "pineapple", "pineapple"],
"C": [[6, 5, 2], [2, 10, 2], [5, 37, 1], [4, 19, 2], [1, 5, 1]]})
现在，我想对列A
浏览 8提问于2021-05-22得票数 2
回答已采纳
2回答
tapply -创建NA？
r、plyr、tapply
我正在尝试计算每个人的平均独特水果数量(我通常的实践数据)。这两行代码都能很好地工作：
with(df, tapply(fruit, names, FUN = function(x) length(unique(x))))->uniques
sum(uniques)/length(unique(df$names))
aggregate(df[,"fruit"], by=list(id=names), FUN = function(x) length(unique(x)))->d1
sum(d1$x)/length(unique(df$names))
我的问题是，当
浏览 2提问于2013-07-19得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
