在SparkSQL中拆分字符串
是指在使用SparkSQL进行数据处理时，需要将字符串按照指定的分隔符进行拆分，以便进行进一步的数据分析和处理。
拆分字符串在数据处理中非常常见，可以用于处理日志数据、CSV文件等。在SparkSQL中，可以使用内置的函数来实现字符串的拆分操作。
常用的拆分字符串的函数有：
- split函数：该函数可以按照指定的分隔符将字符串拆分成数组。语法如下：split(str: Column, pattern: String): Column示例：import org.apache.spark.sql.functions._
val df = spark.createDataFrame(Seq(("John,Doe"), ("Jane,Smith")))
.toDF("name")val result = df.select(split($"name", ",").as("name_array"))
result.show()
输出结果：
+------------+
| name_array |
+------------+
| John, Doe|
|Jane, Smith|
+------------+
- explode函数：该函数可以将数组类型的列拆分成多行。语法如下：explode(e: Column): Column示例：import org.apache.spark.sql.functions._
val df = spark.createDataFrame(Seq((Array("John", "Doe")), (Array("Jane", "Smith"))))
.toDF("name_array")val result = df.select(explode($"name_array").as("name"))
result.show()
输出结果：
+-----+
| name|
+-----+
| John|
| Doe|
| Jane|
|Smith|
+-----+
字符串拆分在实际应用中非常常见，例如可以用于统计每个单词的出现次数、分析用户行为等。在云计算领域，可以使用腾讯云的云服务器（CVM）和弹性MapReduce（EMR）等产品来进行大数据处理和分析。
腾讯云云服务器（CVM）：https://cloud.tencent.com/product/cvm
腾讯云弹性MapReduce（EMR）：https://cloud.tencent.com/product/emr
相关·内容
4回答
将字符串转换为2个变量的最佳方法
php、string、variables
我在将一个字符串中的名字和姓氏解析成两个不同的变量时遇到了一些问题。
字符串始终采用以下格式："Smith，John“或"Doe，Jane”
有没有一个函数可以把名字和姓氏分成两个不同的变量，比如...
$firstname = "John"
$lastname = "Smith"
浏览 0提问于2011-08-31得票数 2
回答已采纳
10回答
如何通过位于括号外的逗号拆分字符串？
python、regex、split
我得到了一个如下格式的字符串：
"Wilbur Smith (Billy, son of John), Eddie Murphy (John), Elvis Presley, Jane Doe (Jane Doe)"
因此，它基本上是演员的名字列表(可选，后面加上括号中的角色)。角色本身可以包含逗号(演员的名字不能包含逗号，我强烈希望如此)。
我的目标是将这个字符串拆分成一个成对的列表- (actor name, actor role)。
一个显而易见的解决方案是遍历每个字符，检查'('、')'和','的出现情况，并在外部出现逗号
浏览 4提问于2009-10-30得票数 23
回答已采纳
1回答
如何将数组数组(字符串类型)转换为struct /Scala？
arrays、scala、dataframe、apache-spark、apache-spark-2.3
我有个数据
+---------------------------------------------------------------+---+
|family_name |id |
+---------------------------------------------------------------+---+
|[[John, Doe, Married, 999-999-9999],[Jane, Doe, Married,Wife,]]|id1|
|[[Tom, Riddle
浏览 4提问于2021-10-29得票数 0
回答已采纳
7回答
基于分隔符的based拆分字符串
sql、sql-server、sql-server-2008、tsql、sql-server-2008-r2
我有一些数据，我想根据可能存在或不存在的分隔符进行拆分。
示例数据：
John/Smith
Jane/Doe
Steve
Bob/Johnson
我使用以下代码将这些数据拆分为“名”和“姓”：
SELECT SUBSTRING(myColumn, 1, CHARINDEX('/', myColumn)-1) AS FirstName,
SUBSTRING(myColumn, CHARINDEX('/', myColumn) + 1, 1000) AS LastName
FROM MyTable
我想要的结果是：
FirstName---Last
浏览 5提问于2014-02-14得票数 54
回答已采纳
2回答
使用PySpark将string类型列转换为struct并解压列
pyspark、apache-spark-sql
投入DF：
+------+-----------------------------------------------------+
|rowNum|infoCol |
+------+-----------------------------------------------------+
|100 |[('john', 'customer'), ('abc, mno, xyz', 'purchase')]|
|200 |[(
浏览 1提问于2020-08-19得票数 1
回答已采纳
3回答
Excel VBA:转置字符串的不同部分
vba、excel
我的值在相邻的单元格中是水平的。在每个单元格中，我提取单元格的某个子字符串，并希望在特定列中垂直转换每个部分。
示例：
ColA ColB ColC
First.Second<Third> Fourth.Fifth<Sixth> Seventh.Eighth<Ninth>
在一个新的工作表(Ws2)上应该是这样的：
ColA ColB ColC
First Second
浏览 5提问于2017-01-30得票数 1
回答已采纳
2回答
如何将DF转换为字符串/数组，然后再转换回DF？
scala、apache-spark、apache-spark-sql
我想做以下几件事：
我有一个有两列(ID，时间戳)的DataFrame，都是字符串，我想把它转换成另一种格式，字符串类型，或者ArrayString或ArrayRow，我真的不介意，但我想把它转换回DF。
我尝试过不同的方法：
val aux= df.collect().map { row => row.toString() }
val distDataRDD = sc.parallelize(aux).toDF().show()
但是我只有一个名为"value“的列，它是来自原始DF的两列的串联。
我也尝试过：
val aux= df.collect().map { r
浏览 69提问于2019-10-24得票数 0
回答已采纳
2回答
C#将文件行读入列表并用作参数
c#、csv、streamreader、ilist
我不太清楚如何做到这一点，但我正在尝试逐行读取一个.CSV文件，将每个独立行存储到一个List<>中。然后循环遍历列表，并使用每一项(行)作为我的Employee类的一个新实例的签名。
database.csv
John Doe,4568,0
Jane Smith,6154,1 // this represents my constructors signature
...
...
Employee.cs (仅限构造函数)
public Employee(string emp, string id, int state)
{
EmpName = emp;
浏览 4提问于2014-12-05得票数 0
回答已采纳
2回答
如何使用regex捕获特定单词和紧跟其前面的分号之间的文本？
regex、vba
我在Excel中有许多行的人和头衔，并希望筛选出某些人的头衔。例如，单元格可能包含以下内容：
John Smith, Co-Founder;Jane Doe, CEO;James Jackson, Co-Founder
这些单元格的长度各不相同，人数和头衔也各不相同。我的计划是在开头和结尾添加分号，以使其标准化。这将给我带来：
;John Smith, Co-Founder;Jane Doe, CEO;James Jackson, Co-Founder;
目前，我有一个代码可以遍历并使用下面的正则表达式Founder.*?;，它将根据我的代码(即Founder;Founder;)返回每个fou
浏览 0提问于2021-01-19得票数 0
3回答
将dataframe转换为列名和值的结构数组
scala、apache-spark、apache-spark-sql
假设我有这样的数据
val customer = Seq(
("C1", "Jackie Chan", 50, "Dayton", "M"),
("C2", "Harry Smith", 30, "Beavercreek", "M"),
("C3", "Ellen Smith", 28, "Beavercreek", "F"),
("C4", "Jo
浏览 0提问于2019-05-10得票数 0
回答已采纳
2回答
如何查找包含数字的字符串
regex、apache-spark、hive
我想用spark找到有数字的字符串。
Example : String = "abc def ghi2 xyz4"
Answer : ghi2 xyz4
浏览 0提问于2020-05-13得票数 0
5回答
如何根据一行中的最小值找到列名？
sql、apache-spark、apache-spark-sql
我有一份数据文件。它有四列
+-------+-------+-------+-------+
| dist1 | dist2 | dist3 | dist4 |
+-------+-------+-------+-------+
| 42 | 53 | 24 | 17 |
+-------+-------+-------+-------+
我要的输出是
dist4
看起来很简单，但我没有找到任何正确的解决方案，使用dataframe或sparksql查询。
浏览 0提问于2018-11-15得票数 0
回答已采纳
4回答
scala spark dataframe:将一个字符串列分解为多个字符串
scala、dataframe、apache-spark
下面有什么建议吗？
输入df:这里col1的类型是string
+----------------------------------+
| col1|
+----------------------------------+
|[{a:1,g:2},{b:3,h:4},{c:5,i:6}] |
|[{d:7,j:8},{e:9,k:10},{f:11,l:12}]|
+----------------------------------+
预期输出：(同样，col1的类型为string)
+-------------+
|
浏览 0提问于2019-11-22得票数 0
2回答
用scala将DataFrame单行转到列
scala、dataframe、apache-spark、pyspark、transpose
我在这里看到了一个问题：和我想做的正好相反。
我有一个一行的Dataframe，它的值是string、int、bool、array：
+-----+-------+-----+------+-----+
|col1 | col2 |col3 | col4 |col5 |
+-----+-------+-----+------+-----+
|val1 | val2 |val3 | val4 |val5 |
+-----+-------+-----+------+-----+
我想把它转成这样：
+-----------+-------+
|Columns | values|
+---
浏览 3提问于2020-04-27得票数 2
回答已采纳
4回答
在postgres中分割人名的最简单的方法？
sql、string、postgresql
考虑一个人名全的表格：
create table names (full_name varchar not null);
insert into names (full_name)
values ('Jane Marie Doe'), ('John Doe');
在postgres中，最简单的(最易读的)方法是什么？
first_name | last_name
------------+-----------
Jane Marie | Doe
John | Doe
(2 rows)
这是我想出来的，但看起来真的很复杂。肯定有更简
浏览 4提问于2015-09-09得票数 3
4回答
星火SQL列操作
apache-spark、dataframe、apache-spark-sql、apache-spark-dataset
我有一个数据集，数据集中在Cols下面。
df.show();
+--------+---------+---------+---------+---------+
| Col1 | Col2 | Expend1 | Expend2 | Expend3 |
+--------+---------+---------+---------+---------+
| Value1 | Cvalue1 | 123 | 2254 | 22 |
| Value1 | Cvalue2 | 124 | 2255 | 23 |
+--------+--
浏览 0提问于2018-02-27得票数 0
回答已采纳
3回答
在MSAccess VBA中使用不同数量的分隔符解析字符串
vba、string、ms-access、parsing、delimiter
在MSAccess VBA中，我尝试将name字段解析为last、first、middle。问题是传入的格式不一致： Jones John Q
Doe Jane
Smith Robert X 这就是我要做的 Dim rsNames As DAO.Recordset
Set rsNames = CurrentDb.OpenRecordset("SELECT * FROM tblInput")
If Not (rsNames.EOF And rsNames.BOF) Then
rsNames.MoveFirst
Do Until r
浏览 14提问于2021-05-01得票数 0
3回答
Scala在中断字符串后返回UDF中的多个列。
scala、apache-spark、spark-dataframe、user-defined-functions
我正在尝试打破一个字符串(技术上是从dataframe的列中传递的字符串)，并将这些破碎的字符串作为列表返回到dataframe。Scala版本2.11。我更喜欢使用udf的scala或pyspark解决方案--因为在udf内部发生了很多事情。
让我们说，我有一个数据：
val df = List(("123", "a*b*c*d*e*f*x*y*z"), ("124", "g*h*i*j*k*l*m*n*o")).toDF("A", "B")
我想要的结果(在udf中，因为那里发生了很多事情；Sc
浏览 4提问于2018-04-24得票数 1
回答已采纳
4回答
从火花DataFrame列中的数组中获取最小值
scala、apache-spark
我有一个带有数组的DataFrame。
val DF = Seq(
("123", "|1|2","3|3|4" ),
("124", "|3|2","|3|4" )
).toDF("id", "complete1", "complete2")
.select($"id", split($"complete1", "\\|").as("complete1"), split($
浏览 0提问于2018-03-20得票数 4
回答已采纳
2回答
火花壳中的多行分割行
scala、apache-spark、dataframe、apache-spark-sql
我在火花壳中导入了数据。数据的填写方式如下：
Col1 | Col2 | Col3 | Col4
A1 | 11 | B2 | a|b;1;0xFFFFFF
A1 | 12 | B1 | 2
A2 | 12 | B2 | 0xFFF45B
在Col4中，这些值是不同的类型，我想将它们分开，例如(假设“a_x_b”是字母表的类型，"1或2“是数字的类型，”0 0xFFFFFF或0xFFF_45B“是十六进制号的一种)：
因此，产出应该是：
Col1 | Col2 | Col3 | alphabets | digits | hexadecimal
A1
浏览 1提问于2016-10-20得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
