如何替换Spark中的符号和字符？

在Spark中替换符号和字符可以使用字符串函数和正则表达式来实现。下面是一种常见的方法：

使用regexp_replace函数：该函数可以通过正则表达式匹配并替换字符串中的符号和字符。例如，要将字符串中的所有逗号替换为空格，可以使用以下代码：

import org.apache.spark.sql.functions._

val df = spark.createDataFrame(Seq(("Hello, World!"), ("Spark, is, awesome")))
val replacedDF = df.withColumn("replaced", regexp_replace(col("value"), ",", " "))
replacedDF.show()

输出：

+----------------+----------------+
|           value|        replaced|
+----------------+----------------+
|  Hello, World! |  Hello  World! |
|Spark, is, awesome|Spark  is  awesome|
+----------------+----------------+

使用replace函数：该函数可以直接替换字符串中的指定字符。例如，要将字符串中的所有逗号替换为空格，可以使用以下代码：

import org.apache.spark.sql.functions._

val df = spark.createDataFrame(Seq(("Hello, World!"), ("Spark, is, awesome")))
val replacedDF = df.withColumn("replaced", replace(col("value"), ",", " "))
replacedDF.show()

输出：

+----------------+----------------+
|           value|        replaced|
+----------------+----------------+
|  Hello, World! |  Hello  World! |
|Spark, is, awesome|Spark  is  awesome|
+----------------+----------------+

需要注意的是，以上示例中的代码是使用Spark的Scala API编写的。如果使用其他编程语言或Spark的其他API（如PySpark），可以根据具体情况进行相应的调整。

关于Spark的更多信息和使用方法，可以参考腾讯云的产品文档：Apache Spark。

如何替换Spark中的符号和字符？

scala、apache-spark

+----------++----------++----------+ 如何将<@>替换为。？

浏览 83提问于2020-12-11得票数 0

回答已采纳

1回答

Spark阅读器在遇到控制字符时拆分记录

regex、apache-spark、sed、non-printing-characters

我正在尝试使用spark reader读取文件。当Spark reader遇到^M、^H、^O、^P等控制字符时，它会拆分文件中的记录。为了调试这个问题，我尝试手动删除文件中的控制字符，并使用spark shell测试记录长度。我尝试删除所有控制字符并检查记录长度：我发现它还在<e

浏览 5提问于2020-12-27得票数 1

4回答

特殊字符的字符串替换

c#、.net

我有像下面这样的\0\0\0\0\0\0\0\0字符串。我想替换字符串之间的\符号谁能告诉我如何替换或删除该字符串中的\反斜杠。我使用了带有@符号的字符串替换，例如：string.Replace(@"\","") &也使用了string.Trim('\0')<

浏览 1提问于2011-07-06得票数 0

2回答

替换Unicode符号

python

在Python中，我正在尝试替换字符串中的符号。a = "• HELLO • HOW • ARE • AYOU"b = a.replace("", ";")b = a.replace("•&qu

浏览 1提问于2020-09-17得票数 0

1回答

Scala中unicode (表情符号)的Regexp_replace部分--星火数据

regex、scala、apache-spark、unicode、apache-spark-sql

我正在尝试使用spark regexp_replace来替换所有的表情符号，这些表情符号的unicode 用\uD83D启动，并且用\uD83D替换了unicode的这一部分，但是我没有运气。下面是一个示例：使用上面的代码，如果在text2列中有一个类似于"

浏览 5提问于2021-02-18得票数 1

回答已采纳

2回答

打印scala中不带括号的结构列表Spark Scala中的[

scala、apache-spark、struct

我在Dataset[Row]中有一个列，它是(Scala Spark)中的一个结构列表，其中包含字段id (String)和score (Double)。我需要将结构列表转换为一个原始字符串，以便在打印时不带[括号符号，这些符号在打印时自动附加到每个结构和列表的末尾。例如，当我现在打印出该列时，它看起来是这样的： [[id1, 0.4], [id2, 0.2], [id3, 0.2], [id4, 0.2]] 但我需

浏览 14提问于2021-10-11得票数 0

回答已采纳

1回答

/usr/lib/spark/conf和/etc/spark/conf之间的差异

apache-spark

我在这两个地方都能看到相同的文件- 为什么火花配置有两个不同的位置？

浏览 0提问于2017-08-03得票数 2

回答已采纳

2回答

带有选项的错误重载方法值regexp_replace

regex、scala、apache-spark-sql、databricks、regexp-replace

我正在尝试将数据中名为UserAgent的列中的"/“字符替换为空格(”")。列中的数据如下所示：我试过用 df_test.withColumn("U

浏览 2提问于2019-02-16得票数 0

回答已采纳

1回答

同音替换密码Python

python、encryption、cryptography

我正在尝试制作同音替换密码，其中最常见的字母被多个其他符号替换，例如，如果我的明文是“code”，E将被几个不同的符号替换，在此代码中将是"%“和"-”。plaintext = plaintext.replace("E", "%" "-")encryption() 我打算让密文看起来像这样“%-”，其中字母E将被

浏览 2提问于2018-10-20得票数 1

1回答

星火数据仓库csv附加额外的双引号

apache-spark、apache-spark-sql、databricks

当我将CONCAT应用于spark sql中的dataframe并将该dataframe作为csv文件存储在HDFS位置时，只在输出文件中添加额外的双引号到concat列中。似乎我需要删除额外的双引号，这些双引号是在我将dataframe保存为csv文件时添加的。我正在使用com.databricks:spark-csv_2.10:1.1.0 jar输入: campaign_file_nam

浏览 4提问于2017-06-07得票数 1

回答已采纳

1回答

将所有符号替换为其他两个符号

javascript、regex

我有一个数据库连接字符串，它可以选择性地包含密码，该密码位于符号:和@之间。P.S.我不想更改字符串的长度，只想替换密码符号。

浏览 2提问于2015-11-27得票数 0

回答已采纳

2回答

如何替换所有数字和“。数据帧spark scala中列的"“

scala、dataframe、apache-spark

如何替换所有数字和“。即所有十进制数都应替换为Dataframes spark scala中某一列的例如：+56.5或-64.83应替换为空字符"“ 我正在关注 regexp_replace(col("col1"),"\\+|\\-|\\.|0|1|2|3|4|5|6|7|8|9", "") 有没有其他更好的方法来做这件事谢谢

浏览 11提问于2020-01-31得票数 1

3回答

JavaScript不替换字符串的最后一个符号。

javascript、jquery

我试图在JavaScript中替换一个符号，但是这总是只替换字符串的第一个符号，而不是替换所有的符号。JavaScriptnote = note .replace("'", "'");test'test'test'

浏览 4提问于2012-08-17得票数 1

回答已采纳

2回答

如何将dataframe的列值替换为与输入值匹配的空字符串？

scala、apache-spark、dataframe

")}这不是人们所期望的行为。只有当搜索字符串与单元格值完

浏览 2提问于2018-07-02得票数 1

回答已采纳

1回答

显示HTML版权和受限制的符号

html、string、character、symbols、copyright-display

我正在使用的MySQL数据库有时会在其品牌名称旁边包含带有版权和受限字符的项目。这很好，但是当项目打印为HTML时，版权符号和限制符号都显示为带有"?“的菱形。内部，表明它不能正确地打印为HTML。从这个引用&reg and &copy 分别使用。PHP中的字符串替换将很快摆脱这一点，但如果它变成一个'

浏览 3提问于2012-08-11得票数 0

1回答

星火如何解析字符串中的系统属性(没有字符串插值)？

scala、apache-spark、apache-spark-sql

我在中看到了下面的片段val spark = SparkSession.builder() .config("spark.sql.warehouse.dir", warehouseLocation) .g

浏览 3提问于2017-05-20得票数 1

回答已采纳

2回答

星星之火:使用指定的架构字段创建DataFrame

apache-spark

在Spark中，创建case类来指定模式，然后从文件中创建RDD并将其转换为DF。例如：val exampleDF = spark.sparkContext .map(attributes => Example(attributes(0), attributes(1).toInt))问题是，

浏览 12提问于2017-10-24得票数 0

回答已采纳

1回答

特殊字符符号替换‘�’

java、utf-8

如何从java代码中替换此符号。当我把它复制到这里时，它看起来像"�“，但是在编码中它看起来像一个 i will explain the scenario here.. 我必须替换java中字符串中的单引号、新行

浏览 1提问于2013-03-04得票数 0

6回答

在Haskell列表理解中做一些替换

string、list、haskell、list-comprehension

我的问题是，如果我放入一个包含Hello, today is a Nice Day!!之类的字符串，我如何才能去掉空格和标点符号，并将大写字母替换为小写字母？我知道如何删除它们，但不知道如何替换它们。对不起，我不知道如何摆弄字符串，只知道数字。 testList xs = [if x = [,|.|?|!]

浏览 2提问于2013-03-10得票数 6

回答已采纳

5回答