如何在pyspark数据帧中拆分数字并添加连字符？
在pyspark数据帧中拆分数字并添加连字符的方法是使用正则表达式和pyspark的内置函数。以下是一个完整的答案：
在pyspark中，可以使用正则表达式和内置函数来拆分数字并添加连字符。首先，我们需要导入pyspark的相关模块：
from pyspark.sql import SparkSession
from pyspark.sql.functions import regexp_replace接下来，我们可以创建一个SparkSession对象，并读取数据帧：
spark = SparkSession.builder.getOrCreate()
df = spark.read.csv("data.csv", header=True, inferSchema=True)假设我们的数据帧包含一个名为"numbers"的列，其中包含数字。我们可以使用正则表达式和regexp_replace函数来拆分数字并添加连字符：
df = df.withColumn("numbers_with_hyphen", regexp_replace("numbers", r"(\d+)", r"\1-"))上述代码中，regexp_replace函数的第一个参数是要替换的列名，第二个参数是正则表达式模式，用于匹配数字，第三个参数是替换的字符串，其中\1表示匹配到的数字。
最后，我们可以查看结果：
df.show()这样，我们就在pyspark数据帧中成功拆分数字并添加了连字符。
推荐的腾讯云相关产品和产品介绍链接地址：
- 腾讯云计算服务：https://cloud.tencent.com/product/cvm
- 腾讯云数据库服务：https://cloud.tencent.com/product/cdb
- 腾讯云人工智能服务：https://cloud.tencent.com/product/ai
- 腾讯云物联网服务：https://cloud.tencent.com/product/iotexplorer
- 腾讯云移动开发服务：https://cloud.tencent.com/product/mobdev
- 腾讯云存储服务：https://cloud.tencent.com/product/cos
- 腾讯云区块链服务：https://cloud.tencent.com/product/baas
- 腾讯云元宇宙服务：https://cloud.tencent.com/product/vr
- 腾讯云网络安全服务：https://cloud.tencent.com/product/ddos
相关·内容
请描述您的问题
标题：登录 Linux 实例 - 云服务器 - 产品文档 - 帮助与文档 - 腾讯云
地址：https://cloud.tencent.com/document/product/213/5436
浏览 186提问于2018-03-04
请描述您的问题
标题：直播答题（冲顶模式） - 移动直播 - 产品文档 - 帮助与文档 - 腾讯云
地址：https://cloud.tencent.com/document/product/454/13863#.E4.BD.93.E9.AA.8C.E6.96.B9.E5.BC.8F.E4.BA.8C.EF.BC.9Aobs-studio
浏览 650提问于2018-02-09
1回答
我有一个包含unicode字符的PySpark数据帧，如下所示：
from pyspark.sql import SparkSession
spark = SparkSession.builder.getOrCreate()
df = spark.createDataFrame([{"a": 0, "b": 1, "c": "somestring\u0001bla"}])
结果是：
我希望通过读取或写入新的csv文件来消除这种情况。我尝试过不同的选项：
option("encoding", "UTF
浏览 0提问于2021-03-19得票数 0
请描述您的问题
标题：名词解析 - 短信 - 产品文档 - 帮助与文档 - 腾讯云
地址：https://cloud.tencent.com/document/product/382/13299#.E7.9F.AD.E4.BF.A1.E6.A8.A1.E6.9D.BF
浏览 711提问于2018-02-08
微信小程序前端和后端分别要做些什么 ? 所有需要的东西有哪些 ? (请尽量详细点)
标题：人脸识别 - 智能图像服务 - 产品文档 - 帮助与文档 - 腾讯云
地址：https://cloud.tencent.com/document/product/641/12397
浏览 2459提问于2018-01-24
我有一个按日期分区的S3存储桶列表。第一个存储桶标题为2019-12-1，第二个存储桶标题为2019-12-2，依此类推。 这些存储桶中的每一个都存储我正在读取到pyspark dataframe中的拼图文件。从每个存储桶生成的pyspark dataframe具有完全相同的模式。我想要做的是迭代这些存储桶，并将所有这些拼图文件存储到一个单独的pyspark dataframe中，该数据框有一个date列，表示dataframe中的每个条目实际来自哪个存储桶。 因为单独导入每个存储桶时生成的数据帧的模式是多层的(即每一行都包含结构数组的结构等)，所以我认为将所有存储桶合并到一个数据帧中的唯一
浏览 13提问于2019-12-16得票数 0
回答已采纳
4回答
没Signature=mysignature 这个参数是从哪里获取的
[图片]
没看懂这个参数的具体获取方式
标题：公共请求参数 - 云服务器 - API文档 - 帮助与文档 - 腾讯云
地址：https://cloud.tencent.com/document/api/213/6976
浏览 1508提问于2018-02-23
如何解析嵌套列表中的JSON字符串以激发pyspark中的数据帧？
输入数据框架：
+-------------+-----------------------------------------------+
|url |json |
+-------------+-----------------------------------------------+
|https://url.a|[[1572393600000, 1.000],[1572480000000, 1.007]]|
|h
浏览 1提问于2021-02-08得票数 2
回答已采纳
请描述您的问题
标题：数据迁移问题 - 数据库MySQL - 产品文档 - 帮助与文档 - 腾讯云
地址：https://cloud.tencent.com/document/product/236/11275#1.E3.80.81.E5.A6.82.E4.BD.95.E6.8A.8A.E6.9C.AC.E5.9C.B0.E7.9A.84-sql-.E6.96.87.E4.BB.B6.E5.AF.BC.E5.85.A5.E5.88.B0-mysql-.E6.95.B0.E6.8D.AE.E5.BA.93.E4.B8.AD.EF.BC.9F
浏览 562提问于2018-02-26
3回答
如果不使用SQL的REPLACE()函数，我们如何才能找到spark数据帧一列中的字数？下面是我正在使用的代码和输入，但replace()函数不起作用。
from pyspark.sql import SparkSession
my_spark = SparkSession \
.builder \
.appName("Python Spark SQL example") \
.enableHiveSupport() \
.getOrCreate()
parqFileName = 'gs://caserta-pyspark-eval/t
浏览 3提问于2018-02-22得票数 10
事情背景是 2018年建立了网站，网站有工信部备案号。主域名、IP都正常在用。网站接入方式是 租赁虚拟空间。等保备案号、等保级别、等保系统都没有。系统软件版本是 windows 2008，路由器、交换机、服务器、安全设备都 “为虚拟机，不是独立单台服务器”
网站现在需要整改(公安部备案、达到等保要求等等)
问题：
1、对网站数据进行迁移腾讯云支不支持？
2、腾讯云有没有最低等保2资质？
3、完成迁移和后续持续运行对腾讯云的配置有什么要求？
4、迁移和持续运行每年需要大概多少费用？
浏览 285提问于2022-03-08
2回答
我有一个数据帧列，其中包含这样的文本
col
0 abc-text1
1 def_text2-
我想要做的是，如果我的公司开始使用'abc-‘，然后用'abc’代替它，如果它以'def_‘开头，那么用def代替它。
我想为同样的功能创建一个函数。我对python和pyspark是新手，因此在这方面需要帮助。
浏览 0提问于2019-07-09得票数 0
回答已采纳
我有数据嵌入在我的文本字段，我需要禁止。数据采用\ in格式，其中nnn为3位数。我尝试了以下几点：
spark.sql("select regexp_replace('ABC\123XYZ\456','[\d][\d][\d]','') as new_value").show()
我原以为结果是“ABC\XYZ”，但我得到的结果是：
+---------+
|new_value|
+---------+
| ABCSXYZĮ|
+---------+
我不知道其他字符在C后面和Z后面是什么。
不过，我也需要移除反斜杠。为了去掉反
浏览 10提问于2022-10-13得票数 0
回答已采纳
我之前发布了这个问题，并得到了一些使用PySpark的建议。
下面的压缩文件()包含一个名为data的文件夹，其中包含大约130,000个csv文件。我想把它们合并到一个单独的数据帧中。我有16 of的RAM，当我访问前几百个文件时，我一直在耗尽RAM。这些文件的总大小只有300-400MB的数据。
如果您打开任何csv文件，您可以看到它们都具有相同的格式，第一列用于日期，第二列用于数据系列。
所以现在我改用PySpark，但是我不知道连接所有文件的最有效的方法是什么，对于pandas数据帧，我会像这样连接单个帧的列表，因为我想让它们在日期上合并：
bigframe = pd.concat(
浏览 14提问于2020-02-17得票数 2
回答已采纳
在带有包含基于日期的整数的列(如20190200,20180900)的spark dataframe中，我希望将所有以00结尾的数据帧替换为01结尾的那些整数，这样之后我就可以将它们转换为可读的时间戳。 我有以下代码： from pyspark.sql.types import StringType
import pyspark.sql.functions as sf
udf = sf.udf(lambda x: x.replace("00","01"), StringType())
sdf.withColumn('date_k', udf
浏览 14提问于2020-06-27得票数 1
回答已采纳
我试图在我的oracle查询中隐藏SSN细节。
使用下面的查询标识SSN格式并将其替换为给定的格式。
德达德
ddd-dd-dddd
从dual选择regexp_replace('123-45-6789'，regexp_replace‘\1*\3\4’)
如果我运行这个查询，我将得到以下输出。
*6789
同样，我也想解析下面的格式。
ddddddd
或者如果连字符在任何地方都可以更好，但它应该只读9位数字。
由于我对RegEx不太熟悉，有人能帮我为这个需求构建正则表达式吗？
浏览 0提问于2018-04-24得票数 0
回答已采纳
app_id和secret在哪里获取，我用控制台-》云API密钥下生成的App_id secretid secretkey试了都不行
标题：Access Token 获取 - 天御业务安全防护 - 产品文档 - 帮助与文档 - 腾讯云
地址：https://cloud.tencent.com/document/product/295/10118
浏览 2766提问于2018-01-22
给定下面的数据框，我想将numbers列拆分为一个数组，数组中原始数字的每个元素包含3个字符
给定数据帧：
+---+------------------+
| id| numbers|
+---+------------------+
|742| 000000000|
|744| 000000|
|746|003000000000000000|
+---+------------------+
预期的数据帧：
+---+----------------------------------+
| id| number
浏览 0提问于2018-11-01得票数 2
回答已采纳
我正在尝试使用中的pyspark从MS服务器加载数据。火花测试和工作良好。我用的是：
from pyspark import SparkContext, SparkConf, SQLContext
appName = "PySpark SQL Server Example - via JDBC"
master = "local"
conf = SparkConf() \
.setAppName(appName) \
.setMaster(master) \
.set("spark.driver.extraClassPath
浏览 3提问于2019-10-18得票数 0
回答已采纳
1回答
我正在使用谷歌数据工作室创建报告，这些数据直接从获得。是关于网络流量的测量。
问题是我想想象顶级类别..。
例如，数据在"URL“表示中。/entradas/delicias-de-delhi/
“/delicias-de-de-德里/”是一种产品，来自许多类别的数千种产品之一。
我想用图表或表格、顶级产品和其他类型的员工形象化，但他们的名字是这样的：Delicias de德里。
我想出了如何去掉斜杠"/“和连字符”，问题是我还想在每个单词的第一个字母中加上大写字母。我尝试使用converts ()函数，但这会转换大写字母中的所有内容。DELICIAS DE DELHI，这不是
浏览 3提问于2021-08-18得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
