首页
学习
活动
专区
工具
TVP
发布
社区首页 >问答首页 >如何使用模式匹配从pyspark dataframe中删除行?

如何使用模式匹配从pyspark dataframe中删除行?
EN

Stack Overflow用户
提问于 2019-05-13 04:59:05
回答 1查看 873关注 0票数 2

我有一个从CSV文件读取的pyspark数据帧,该文件有一个包含十六进制值的值列。

代码语言:javascript
复制
| date     | part  | feature | value"       |
|----------|-------|---------|--------------|
| 20190503 | par1  | feat2   | 0x0          |
| 20190503 | par1  | feat3   | 0x01         |
| 20190501 | par2  | feat4   | 0x0f32       |
| 20190501 | par5  | feat9   | 0x00         |
| 20190506 | par8  | feat2   | 0x00f45      |
| 20190507 | par1  | feat6   | 0x0e62300000 |
| 20190501 | par11 | feat3   | 0x000000000  |
| 20190501 | par21 | feat5   | 0x03efff     |
| 20190501 | par3  | feat9   | 0x000        |
| 20190501 | par6  | feat5   | 0x000000     |
| 20190506 | par5  | feat8   | 0x034edc45   |
| 20190506 | par8  | feat1   | 0x00000      |
| 20190508 | par3  | feat6   | 0x00000000   |
| 20190503 | par4  | feat3   | 0x0c0deffe21 |
| 20190503 | par6  | feat4   | 0x0000000000 |
| 20190501 | par3  | feat6   | 0x0123fe     |
| 20190501 | par7  | feat4   | 0x00000d0    |

要求是删除在value列中包含类似于0x0、0x00、0x000等的值的行,这些值的计算结果为十进制0(零)。“0x”之后的0的数量在整个数据帧中不同。通过模式匹配删除是我尝试的方法,但我没有成功。

代码语言:javascript
复制
myFile = sc.textFile("file.txt")
header = myFile.first()

fields = [StructField(field_name, StringType(), True) for field_name in header.split(',')]

myFile_header = myFile.filter(lambda l: "date" in l)
myFile_NoHeader = myFile.subtract(myFile_header)

myFile_df = myFile_NoHeader.map(lambda line: line.split(",")).toDF(schema)

## this is the pattern match I tried 
result = myFile_df.withColumn('Test', regexp_extract(col('value'), '(0x)(0\1*\1*)',2 ))
result.show()

我使用的另一种方法是使用udf:

代码语言:javascript
复制
def convert_value(x):
    return int(x,16)

在pyspark中使用这个udf给我

ValueError:基数为16的int()的文本无效:值为

EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/56103432

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档