首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    pyspark给dataframe增加新的一列的实现示例

    20, “gre…| | Mary| 21| blue|[“Mary”, 21, “blue”]| +—–+—+———+——————–+ 1、 增加常数项 frame2 = frame.withColumn...gre…| 10| | Mary| 21| blue|[“Mary”, 21, “blue”]| 10| +—–+—+———+——————–+——-+ 2、简单根据某列进行计算 2.1 使用 withColumn...frame3_1 = frame.withColumn("name_length", functions.length(frame.name)) frame3_1.show() +—–+—+———...| Jane| 4| | Mary| 4| +—–+———–+ 3、定制化根据某列进行计算 比如我想对某列做指定操作,但是对应的函数没得咋办,造,自己造~ frame4 = frame.withColumn...json.loads(obj)))(frame.detail)) # or def length_detail(obj): return len(json.loads(obj)) frame4 = frame.withColumn

    3.3K10
    领券