1回答
我正在尝试在pyspark中实现一个投票分类器。 我使用了函数predict_from_multiple_estimator。传递给函数的参数是在pyspark中训练和拟合管道模型的estimators1，X测试数据帧，可能的类标签和权重值。 然后，我尝试将此函数转换为pyspark UDF。并调用具有测试数据帧qa特征属性的函数来预测类别标签。import <e
浏览 23提问于2021-11-15得票数 0
1回答
我想将一些函数应用到pysaprk dataframe的列中，这是一个用UDF实现这一点的管理方法，但是我希望返回是另一个对象，而不是dataframe的一个列、一个熊猫数据框、一个python列表等等我使用分类器将每一列划分为类，但我希望结果是类的摘要，而不是修改，我不知道这是否适用于UDF。我的代码是这样的import pandas as pd
impor
浏览 0提问于2018-12-18得票数 1
回答已采纳
1回答
我有一个Pandas的代码，它计算出x窗口上线性回归的R2。参见我的代码： def lr_r2_Sklearn(data): X = pd.Series(list(range(0,len(data),1return(regressor.score(X,Y))
r2_rolling = df[['value']].rolling(300).agg([lr_r2_Sklearn]) 我做了一个大小为300的滚动，并计算每个窗口的
浏览 29提问于2020-06-26得票数 0
回答已采纳
2回答
我有一个数据与以下列-用户，订单，食品。df = spark.createDataFrame(pd.DataFrame([['A','B','A','C','A'],[1,1,2,1,3],['Eggs','Salad','Peaches','Bread','Water']],index=['User','Order','Food']).T)
我想把所有的食物串联成一个字符串，按
浏览 1提问于2019-08-28得票数 2
回答已采纳
我建立了一个快速文本分类模型，以便对facebook的评论进行情感分析(在windows上使用pyspark 2.4.1 )。当我使用预测模型函数预测句子的类时，结果是一个元组，其形式如下：但当我试图将其应用于“文本
浏览 0提问于2019-07-10得票数 4
回答已采纳
我有两种方法来使用udf：spark = pyspark.sql.SparkSession.builder.getOrCreate()output:print(udf)<function <e
浏览 4提问于2021-12-20得票数 0
回答已采纳
我有如下所示的数据： | Id | ----Tags---- | some_text || 1 | <a><c> ||| 1 | 1 | 0 | 1 | ex2 |
| 2 | 0 | 1 | 1 | ex3 | 我想使用pyspark
浏览 17提问于2019-09-19得票数 0
回答已采纳
1回答
我在一个pyspark udf函数中遇到了一个问题，我想打印产生问题的行号。import pyspark.sql.functions as F myF.lineNumber += 1 print(myF.line
浏览 2提问于2019-01-18得票数 3
2回答
functions.py有一个函数，并从该函数创建一个pyspark udf。main.py会尝试导入该自定义项。但是，在访问functions.py中的函数时，main.py似乎遇到了问题。functions.py：from pyspark.sql.types import StringType
return x + 'hello
浏览 3提问于2017-10-04得票数 5
回答已采纳
我理解如果我定义一个Python函数并将它用于PySpark UDF，会发生什么。但是，我并不完全清楚，当调用实例化对象的方法时，PySpark在做什么： _const = 1 return x +_const
执行者是如何发挥这一作用的？对象是保存在管理器</
浏览 0提问于2018-10-08得票数 2
回答已采纳
1回答
import pandas_udffrom pyspark.sql.functions import udf
from scipy.special import erfinvpyspark/worker.py"，：由于阶段失败而中止的任务:阶段6.0中的任务0失败4次，最近的失败:阶段6.0中丢失的任务0.3 (TID 21，D2-td-cdh.boigroup p.ne
浏览 1提问于2021-08-24得票数 0
如果在PySpark中将任何类型的登录添加到UDF函数中，它将不会出现在任何地方。这是一种实现这一目标的方法吗？例如。logger.error(e)我将其转换为UDF：
import pyspark.sql.functions
浏览 0提问于2019-10-15得票数 5
如何使用pyspark计算两个日期之间的天数(忽略周末)import numpy as npfrom pyspark.sql.types import IntegerType@udf(returnType=IntegerType())
def dateDiffWeekdays(end,
浏览 3提问于2020-09-28得票数 4
回答已采纳
目标是使用UDF对行进行分类。我用的是窗户上的电火花。任何关于如何解决超时/套接字故障的指导都会有帮助(请参阅下面的错误)。from pyspark.sql.types import IntegerType,StringTy
浏览 0提问于2021-02-05得票数 0
回答已采纳
根据我在网上找到的一些教程，我正在尝试运行以下代码：from pyspark.sql import SparkSessionfrom pyspark.sql import udfdata={'integers': [1, 2, 3],)
df = spark.createD
浏览 1提问于2019-03-01得票数 1
1回答
我试图将python函数转换为PySpark用户定义的函数，如下所示：from pyspark.sql.functions importudf,col,arrayfrom datetime import：源文件“loan.txt”的截图：上面
浏览 8提问于2022-07-11得票数 2
回答已采纳
我有一个从Hive Table读取数据并应用pandas udf的代码，当它从表中读取数据时，它在11个执行器中运行，但是当它执行一个pandas udf时，它只使用一个执行器。有没有办法指派10个执行者来执行pandas udf？spark.dynamicAllocation.enabled=false --conf spark.executor.instances=20 code_test.py
from
浏览 12提问于2020-10-01得票数 0
1回答
我想要访问pyspark内部的累加器：from pyspark.sql import SparkSessionfrom pyspark.sql.types import StringType
re
浏览 12提问于2022-08-28得票数 0
回答已采纳
如何告诉ml.DecisionTreeClassifier在不使用Bucketizer或QuantileDiscretizer方法的情况下对连续特征而不是分类特征进行评分？下面是我将连续特征传递到ML的DecisionTreeClassifier中的代码，如果没有into (Buckizer)特征，大部分评分集将被忽略，而不是被评分(spark 2.1不支持keep)。from pyspark.mllib.linalg import Vectors
from pyspark</e
浏览 2提问于2017-07-29得票数 1
我正试图解析一个PySpark列，其中包含一个"=“号。我为此目的创建的两个函数分别工作：同时，当我创建子字符串列时我收到一个错误：TypeError: int()参数必须是字符串或数字，而不是‘列’问题似乎是PyS
浏览 4提问于2017-08-11得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
