腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Pyspark
:
使用
udf
多次
加载
模型
、
、
、
、
尝试将
udf
应用于根据某些条件进行
模型
预测的大型csv文件,但由于某种原因,该
模型
被
多次
加载
。下面是该流程的示例代码片段: # main.py loads predict.py | Class1 | | data.withColumn("Col
浏览 75
提问于2021-11-12
得票数 1
1
回答
ValueError:当提供input_signature时,必须将input_signature函数的所有输入转换为张量:
、
、
、
、
abd hdbh jbj3 bvj hvhgvgh现在,我想将我的desc列转换为向量,所以我
使用
Google语句编码器作为
udf
,下面是我的代码:model
浏览 14
提问于2022-09-01
得票数 2
1
回答
无法在
PySpark
项目中生成文档而不运行session
、
、
、
、
我有一个Python包,其中有一个模块,其中包含要在
PySpark
设置中
使用
的
UDF
。在运行单元测试时,我已经想出了一种初始化和关闭Spark会话的方法,但是我在创建文档时遇到了问题。我
使用
的是,所以我只需运行make clean docs并遇到以下错误: File "/usr/local/lib/python3.9/site-packages/
pyspark
/sql/pandas"/usr&
浏览 8
提问于2022-03-31
得票数 1
回答已采纳
1
回答
Spark广播训练有素的tensorflow SavedModel
、
、
我试图在spark中广播
加载
的
模型
,但是从
pyspark
/broadcast.py中得到这个错误-_pickle.PicklingError: Could not serialize broadcast: TypeError: can't pickle _thread.RLock objectsimport tensorflowas tf from
pyspark
.sql import Spar
浏览 6
提问于2020-09-17
得票数 1
1
回答
PicklingError:无法序列化对象: TypeError:不能对fasttext_pybind.fasttext对象进行筛选
、
、
、
我建立了一个快速文本分类
模型
,以便对facebook的评论进行情感分析(在windows上
使用
pyspark
2.4.1 )。当我
使用
预测
模型
函数预测句子的类时,结果是一个元组,其形式如下:但当我试
浏览 0
提问于2019-07-10
得票数 4
回答已采纳
2
回答
在
pyspark
dataframe中从lat-long查找状态名称
、
、
我有一个
pyspark
数据帧df,它保存了大量的rows.Once列是lat-long。我想从经纬度中找到州的名称。我
使用
下面的代码 import reverse_geocoder as rglist_long_lat = a["lat_long"].tolist
浏览 12
提问于2020-07-01
得票数 0
回答已采纳
1
回答
TypeError:不能对_abc_data对象进行筛选
、
我试图用
pyspark
从一个泡沫化的
模型
生成预测,我
使用
下面的命令获得
模型
将deserialize_python_object/sql/
udf
.py”, line 189, in wrapper File “/Users/gmg/anaconda3/envs/env/lib/py
浏览 4
提问于2019-11-26
得票数 3
回答已采纳
1
回答
在
Pyspark
中
使用
UDF
函数时,稠密向量应该是什么类型?
、
、
、
、
我希望在
pySpark
中将列表更改为向量,然后
使用
此列进行机器学习
模型
的培训。但是我的星火版本是1.6.0,它没有VectorUDT()。那么,在我的
udf
函数中应该返回哪种类型呢?from
pyspark
.sql import SQLContextfrom
pyspark
.sql.functionsimport * from
pyspark
.mllib.lina
浏览 1
提问于2018-04-03
得票数 8
回答已采纳
2
回答
熊猫
UDF
(
PySpark
) -错误类型错误
、
、
、
、
我正在尝试
使用
spaCy和Pandas (
PySpark
)提取实体,但我得到了一个错误。def __get_entities(x): nlp = spacy.load("en_core_web_lg"
浏览 4
提问于2020-09-01
得票数 0
回答已采纳
1
回答
PySpark
+语句转换器-
UDF
不能选择“_thread.RLock”对象
、
、
、
我想
使用
PySpark
和库语句转换器来加速文档集的嵌入。据我所知我不能就这么打电话:因为
模型
不能被腌制,不能传递给工人。=
udf
(self.embedd_text, returnType=ArrayType(ArrayType(FloatType()))) return df.withColumn("
浏览 15
提问于2022-09-14
得票数 0
5
回答
如何修复"ImportError: PyArrow >= 0.8.0必须安装;但是,没有找到“?
、
、
我
使用
PySpark
2.4.0并在
pyspark
中执行以下代码Python 2.7.16 (default, Mar 25 2019, 15:07:04)>>> from
pyspark
.sql.functions import pandas_
udf
, PandasUDFType >>> from
pyspark
.sq
浏览 6
提问于2019-03-27
得票数 4
回答已采纳
1
回答
udf
来自SparkSession和
udf
来自
pyspark
.sql.functions有什么区别?
、
、
、
我有两种方法来
使用
udf
:spark =
pyspark
.sql.SparkSession.builder.getOrCreate()output:print(
udf
)<fu
浏览 4
提问于2021-12-20
得票数 0
回答已采纳
1
回答
计算日期之间的天数,忽略周末
使用
火星雨。
、
如何
使用
pyspark
计算两个日期之间的天数(忽略周末)import numpy as npfrom
pyspark
.sql.types import IntegerType@
udf
(returnType=IntegerType())
浏览 3
提问于2020-09-28
得票数 4
回答已采纳
1
回答
pyspark
中的投票分类器
UDF
、
、
、
、
我正在尝试在
pyspark
中实现一个投票分类器。 我
使用
了函数predict_from_multiple_estimator。传递给函数的参数是在
pyspark
中训练和拟合管道
模型
的estimators1,X测试数据帧,可能的类标签和权重值。 然后,我尝试将此函数转换为
pyspark
UDF
。# Convert integer predictions to original labels: from <
浏览 23
提问于2021-11-15
得票数 0
1
回答
具有多个参数的用户定义函数返回空值。
、
、
、
、
我试图将python函数转换为
PySpark
用户定义的函数,如下所示:from
pyspark
.sql.functions import
udf
,col,arrayfrom datetime import/input/applicationloan/loan.txt&quo
浏览 8
提问于2022-07-11
得票数 2
回答已采纳
1
回答
用腌制的
PySpark
模型
和pandas_
udf
进行预测
、
、
、
、
我
使用
随机搜索找到了一个LightGBM
模型
,该
模型
使用
MLFlow保存到.pkl文件中。我们的目标是将这个被腌制的
模型
加载
到
Pyspark
中,并在那里进行预测。简单的不腌制就能做到这一点吗?with open(path, 'rb') as f:然后应用pandas_
udf
: @F.panda
浏览 1
提问于2021-06-11
得票数 2
回答已采纳
1
回答
_thread.lock
模型
: TypeError: can't pickle Keras objects
、
、
、
、
我在
PySpark
中
使用
训练有素的Keras
模型
时遇到了问题。
使用
以下版本的库:h5py==2.7.0另外,我
使用
的是Spark 2.4.0。from
pyspark
.sql import SparkSessionfrom keras.models import load_modelget_prediction_
udf</
浏览 1
提问于2018-12-10
得票数 0
1
回答
Mlflow log_model,无法用spark_
udf
进行预测,但
使用
python工作。
、
、
、
、
我想在mlflow上记录一个
模型
,一旦我这样做了,我就可以用python
加载
的
模型
来预测概率,但不能用spark_
udf
来预测。问题是,我仍然需要在
模型
中有一个预处理功能。# Load model as a Spark
UDF
.将encode_catcolumn合并到sklearn管道中(
使用
浏览 4
提问于2021-12-09
得票数 0
1
回答
Pyspark
使用
窗口函数和我自己的函数
、
、
、
我希望用
pyspark
和spark dataframe做同样的事情。我知道我必须
使用
窗口函数,但它比熊猫更难理解,所以我迷路了…… 我有这个,但我不知道如何让它工作。
浏览 29
提问于2020-06-26
得票数 0
回答已采纳
1
回答
使用
PySpark
整数列作为参数
我正试图解析一个
PySpark
列,其中包含一个"=“号。DF.withColumn("parsedString",2,instr(columnName,"=")) 我收到一个错误:TypeError: int()参数必须是字符串或数字,而不是‘列’问题似乎是
PySpark
浏览 4
提问于2017-08-11
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Spark 2.3重磅发布:欲与Flink争高下,引入持续流处理
Spark 3.0重磅发布!开发近两年,流、Python、SQL重大更新全面解读
对比:用两种ML包构建用户流失预警模型,有何异同?
Spark 2.4重磅发布:优化深度学习框架集成,提供更灵活的流式接收器
Hive3连接RDBMS和使用函数
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券