如何从pyspark dataframe中提取图像到numpy
从pyspark dataframe中提取图像到numpy可以通过以下步骤实现：
- 导入必要的库和模块：
from pyspark.sql.functions import udf
from PIL import Image
import numpy as np- 创建一个用户定义函数（UDF）来将图像数据从二进制格式转换为numpy数组：
def image_to_array(image_data):
image = Image.open(io.BytesIO(image_data))
return np.array(image)- 将UDF注册到Spark会话中：
image_to_array_udf = udf(image_to_array, ArrayType(ByteType()))- 使用UDF将图像数据列转换为numpy数组列：
df = df.withColumn('image_array', image_to_array_udf('image_data'))这里假设图像数据存储在名为'image_data'的列中，将转换后的numpy数组存储在名为'image_array'的新列中。
完整的代码示例：
from pyspark.sql.functions import udf
from PIL import Image
import numpy as np
def image_to_array(image_data):
image = Image.open(io.BytesIO(image_data))
return np.array(image)
image_to_array_udf = udf(image_to_array, ArrayType(ByteType()))
df = df.withColumn('image_array', image_to_array_udf('image_data'))这样，你就可以从pyspark dataframe中提取图像数据并转换为numpy数组了。
相关·内容
4回答
如何在Spark中压缩两个数组列
python、pandas、apache-spark、pyspark、apache-spark-sql
我有潘达的数据。我尝试将包含字符串值的两个列连接到一个列表中，然后使用zip将列表中的每个元素都用'_‘连接起来。我的数据集如下：
df['column_1']: 'abc, def, ghi'
df['column_2']: '1.0, 2.0, 3.0'
我想将这两列连接到第三列中，如下所示，我的每一行数据都是这样的。
df['column_3']: [abc_1.0, def_2.0, ghi_3.0]
我已经在python中成功地使用了下面的代码，但是dataframe相当大，运行整个datafra
浏览 2提问于2019-01-21得票数 9
回答已采纳
1回答
PySpark - Spark数组与DataFrame列表是否不同？
python、apache-spark、dataframe、pyspark、apache-spark-sql
如果我有一个包含arrays的Spark，我可以通过DataFrame在这些数组上使用Python List方法吗？如何将Spark DataFrame array<double>转换为Python列表？
下面是一个示例，其中包含一些UDF。我不确定为什么使用最大值可以，但是使用len就不行了。最后，我想用原始数组列中的采样值创建一个新列。这也会得到一个关于期望两个参数的错误，如果你能帮助的话也会得到加分！
我有以下Spark DataFrame
from pyspark.sql.functions import udf
from pyspark.sql import Row
fr
浏览 1提问于2016-10-28得票数 4
回答已采纳
1回答
将int列转换为列表类型pyspark
pyspark
我的DataFrame有一个列num_of_items。这是一个计数字段。现在，我想将它从int类型转换为list类型。
我尝试使用array(col)，甚至创建一个函数，以int值作为输入返回列表。不起作用
from pyspark.sql.types import ArrayType
from array import array
def to_array(x):
return [x]
df=df.withColumn("num_of_items", monotonically_increasing_id())
df
col_1 | num_of_item
浏览 1提问于2019-01-07得票数 3
回答已采纳
2回答
PIL不形成图像
python、numpy、python-imaging-library
我是PIL的新手，所以我一直在玩这个游戏：
from PIL import Image
import numpy as np
image_array = np.array([
[[0, 0, 0],
[255, 255, 255],
[0, 0, 0]],
[[255, 255, 255],
[0, 0, 0],
[255, 255, 255]],
[[0, 0, 0],
[255, 255, 255],
[0, 0, 0]]])
image = Image.fromarray(image_array)
image.
浏览 5提问于2022-01-01得票数 0
回答已采纳
2回答
将包含最近vaues的列添加到PySpark Dataframe
python、dataframe、pyspark、pyspark-sql、pyspark-dataframes
我有一个PySpark dataframe (比如df)，它有两个列( Name和Score)。以下是dataframe的示例：
+------+-----+
| Name|Score|
+------+-----+
| name1|11.23|
| name2|14.57|
| name3| 2.21|
| name4| 8.76|
| name5|18.71|
+------+-----+
我有一个numpy数组(比如bin_array)，它的值接近于名为Score of PySpark dataframe的列中的数值。
下面是前面提到的numpy数组：
bin_array = np.a
浏览 4提问于2019-10-11得票数 3
回答已采纳
3回答
从DataFrame中提取字符串
apache-spark、pyspark
我希望从我的pyspark dataframe中的一列XML数据(字符串)中提取一个字符串。我希望为每个客户提取ProductName的价值。
以下是数据的示例：
Customer, Product
A, <XmlData ProductName="123">....</XmlData><XmlData ProductName="1452">....</XmlData>
B, <XmlData ProductName="123">....</XmlData>
C, &
浏览 3提问于2020-06-18得票数 0
2回答
如何通过重复值“另一列的大小”来创建数组列？
python、apache-spark、pyspark、apache-spark-sql
我想添加一个新的列score，它是一个数组，其长度等于另一列values的大小，包含所有值2。
在使用列的size时获得错误，但是如果用硬编码的数字替换它，会很好。
数据
columns = ["id","values"]
data = [("sample1", [12.0,10.0]), ("sample2", [1.0,2.0,3.0,4.0])]
rdd = spark.sparkContext.parallelize(data)
Source DataFrame
+-------+--------------------+
浏览 2提问于2021-01-22得票数 0
回答已采纳
2回答
在StringType中将ArrayType转换为PySpark
python、apache-spark、dataframe、pyspark、rdd
我正试图在我的数据集上运行PySpark中的PySpark算法。
from pyspark.ml.fpm import FPGrowth
fpGrowth = FPGrowth(itemsCol="name", minSupport=0.5,minConfidence=0.6)
model = fpGrowth.fit(df)
我得到了以下错误：
An error occurred while calling o2139.fit.
: java.lang.IllegalArgumentException: requirement failed: The input
col
浏览 0提问于2018-04-05得票数 2
回答已采纳
1回答
从PySpark数组列中删除重复项
python、apache-spark、pyspark、apache-spark-sql
我有一个PySpark Dataframe，它包含一个ArrayType(StringType())列。此列包含需要删除的数组中的重复字符串。例如，一行条目可能类似于[milk, bread, milk, toast]。假设我的数据文件名为df，我的列名为arraycol。我需要这样的东西：
df = df.withColumn("arraycol_without_dupes", F.remove_dupes_from_array("arraycol"))
我的直觉是，这有一个简单的解决方案，但是在浏览堆栈溢出15分钟之后，我没有发现比爆炸列、删除完整数据帧上的
浏览 1提问于2019-01-14得票数 2
回答已采纳
3回答
根据某些条件从不同的火花放电柱中提取所有匹配
python、regex、apache-spark、pyspark、user-defined-functions
我必须从如下的dataframe列中提取一些代码：
+---------+--------------------------------+--------------------+------+
|first |second |third |num |
+---------+--------------------------------+--------------------+------+
|AB12a |xxxxxx |some other
浏览 6提问于2019-10-29得票数 4
回答已采纳
2回答
使用pySpark迭代每一行数据帧
python、dataframe、iteration、pyspark、spark-dataframe
我需要使用dataframe来迭代pySpark，就像我们可以使用for循环迭代一组值一样。下面是我写的代码。这段代码的问题是
我必须使用集合来打破并行性。
我无法在函数DataFrame中打印funcRowIter的任何值。
一旦找到匹配项，我就不能中断循环。
我必须在pySpark做这件事，不能用熊猫做这个：
from pyspark.sql.functions import *
from pyspark.sql import HiveContext
from pyspark.sql import functions
from pyspark.sql import Da
浏览 2提问于2017-01-30得票数 3
1回答
将自定义函数应用于数据type数组类型的列
python、pyspark、spark-dataframe、rdd
我有一个名为‘count’的列的dataframe，我想将一个自定义函数"do_something“应用于列的每个元素，即每个数组。我不想修改dataframe，我只想做一个单独的操作与列计数。列的所有数组都具有相同的大小。
+----------------------+---------------------------------------+
|id| counts|
+----------------------+---------------------------------------+
|1| [8.0, 2.0, 3.0
浏览 2提问于2017-09-22得票数 1
回答已采纳
2回答
如何将Python Pandas函数转换为Python PySpark
python、pandas、apache-spark、pyspark
我目前在将Python Pandas函数转换为Python PySpark时遇到了一个问题，因为它们是不同的库。我想要做的是有一个查询函数，然后将它应用回相同的列。
这是我为Python Pandas所做的(Age是我试图从中检索的数据集中的列)：
Age = [1, 3, -100, -99999, 39, 60, 87, 20, 21, 77777]
def clean_age(Age):
if Age>=0 and Age<=95:
return Age
else:
return np.nan
df['Age&
浏览 17提问于2020-05-18得票数 0
回答已采纳
3回答
如何从列中提取值，并将其作为浮动值？
list、apache-spark、pyspark、apache-spark-sql
我有一个在视觉上看上去像的pyspark，如下所示。我希望该列仅保存浮点值。请注意，当前的值在它周围有方括号。
from pyspark.sql.types import StructType,StructField
from pyspark.sql.types import StringType, IntegerType, ArrayType
data = [
("Smith","OH","[55.5]"),
("Anna","NY","[33.3]"),
("Williams"
浏览 4提问于2021-04-09得票数 1
3回答
将一列舍入到另一列指定的精度。
apache-spark、pyspark、user-defined-functions
我正试图在pyspark中创建一个UDF，以使一列的精度达到在每一行中由另一列指定的精度，例如，下面的数据文件：
+--------+--------+
| Data|Rounding|
+--------+--------+
|3.141592| 3|
|0.577215| 1|
+--------+--------+
当提交给上述UDF时，应该给出以下结果：
+--------+--------+--------------+
| Data|Rounding|Rounded Column|
+--------+--------+-------------
浏览 0提问于2018-10-08得票数 1
回答已采纳
2回答
如何将带有常量DenseVector的新列添加到pyspark中？
apache-spark、pyspark、apache-spark-sql、apache-spark-ml
我想将一个新列添加到一个包含常量DenseVector的pyspark中。
以下是我的尝试，但失败了：
from pyspark.sql import SparkSession
spark = SparkSession.builder.getOrCreate()
data = [(1,2),(3,4),(5,6),(7,8)]
df = spark.createDataFrame(data=data)
@udf(returnType=VectorUDT())
def add_cons_dense_col(val):
return val
df.withColumn('t
浏览 13提问于2021-12-20得票数 1
回答已采纳
2回答
获取pyspark中数组列中所有True元素的索引
arrays、apache-spark、pyspark、apache-spark-sql
我所拥有的： country | sources | infer_from_source
---------------------------------------------------------------------------
null | ["LUX", "CZE","CHN", "FRA"] | ["FALSE", "TRUE", "FALSE", "TRUE"]
"DEU
浏览 40提问于2021-11-15得票数 2
回答已采纳
1回答
将PySpark DenseVector转换为数组
python、pyspark
我正在尝试将DenseVector的pyspark列转换为数组，但总是会出现错误。
data = [(Vectors.dense([8.0, 1.0, 3.0, 2.0, 5.0]),),
(Vectors.dense([2.0, 0.0, 3.0, 4.0, 5.0]),),
(Vectors.dense([4.0, 0.0, 0.0, 6.0, 7.0]),)]
df = spark.createDataFrame(data,["features"])
我试图定义一个UDF并使用toArray()
to_array = udf(lambda x: x.toArray(),
浏览 1提问于2019-10-21得票数 8
回答已采纳
2回答
TypeError:列是不可迭代的--如何在ArrayType()上迭代？
apache-spark、pyspark、spark-dataframe、pyspark-sql
考虑以下DataFrame：
+------+-----------------------+
|type |names |
+------+-----------------------+
|person|[john, sam, jane] |
|pet |[whiskers, rover, fido]|
+------+-----------------------+
它可以用以下代码创建：
import pyspark.sql.functions as f
data = [
('person', ['joh
浏览 1提问于2018-02-26得票数 16
回答已采纳
1回答
skimage旋转后的图像显示为黑色
numpy、python-imaging-library、scikit-image、numpy-ndarray
我正在尝试对示例图像进行简单的旋转，但当我尝试显示它时，文件只显示黑色像素。我可以说它已经旋转了，因为尺寸已经正确地改变了。
from io import BytesIO
import numpy as np
from PIL import Image
from skimage.transform import rotate
from flask import send_file
image_file = Image.open(file_path).convert("L")
image_array = np.array(image_file)
image_array_rot
浏览 22提问于2019-11-15得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
云直播活动推荐
腾讯云开发者
