blocks|key|342725|text|img2vec+=+F.udf(lambda+x+:+Vectors.dense(x),+VectorUDT())

df+=+df.withColumn("data_as_vector",+img2vec("data_as_resized_array"))

standardizer+=+StandardScaler(withMean=True,+withStd=True,+inputCol="data_as_vector",+outputCol="scaledFeatures")|type|code-block|depth|inlineStyleRanges|entityRanges|data|syntax|javascript|342726|对于图像，它需要调整图像数据的大小，使用此代码调整图像数据的大小，并且必须使用调整大小的图像数据；|unstyled|offset|length|style|BOLD|342727|def+resize_img(img_data,+resize=True):
++++mode+=+'RGBA'+if+(img_data.nChannels+==+4)+else+'RGB'+
++++img+=+Image.frombytes(mode=mode,+data=img_data.data,+size=[img_data.width,+img_data.height])
++++img+=+img.convert('RGB')+if+(mode+==+'RGBA')+else+img
++++img+=+img.resize([224,+224],+resample=Image.Resampling.BICUBIC)+if+(resize)+else+img
++++arr+=+convert_bgr_array_to_rgb_array(np.asarray(img))
++++arr+=+arr.reshape([224*224*3])+if+(resize)+else+arr.reshape([img_data.width*img_data.height*3])

++++return+arr

def+resize_image_udf(dataframe_batch_iterator:+Iterator[pd.DataFrame])+->+Iterator[pd.DataFrame]:
++++for+dataframe_batch+in+dataframe_batch_iterator:
++++++++dataframe_batch["data_as_resized_array"]+=+dataframe_batch.apply(resize_img,+args=(True,),+axis=1)
++++++++dataframe_batch["data_as_array"]+=+dataframe_batch.apply(resize_img,+args=(False,),+axis=1)
++++++++yield+dataframe_batch

resized_df+=+df_image.select("image.*").mapInPandas(resize_image_udf,+schema)|342728|然后，你可以用标准定标器和主成分分析；|342729|model_std+=+standardizer.fit(df)
df+=+model_std.transform(df)
#+algorithm
pca+=+PCA(k=n_components,+inputCol='data_as_vector',+outputCol='pcaFeatures')
model_pca+=+pca.fit(df)

#+Transformation+images
df+=+model_pca.transform(df)|342730|我想，我已经来不及回答你的问题了，对不起|342731|entityMap^0|0|8|15|0|0|0|J|0|0|0|K|0^^$0|@$1|2|3|4|5|6|7|U|8|@]|9|@]|A|$B|C]]|$1|D|3|E|5|F|7|V|8|@$G|W|H|X|I|J]]|9|@]|A|$]]|$1|K|3|L|5|6|7|Y|8|@]|9|@]|A|$B|C]]|$1|M|3|N|5|F|7|Z|8|@$G|10|H|11|I|J]]|9|@]|A|$]]|$1|O|3|P|5|6|7|12|8|@]|9|@]|A|$B|C]]|$1|Q|3|R|5|F|7|13|8|@$G|14|H|15|I|J]]|9|@]|A|$]]|$1|S|3|-4|5|F|7|16|8|@]|9|@]|A|$]]]|T|$]]

<pre><code>img2vec = F.udf(lambda x : Vectors.dense(x), VectorUDT())

df = df.withColumn(&quot;data_as_vector&quot;, img2vec(&quot;data_as_resized_array&quot;))

standardizer = StandardScaler(withMean=True, withStd=True, inputCol=&quot;data_as_vector&quot;, outputCol=&quot;scaledFeatures&quot;)
</code></pre>
for image it needs to resize image data with this code and you must use the resized image data;
<pre><code>def resize_img(img_data, resize=True):
 mode = 'RGBA' if (img_data.nChannels == 4) else 'RGB' 
 img = Image.frombytes(mode=mode, data=img_data.data, size=[img_data.width, img_data.height])
 img = img.convert('RGB') if (mode == 'RGBA') else img
 img = img.resize([224, 224], resample=Image.Resampling.BICUBIC) if (resize) else img
 arr = convert_bgr_array_to_rgb_array(np.asarray(img))
 arr = arr.reshape([224*224*3]) if (resize) else arr.reshape([img_data.width*img_data.height*3])

 return arr

def resize_image_udf(dataframe_batch_iterator: Iterator[pd.DataFrame]) -&gt; Iterator[pd.DataFrame]:
 for dataframe_batch in dataframe_batch_iterator:
 dataframe_batch[&quot;data_as_resized_array&quot;] = dataframe_batch.apply(resize_img, args=(True,), axis=1)
 dataframe_batch[&quot;data_as_array&quot;] = dataframe_batch.apply(resize_img, args=(False,), axis=1)
 yield dataframe_batch

resized_df = df_image.select(&quot;image.*&quot;).mapInPandas(resize_image_udf, schema)
</code></pre>
then you can make standardscaler and PCA with;
<pre><code>model_std = standardizer.fit(df)
df = model_std.transform(df)
# algorithm
pca = PCA(k=n_components, inputCol='data_as_vector', outputCol='pcaFeatures')
model_pca = pca.fit(df)

# Transformation images
df = model_pca.transform(df)
</code></pre>
i think, i am too late to answer your questions, sorry

I am using Pyspark in AWS cloud to extract the image features:
<pre><code>ImageSchema.imageFields
img2vec = F.udf(lambda x: DenseVector(ImageSchema.toNDArray(x).flatten()),
 VectorUDT())
df_vec = df_cat.withColumn('original_vectors', img2vec(&quot;image&quot;))
df_vec.show()
</code></pre>
After having standardized the data:
<pre><code>standardizer = MinMaxScaler(inputCol=&quot;original_vectors&quot;,
 outputCol=&quot;scaledFeatures&quot;,
 min=-1.0,
 max=1.0)
#withStd=True, withMean=True)
model_std = standardizer.fit(df_vec)
df_std = model_std.transform(df_vec)
df_std.show()
</code></pre>
... when I apply PCA for dimension reduction, I receive an error that I could not debug for a couple of weeks :(
<a href="https://i.stack.imgur.com/MHfGw.png" rel="nofollow noreferrer">Error_1</a>
<a href="https://i.stack.imgur.com/Mdi9G.png" rel="nofollow noreferrer">Error_2</a>
Could you please help me to solve that?
I use Pyspark spark-3.0.3-bin-hadoop2.7

pyspark image dimension reduction with PCA

翻译质量差，导致语言生硬或混乱。

没有提供实际的解决方法或示例。

解答不清晰，无法理解或解决问题。

页面排版不美观，阅读体验差。

文章

问答

视频

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋 

腾讯云代码助手

CODING DevOps

Cloud Studio

SDK中心

API中心

命令行工具

我正在使用AWS云中的Pyspark来提取图像特征：ImageSchema.imageFieldsimg2vec = F.udf(lambda x: DenseVector(ImageSchema.toNDArray(x).flatten()),                VectorUDT())df_vec = ...

基于PCA的电火花图像降维方法-腾讯云开发者社区-腾讯云

问基于PCA的电火花图像降维方法
EN

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问基于PCA的电火花图像降维方法EN

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问基于PCA的电火花图像降维方法
EN