谷歌顶点AI图像AutoML分类时，图像中的一个重要特征是文本
谷歌顶点AI图像AutoML分类时，图像中的一个重要特征是文本
提问于 2022-01-07 11:48:25
我想做图像分类。在我的数据集中，尽管图像特征是这种分类(颜色、形状等)的强大组成部分，但是如果不解释图像中的文本，那么中的某些类别的图像将很难被区分。
我不认为VertexAI/AutoML将使用预先训练的模型来促进分类，如果在某些情况下，唯一的区别是文本。我知道Google Vision/OCR有能力进行这样的提取。但是是否有一种方法来进行图像分类(VertexAI/AutoML)，使用Google提取作为一种额外的图像特征
目前，我的项目使用了3种模型(没有google云)：
- 模型1:使用图像特征对图像进行分类
- 模型2:只使用OCR + regex (相同类别)对图像进行分类
- 模型3:将两种模型结合起来，并决定何时使用模型1或模型2。
我想切换到顶点AI，以下将提高我的项目质量如下：
- AutoML分类似乎非常适合于模型1。
- 我需要使用一个工具来管理我的数据集(顶点AI管理的数据集)
- 顶点AI有有趣的流水线训练功能。
如果确认AutoML不能很好地表现，如果某些图像类别仅在文本中不同，我将重新创建一个类似的三层模型使用顶点AI自定义培训脚本。我可以很容易地用VertexAI/AutoML创建模型1。然而，我不知道是否：
- 我可以使用一个顶点ai自定义培训脚本创建模型2，使用google /ocr进行图像分类
- 我可以创建模型3，使用由顶点ai创建的模型1和模型2。
你能给我建议如何使用谷歌云平台来实现这个目标吗？
回答 1
Stack Overflow用户
发布于 2022-01-10 18:10:59
为此，我建议你如下：
1.模型2:
- 将图像保存在
GCS中。 - 使用检测图像中的文本生成数据集(文本)
{"gcs":"gs://path_to_image/image_1","text":["text1"...]}。 - 在这个文本数据集上使用AutoML，由vision api 或处理，只需对此数据使用regexp --或插入到bigquery数据集中并对其进行查询，等等……
1.模型3:
- 我将遵循类似的方法，使用云视觉API处理图像并生成文本数据集，但这一次，没有任何文本的图像将生成一个
"text"字段为空{"gcs":"gs://path_to_image/image_2","text":[]}的数据集。您自己的脚本可以排除带有文本的数据，并为模型2生成数据集，为模型1生成数据集。
我看到你们的模型2和3并不是严格的分类。模型2是一个ocr问题，它们处理输出数据。模型3基本上是处理数据并分离适当的数据集。
我希望这个洞察力能对你有所帮助。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/70620806
复制相关文章
相似问题
腾讯云开发者
