Google Cloud ML Engine + Tensorflow在input_fn()中执行预处理/标记化
Google Cloud ML Engine是Google Cloud平台上的一项机器学习服务，而TensorFlow是一种开源的机器学习框架。在使用Google Cloud ML Engine和TensorFlow进行机器学习任务时，可以在input_fn()函数中执行预处理和标记化操作。
input_fn()函数是TensorFlow中的一个重要函数，用于定义数据输入的方式。在Google Cloud ML Engine中，可以通过自定义input_fn()函数来对输入数据进行预处理和标记化操作，以便在训练和推理过程中使用。
预处理操作可以包括数据清洗、特征提取、数据转换等，旨在使数据适合机器学习模型的训练和推理。标记化操作则是将原始数据转换为模型可以理解的格式，例如将文本数据转换为词向量表示。
在input_fn()函数中执行预处理和标记化操作的好处是可以将数据处理逻辑与模型训练和推理逻辑分离，使代码更加清晰和可维护。此外，通过在input_fn()函数中进行预处理和标记化，可以在训练和推理过程中实时处理输入数据，提高模型的效果和性能。
对于input_fn()函数的具体实现，可以根据任务的需求和数据的特点进行定制。例如，对于图像分类任务，可以在input_fn()函数中使用图像处理库对图像进行预处理和标记化；对于文本分类任务，可以在input_fn()函数中使用自然语言处理库对文本进行预处理和标记化。
在Google Cloud ML Engine中，可以使用以下相关产品和服务来支持input_fn()函数的执行：
- Google Cloud Storage：用于存储和管理训练数据和模型文件。可以使用Cloud Storage API进行数据的读取和写入操作。相关链接：Google Cloud Storage
- Google Cloud Dataflow：用于大规模数据处理和转换。可以在input_fn()函数中使用Dataflow进行数据的批处理和流处理操作。相关链接：Google Cloud Dataflow
- Google Cloud Pub/Sub：用于实现可靠的消息传递和事件驱动的数据处理。可以在input_fn()函数中使用Pub/Sub进行数据的订阅和发布操作。相关链接：Google Cloud Pub/Sub
总结：Google Cloud ML Engine和TensorFlow的结合可以实现在input_fn()函数中执行预处理和标记化操作，以支持机器学习任务的训练和推理。通过使用Google Cloud平台上的相关产品和服务，可以实现数据的存储、处理和传输，从而构建完整的机器学习解决方案。
相关·内容
1回答
在google cloud上使用tensorflow 2进行培训
tensorflow、gcloud
如何使用tensorflow 2在google cloud (ai-platform)上训练模型？ 我看到唯一可用的运行时版本是1.14 https://cloud.google.com/ml-engine/docs/runtime-version-list gcloud ai-platform jobs submit training ... --python-version 3.5 --runtime-version 1.14
浏览 23提问于2019-12-06得票数 0
1回答
无云存储Bucket的GCP模型部署
python、google-cloud-ml
我在本地机器上开发了一个基于Tensorflow的机器学习模型。我想把它部署在Google Cloud Platform (Cloud ML Engine)中进行预测。该模型从Google Bigquery读取输入数据，输出预测只能用Google Bigquery编写。在运行模型预测之前，必须运行一些数据准备脚本。我已经将Google Cloud Storage用于模型存储，并将其用于部署，我已经成功地部署了它。但是，代替使用Google Cloud Storage来保存模型(即.pb或.pkl模型文件)，我可以将其存储在GCP (或本地机器)上，并从Cloud ML Engine调用它以进
浏览 24提问于2019-02-28得票数 2
2回答
无法在google cloud ml上进行预测，而相同的模型在本地计算机上工作
python、tensorflow、machine-learning、google-cloud-ml
我正在尝试使用google cloud中的tensorflow库来训练一个机器学习模型。在创建存储桶之后，我可以在云中训练模型。当我尝试使用现有模型进行预测时，我面临着这个问题。代码和数据可以在以下Github目录中找到。
云上的tensorflow版本是1.8，我的系统上的tensorflow版本也是1.8
我尝试通过以下输入进行预测："gcloud ml-engine predict -model= make -version=v8 --json-instances=sample_ input _prescaled.json“
它出现错误，错误如下：“预测失败:模型执行期间出错:
浏览 0提问于2018-06-12得票数 1
2回答
亚马逊网络服务SageMaker数据准备
amazon-web-services、machine-learning、aws-lambda、data-science、amazon-sagemaker
我正在尝试理解如何实现机器学习算法，其中预处理和后处理在AWS Sagemaker中是一项繁重的任务。主要思想是从S3获取数据，每次S3中的数据发生变化时，Cloud watch都会触发一个lambda函数来调用SageMaker端点。问题是，一旦训练了算法，在预测新数据之前，我需要对数据进行预处理(自定义NLP预处理)。一旦算法做了预测，我需要接受这个预测，做一个后处理，然后将后处理的数据发送到S3。我的想法是创建一个docker：
├── text_classification/ - ml scripts
| ├── app.py
浏览 0提问于2020-06-05得票数 3
3回答
毫升单位超过允许的最大值
tensorflow、google-cloud-platform、tensorflow-gpu、google-cloud-ml
当我试图提交一个在Google Cloud-ML中训练模型的工作时，我得到了下面的错误。
RESOURCE_EXHAUSTED: Quota failure for project my_project.
The requested 16.536900000000003 ML Units exceed the allowed maximum of 15.To read more about Cloud ML Engine quota, see https://cloud.google.com/ml-engine/quotas.
- '@type': type.googleapi
浏览 14提问于2017-12-22得票数 0
1回答
为什么在Google Cloud ML上训练的TensorFlow模型比在本地训练的模型更准确？
tensorflow、machine-learning、object-detection、google-cloud-ml
我训练了一个对象检测API模型(使用动物园的COCO / Inception v2的Mask RCNN )，具有相同的配置，TensorFlow和模型版本，以及相同数量的步骤的相同(自定义)数据集。
在本地机器(1080TI上的tensorflow-gpu)上，我使用了object_object/Train.py，而在云上，我使用了调用object_detection.train模块的google ml-engine作业。两者使用相同的学习率。
云运行使用了5个工作进程，而本地运行只有1个GPU。它们都被设置为批处理大小为1。
为什么本地训练的模型的准确性要低得多？本地训练的模型往往比云训练的
浏览 28提问于2018-08-23得票数 0
回答已采纳
1回答
安卓应用TensorFlow谷歌云ML
android、machine-learning、tensorflow、google-cloud-ml
我正在研究如何在安卓应用程序上结合使用TensorFlow和Google Cloud ML。我已经从这篇文章中找到了这个，而且我在谷歌上已经找到了什么，我总是必须部署一个经过训练的模型(即Tensorflow Graph?)第一?没有办法使用Google Cloud ML在这个云中发送数据值和训练TensorFlow模型吗？
因此，唯一的方法是:部署一个模型，将数据值发送到google云并接收预测？
谢谢
浏览 1提问于2016-12-17得票数 0
1回答
Python ml引擎预测:如何使googleapiclient.discovery.build持久化？
python、prediction、google-api-python-client、google-cloud-ml
我需要从部署在云ml引擎中的模型进行在线预测。我的python代码类似于文档(https://cloud.google.com/ml-engine/docs/tensorflow/online-predict)中的代码： service = googleapiclient.discovery.build('ml', 'v1')
name = 'projects/{}/models/{}'.format(project, model)
if version is not None:
name += '/versions/{}&#
浏览 14提问于2019-04-06得票数 3
1回答
Google中用于预测的预处理数据(云功能不支持Tensorflow)
python、tensorflow、machine-learning、google-cloud-platform、google-cloud-functions
我使用Google Cloud Functions向Cloud ML Engine发送用于预测的数据。
首先，我需要对数据进行预处理，然后再发送到Cloud ML Engine。
对于预处理，我使用两个令牌器(来自nltk的mwetokenizer和来自tensorflow的tf.keras.preprocessing.text.Tokenizer )。
当我将令牌程序加载到Google Cloud Functions中时，会得到一个错误：
ModuleNotFoundError:没有名为“keras_preprocessing”的模块
这是因为nltk和tensorflow不支持Py
浏览 4提问于2018-09-27得票数 1
回答已采纳
1回答
Python:并行化GPU和CPU工作
python、multithreading、concurrency、parallel-processing、tensorflow
为我的ML模型处理批处理花费了太多的时间，所以我正在考虑并行化它们。
现在，预处理例程从SSD中获取数据，进行预处理，并形成用于学习的数据结构。所有这些时间，ML培训过程等待着。然后，ML过程接受这些数据并使用它来训练模型。现在预处理在等待。然后他们就绕来走去。这个等待时间快速总结，延迟了模型的训练。
计划如下:一个单一的数据结构将存储一组数据点。每一步训练算法都采用随机子集对模型进行训练(用TensorFlow在GPU上进行训练)。
同时，我希望另一个线程对下一组数据点进行预处理。当预处理就绪时，它将用新的数据结构对象代替旧的数据结构对象。以此类推。
由于这是我在Python中实现并行化的第
浏览 4提问于2016-07-05得票数 2
回答已采纳
2回答
Google App Engine:每天自动重新部署一次以更新机器学习模型？
python、google-app-engine、machine-learning
我有以下情况:运行在Google app engine上的Python Flask应用程序；该应用程序提供来自Spacy机器学习模型的预测。全天，都有一个工作流程为这个模型添加新的训练数据，App有一个cron任务，每天晚上都会考虑这个新的训练数据来重新训练模型。 问题是，我希望每个App实例在这个新训练的模型可用后引用它。我可以将模型上传到某个地方(例如，Google Cloud Storage)，但最终，每个实例都需要找出这个新模型的存在，下载它，并将其加载到内存/初始化它；这需要时间，所以我希望每天/在启动时只做一次。 我现在在想--有没有办法每天自动重新部署一次应用，或者自动重启实例
浏览 15提问于2019-10-04得票数 3
3回答
CNTK和WIN ML的区别是什么
deep-learning、cntk、windows-machine-learning
我知道我的问题很基本，但我需要一些澄清。CNTK是我目前使用的深度学习框架，可以用来在windows机器上训练和评估模型。如果我想在Windows设备上运行用CNTK训练的模型，我应该使用WIN ML。我说的对吗? WIN ML也可以在windows机器上使用吗？
浏览 36提问于2019-01-01得票数 0
回答已采纳
1回答
如何让分布式tensorflow实验在worker而不是master上运行评估？
tensorflow、tensorflow-gpu、google-cloud-ml
我正在使用Google Cloud ML Engine与tensorflow.contrib.learn.Experiment一起训练模型。默认情况下，tensorflow似乎让主服务器运行评估。我只在训练完成后才运行evals (min_eval_frequency=0)，而且我的主人有大量的内核和内存，但没有GPU (所以eval相对于P100工人来说非常慢)。我可以在一个worker上运行eval吗？
浏览 6提问于2017-11-29得票数 0
2回答
不含Tensorflow服务的GCP中的Tensorflow模型部署
python-3.x、tensorflow、deployment、google-cloud-platform、google-bigquery
机器学习模型:基于Tensorflow (版本1.9)和Python版本3.6
数据输入:来自Bigquery
数据输出:到Bigquery
产量预测频率:月
我开发了一个基于Tensorflow的机器学习模型。我已经在本地进行了培训，并希望将其部署到Google平台上进行预测。
该模型从Google读取输入数据，输出预测必须用Google编写。有一些数据准备脚本必须在运行模型预测之前运行。目前，我不能像在Beta阶段那样在生产中使用BigQuery ML。此外，由于这是批量预测，我不认为Tensorflow服务将是一个很好的选择。
我尝试过的部署策略：
使用Google引擎进行预
浏览 1提问于2018-10-03得票数 2
1回答
Tensorflow在google cloud上进行训练时无法打开CUDA库libcuti.so.8.0
tensorflow、google-cloud-platform、google-cloud-ml-engine
我正在尝试在Google Cloud ml-engine上使用Tensorflow训练一个模型。tensorflow似乎无法访问云计算机器上的libcupti文件，因为LD_LIBRARY_PATH没有指向正确的目录，如下面的日志条目所暗示的：
lineno: 126
message: "Couldn't open CUDA library libcupti.so.8.0.
LD_LIBRARY_PATH: /usr/local/cuda/lib64"
levelname: "INFO"
pathnam
浏览 0提问于2017-04-02得票数 1
2回答
机器学习模型是如何工作和记忆的？
machine-learning、machine-learning-model
我是机器学习的新手。我对机器学习模型是如何记住它学到的东西感到困惑。以及它是如何学习的。
我知道机器学习的基本流程:首先是数据采集，然后是数据预处理，然后创建训练和测试数据集，然后训练ML学习算法。训练后，用试验数据对模型的准确性进行检验。但是我对算法是如何训练的以及它是如何记住它学到的东西感到困惑的。
浏览 0提问于2018-09-03得票数 6
2回答
在BigQuery中使用Google引擎？
machine-learning、google-bigquery、google-cloud-platform
我目前正在BigQuery中设计一个数据仓库。我计划存储用户数据，如过去的购买或废弃的手推车。
这似乎是完美的手动分析趋势和获得洞察力。但是，如果我想利用机器学习，例如向一群用户推荐产品呢？我研究过Google引擎和TensorFlow，似乎TensorFlow模型需要先查询BigQuery。在某些情况下，这可能意味着TensorFlow需要查询存储在BigQuery中的所有或大部分数据。
这感觉有点不对劲，所以我想知道事情是否真的是这样发生的。否则，我假设我的ML模型必须处理陈旧的数据？
浏览 5提问于2018-01-06得票数 2
回答已采纳
2回答
用Python训练Google Cloud ML Engine中的Tensorflow模型
tensorflow、google-cloud-platform、google-cloud-ml、google-cloud-ml-engine
我可以在不使用命令行的情况下使用python在Google云机器学习引擎中训练Tensorflow模型吗：
`gcloud ml-engine jobs submit training $JOB_NAME \
--job-dir $OUTPUT_PATH \
--runtime-version 1.2 \
--module-name trainer.task \
--package-path trainer/ \
--region $REGION \ `
我的目标是从我的python脚
浏览 2提问于2017-10-12得票数 1
3回答
Google cloudml总是给我相同的结果
python、image-recognition、google-cloud-ml
我的工作是机器学习，我想使用谷歌云ml服务。
此时，我已经使用Tensorflow ()的retrain.py代码训练了我的模型，并且我已经将结果导出到了cloudml (导出和export.meta文件)。但是，当我尝试使用命令()预测新数据时：
gcloud beta ml predict
它总是返回相同的结果(我想预测不同的数据)。这怎么可能呢？
我的数据是以文本格式从jpeg解码的图像：
echo "{\"image_bytes\": {\"b64\": \"`base64 image.jpg`\"}}" > ins
浏览 0提问于2016-12-02得票数 2
1回答
在Google Cloud ML上训练Tensorflow
tensorflow、reinforcement-learning、google-cloud-ml
我有一个模型，我正试图在我的本地机器上训练它，但它需要比我计算机上的RAM更多的RAM。
正因为如此，我希望在Google Cloud ML上训练这个模型。
我正在尝试训练的这个模型使用强化学习，并采取一些行动，并从使用Python开发的环境中获得奖励，该环境将CSV文件作为输入。
如何导出这些内容，以便在Google Cloud ML上进行培训？
浏览 12提问于2018-01-31得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
活动推荐
腾讯云开发者
