在Google Cloud ML引擎中使用自定义依赖项
Google Cloud ML引擎是Google Cloud平台上的一项托管服务，用于支持机器学习模型的训练和部署。在Google Cloud ML引擎中使用自定义依赖项是指在训练和部署机器学习模型时，需要使用一些非标准的、不包含在Google Cloud ML引擎默认环境中的库或软件包。
为了在Google Cloud ML引擎中使用自定义依赖项，可以按照以下步骤进行操作：
- 创建一个包含所需依赖项的Python虚拟环境。可以使用工具如virtualenv或conda来创建虚拟环境，并在其中安装所需的库或软件包。
- 在虚拟环境中安装Google Cloud ML引擎的Python客户端库。可以使用pip命令来安装，命令如下：pip install google-cloud-ml
- 将虚拟环境中的依赖项打包成一个tar.gz文件。可以使用命令如下：tar -czvf dependencies.tar.gz -C /path/to/virtualenv .
- 将打包好的依赖项上传到Google Cloud Storage（GCS）中的一个存储桶。可以使用gsutil命令来上传，命令如下：gsutil cp dependencies.tar.gz gs://your-bucket-name/path/to/dependencies.tar.gz
- 在训练或部署机器学习模型时，指定使用自定义依赖项。可以通过在训练作业或部署配置文件中添加以下参数来实现：--packages gs://your-bucket-name/path/to/dependencies.tar.gz
相关·内容
我正在尝试将PyPI中未列出的python 与Google Cloud ML引擎一起使用。此包本身具有依赖项，即使在PyPI中列出，也不会默认安装在ML engine环境中，即包。查看时，并不清楚在这种情况下该如何处理，我尝试将此包打包到.tar.gz文件中，并在--packages参数下传递它，但我得到了以下错误：
File "<string&g
浏览 14提问于2017-07-21得票数 1
回答已采纳
我试图运行一个ML引擎训练作业，从云数据存储读取数据，但得到了一个权限错误： line 434, in _end_unary_response_blocking raise _Rendezvous(stateof the following exception: Traceback (most recent call last): File "/usr/lib/python3.5/runpy.py", 我在本地运行了相同的脚本我搜索了如何向Cloud M
浏览 6提问于2019-03-15得票数 1
我正在试着按照这篇文章测试TPU的性能：https://codelabs.developers.google.com/codelabs/tpu-resnet/#0 但在训练作业提交步骤中，CloudShell会显示以下错误： ERROR: (gcloud.ml-engine.jobs.submit.training) RESOURCE_EXHAUSTED: Quota failure for projectTo read more about Cloud
浏览 15提问于2019-01-25得票数 1
我一直在寻找在我的ML项目中添加用户定义函数和自定义转换器的可能性，但我只找到了在张量流框架中如何做到这一点的示例。我已经创建了一个可以与pip一起安装的自定义包，但是我不知道setup.py文件在scikit-learn框架中应该是什么样子。 ])
model = knn_
浏览 0提问于2018-04-24得票数 3
我注意到，在尝试使用google_cloud_pipeline_components.aiplatform.ModelDeployOp()组件部署模型时，它返回一个错误。如果我们查看google_cloud_pipeline_components.aiplatform的文档，我们可以找到ModelDeployOp()的两个条目。，gcp日志记录被取消： /usr/local/bin/python3: Error while finding modu
浏览 32提问于2021-10-21得票数 0
我正在尝试设置一个将部署在Google App Engine上的flask应用程序。我运行pip install -t lib -r requirements.txt将所有依赖项安装到lib目录中。当我在flask应用程序的根目录中运行dev_appserv
浏览 1提问于2016-11-12得票数 0
我在自定义的conda通道中有私有的包。我想在Google Cloud函数中使用依赖项。Google Cloud Function documentation要求使用pip install -t安装您的私有依赖项。 是否有与-t等效的conda install选项？我找了一遍也没找到。在Google Cloud Function
浏览 15提问于2020-06-19得票数 0
回答已采纳
我使用java8在应用程序引擎上部署了一个应用程序。<init>(Storage.java:11184) at com.google.cloud.ServiceOptions.getRpc(ServiceOptions.java:482)
atcom.google.<e
浏览 11提问于2021-01-21得票数 5
回答已采纳
1回答
ML引擎:未找到包libffi
、、、、
我正在尝试在ML引擎中训练一个使用cairocffi python模块的模型，该模块依赖于一个名为libffi的东西。在日志中，我收到消息No package 'libffi' found。有没有办法为ML引擎任务安装这样的依赖项？
浏览 14提问于2019-02-07得票数 0
回答已采纳
1回答
我们的目标是在ML引擎上开始一项培训工作，然后在GKE上提供服务。 培训作业在Docker容器中启动。(管道中的每个步骤都必须是一个容器。)&& \ rm google-cloud-sdk.zip && \
tools&#
浏览 13提问于2019-03-06得票数 1
回答已采纳
当使用以下命令创建ML引擎模型的新版本时
gcloud ml-engine versions create 'v1' --model=model_name --origin=gs://path_to_model: version.deployment_uri Error: Read permissions are required for Cloud ML service account cloud-ml-ser
浏览 1提问于2018-03-01得票数 11
回答已采纳
1回答
我成功地用Google引擎训练了我的第一个网络，现在我试图通过提供自己的加密密钥来使设置更加安全。正如在中解释的那样，我现在使用自己的自定义加密密钥将数据复制到Cloud，而不是将数据未经加密存储在那里。
然而，现在我的设置(显然！)失败了，因为我提交给ML引擎的Python代码无法解密这些文件。我期望有一个像--decrypt-key这样的选项到gcloud ml-engine jobs submit training，但是我找不到
浏览 11提问于2017-09-01得票数 1
回答已采纳
我有一个python ML进程，它使用环境变量GOOGLE_APPLICATION_CREDENTIALS指向的本地json文件连接到BigQuery (该文件包含由谷歌提供的密钥，请参阅authentication我现在希望通过Google's Ml engine部署我的模型，特别是使用外壳命令gcloud ml-engine jobs submit training。然而，在我运行我的进程并查看了console.cloud</em
浏览 24提问于2019-01-07得票数 3
回答已采纳
我是Google Cloud ML的新手，在调整分布式训练以适应模型方面遇到了困难。我正在尝试在Google Cloud ML上使用Standard_1 Scale Tier的自定义训练集训练，它传入了一个描述集群的TF_CONFIG值。根据的说法，我应该能够使用TF_CONFIG变量来设置分布式训练作业。在中有一些关于分布式训练的参数，但它似乎与我见过的任何其他分布式训练文档(即
浏览 2提问于2018-05-18得票数 0
我目前已经安装了Google Cloud ML Engine来训练在Keras中创建的模型。在使用Keras时，ML引擎似乎不会自动将日志保存到存储桶中。我在ML引擎作业页面中看到了日志，但它们没有显示在我的存储桶中，因此我无法在训练时运行tensorboard。您可以看到作业已成功完成并生成了日志：
但
浏览 8提问于2017-07-14得票数 3
回答已采纳
1回答
Google ML引擎的批量预测抛出了一个异常。
我在Google ML引擎上有一个tensorflow模型。我的模型对图像进行推断。不过，输入不是普通的数组。该模型只接受图像的b64编码字符串。我的输入是一个托管在Google Cloud平台的存储桶中的文本文件。"/9j/4\'\n\t [[node encoder/map/while&
浏览 1提问于2019-04-03得票数 2
1回答
现在，我该如何让别人使用它呢？Google ML文档从来没有提到这一点...它只解释了如何使用gloud获得预测，如下所示：但是如何在其他人的Java或Go程序中做到这一点呢？
浏览 12提问于2018-02-09得票数 2
我的目标是在google引擎上做出预测。我收到消息:错误：
DEBUG: (gcloud.ml-engine.local.predict) Runtim
浏览 5提问于2018-02-16得票数 12
回答已采纳
我正在实现简单的Scikit-Learn Pipeline来在Google Cloud ML引擎中执行LatentDirichletAllocation。目标是从新数据中预测主题。)现在(如果我理解正确的话)来预测我可以运行的测试数据的主题：然而，当上传管道到谷歌云存储，并试图使用它来通过谷歌云ML引擎生成本地预测时
浏览 28提问于2018-07-23得票数 3
我导出了一个带有用于服务预测的自定义类的faster_rcnn_resnet101模型，并将其部署在云ML平台上，以便我可以使用云ML预测引擎。在线预测有效，但当我尝试批量预测时，结果失败。我还尝试了google cloud blog中提到的步骤。 本地预测和在线预测工作，但批量预测失败。任何帮助都将不胜感激。无法将字节解码为JPEG、PNG、GIF或BMP\n\t [[node map/while/decode_image
浏览 9提问于2019-01-24得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
