如何在google-cloud-ml中设置火把
我试图在google中使用Pytorch代码来完成工作。所以我对"setup.py“文件进行了编码。并添加选项"install_requires“
"setup.py“
from setuptools import find_packages
from setuptools import setup
REQUIRED_PACKAGES = ['http://download.pytorch.org/whl/cpu/torch-0.3.0.post4-cp27-cp27mu-linux_x86_64.whl','torchvision']
setup(
name='trainer',
version='0.1',
install_requires=REQUIRED_PACKAGES,
packages=find_packages(),
include_package_data=True,
description='My keras trainer application package.'
)把任务交给google-cloud-ml，但是它不起作用
带有错误信息
{
insertId: "3m78xtf9czd0u"
jsonPayload: {
created: 1516845879.49039
levelname: "ERROR"
lineno: 829
message: "Command '['pip', 'install', '--user', '--upgrade', '--force-reinstall', '--no-deps', u'trainer-0.1.tar.gz']' returned non-zero exit status 1"
pathname: "/runcloudml.py"
}
labels: {
compute.googleapis.com/resource_id: "6637909247101536087"
compute.googleapis.com/resource_name: "cmle-training-master-5502b52646-0-ql9ds"
compute.googleapis.com/zone: "us-central1-c"
ml.googleapis.com/job_id: "run_ml_engine_pytorch_test_20180125_015752"
ml.googleapis.com/job_id/log_area: "root"
ml.googleapis.com/task_name: "master-replica-0"
ml.googleapis.com/trial_id: ""
}
logName: "projects/exem-191100/logs/master-replica-0"
receiveTimestamp: "2018-01-25T02:04:55.421517460Z"
resource: {
labels: {…}
type: "ml_job"
}
severity: "ERROR"
timestamp: "2018-01-25T02:04:39.490387916Z"
}====================================================================
那么，我如何在引擎中使用火把呢？
回答 2
Stack Overflow用户
发布于 2018-02-05 04:09:26
我找到了在google-cloud-ml中设置PYTORCH的解决方案
first，您必须获得一个关于pytorch的.whl文件，并将其存储到Google存储桶中。你会得到桶链接的链接。
gs://bucketname/directory/torch-0.3.0.post4-cp27-cp27mu-linux_x86_64.whl.whl文件取决于您的python版本或cuda版本.
，第二个，您编写命令行和setup.py，因为您必须设置google设置。相关链接是这个毫升发动机，您编写setup.py文件来描述您的设置。相关的链接是这个文件
这是我的命令代码和setup.py文件
===================================================================== “命令”
#commandline code
JOB_NAME="run_ml_engine_pytorch_test_$(date +%Y%m%d_%H%M%S)"
REGION=us-central1
OUTPUT_PATH=gs://yourbucket
gcloud ml-engine jobs submit training $JOB_NAME \
--job-dir $OUTPUT_PATH \
--runtime-version 1.4 \
--module-name models.pytorch_test \
--package-path models/ \
--packages gs://yourbucket/directory/torch-0.3.0.post4-cp27-cp27mu-linux_x86_64.whl \
--region $REGION \
-- \
--verbosity DEBUG===================================================================== "setup.py"
from setuptools import find_packages
from setuptools import setup
REQUIRED_PACKAGES = ['torchvision']
setup(
name='trainer',
version='0.1',
install_requires=REQUIRED_PACKAGES,
packages=find_packages(),
include_package_data=True,
description='My pytorch trainer application package.'
)=====================================================================
如果您有向ml引擎提交工作的经验，则为第三。您可能知道提交ml引擎模型的文件结构。您必须遵循上面的链接，并知道如何打包文件。
Stack Overflow用户
发布于 2018-01-25 06:55:40
实际的错误消息有点隐藏，但如下所示：
'install_requires‘必须是包含有效的项目/版本需求说明符的字符串或字符串列表；无效的需求，在“：//downl”处解析错误
要使用不在PyPI上托管的包，您需要使用dependency_links (参见这文档)。像这样的东西应该能起作用：
from setuptools import find_packages
from setuptools import setup
REQUIRED_PACKAGES = ['torchvision']
DEPENDENCY_LINKS = ['http://download.pytorch.org/whl/cpu/torch-0.3.0.post4-cp27-cp27mu-linux_x86_64.whl']
setup(
name='trainer',
version='0.1',
install_requires=REQUIRED_PACKAGES,
dependency_links=DEPENDENCY_LINKS,
packages=find_packages(),
include_package_data=True,
description='My keras trainer application package.'
)https://stackoverflow.com/questions/48434556
复制相似问题
腾讯云开发者
