首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

GCP 上的人工智能实用指南:第三、四部分

GCP 项目需要有权访问存储,建议该存储位于打算运行训练作业的同一区域中。 --job-dir:这是一个存储位置,用于存储训练作业的输出文件。 该位置必须与训练作业要在同一区域进行。...如果您使用其他项目中的存储,则需要确保可以访问 Google Cloud AI Platform 服务帐户中的存储模型。...此外,我们需要提供区域和默认存储类,并在 GCP 中创建存储定义访问级别(可以访问存储的用户组和用户)。... Cloud Shell GCP 控制台),确保使用以下命令更新所有组件: gcloud components update 如下在 Cloud Storage 上创建两个存储: [外链图片转存失败...将发票 PDF 文件复制到aigcp存储 Cloud Shell GCP 控制台复制)。

6.6K10

GCP 上的人工智能实用指南:第一、二部分

Cloud Shell 提供了与 GCP 进行交互的类似界面,Cloud Shell 是一个基于浏览器的临时 Shell 环境,可以控制台内部进行访问。...当源文本的语言未知API 还可促进语言检测。 与其他 AI 服务类似,翻译服务也可用作 REST API,用于在应用内进行编程访问和集成。 在撰写本文,支持 100 种语言。...如果经常在同一地理区域访问数据,则进入“区域”存储。 对于每月访问一次的数据,请使用 Nearline,对于每年访问一次的数据,请使用 Coldline 存储。...凭借其所有功能,存储GCP 上最常用的存储选项,也是最便宜的存储选项之一。 根据存储类别和访问模式,其价格每月每 GB 0.007 美元到每月每 GB 0.036 美元不等。...在 Cloud Storage 中创建训练和测试存储。 在 GCP 控制台中,单击左上角的导航菜单,然后在存储部分中,单击“存储存储)”。 单击顶部的创建存储

17K10
您找到你想要的搜索结果了吗?
是的
没有找到

Google AutoML图像分类模型 | 使用指南

所有数据都必须位于GCP存储中。因为我们的数据集太大,所以浏览器界面无法正常工作。 但是,GCP命令行工具应该可以正常运行。你也可以安装Google Cloud SDK(其中包括命令行工具)。...创建模型 在本节中,我们将创建一个运行在GCP上的模型,该模型具有易于使用API以及可以导出到Tensorflow并在本地或本地托管的移动设备和浏览器上运行的Edge模型。 1....让我惊讶的是,模型的表现竟然稍差一些,特别是考虑到它的培训成本要更高之后! 总的来说,我对两个模型的性能都很满意。由混淆矩阵可知,模型在预测男性出错较多,而边缘模型的失误率则更均匀。 ?...模型公开了一个易于使用API,你可以在其中上传一个简单的JSON对象并接收到一组带有返回概率的预测。对我来说,这是简单且完美的集成API。 ? 我们还可以直接在浏览器中使用API并检查结果。...我训练集中上传了一些面部照片,看起来效果还不错!总的来说,如果你有能力在后台运行实例,那么我认为这是一个非常易于使用API。 ? 边缘部署 对于边缘部署,我们有多种下载模型的方法。

2.8K20

不要以平台治理牺牲开发者体验

无论是 AWS 的身份和访问管理(IAM)角色的复杂性,GCP 的网络规则还是 Azure 的存储配置,魔鬼总是藏在细节中。这种复杂性使我们的团队无法专注于提供核心业务价值。...这里有一段代码,让用户可以存储中获取下载 URL: import { api, bucket } from "@nitric/sdk"; const photoApi = api('photos'...这个列表包括 API存储和执行单元等资源,以及在云端配置它们所需的必要信息。 该资源规范清楚地定义了应用程序的部署和运行需求,这使得我们可以生成与项目一同存在的资源图和文档。...这些提供商充当插件,分为两大类: 部署提供商:解释资源规范并将其转换为具体的资源。例如设置 API 网关或存储。 运行时提供商:将抽象的 SDK 调用转换为特定的 API 请求。...例如发布主题或读/写存储。 部署提供商 使用 Pulumi 部署代码设置 S3 存储的代码可能如下所示。代码遍历资源规范,收集建立存储资源所需的必要细节。

6110

Fortify软件安全内容 2023 更新 1

应用程序中使用 Random 和 SplittableRandom 类减少了误报不安全存储:未指定的钥匙串访问策略、不安全存储:外部可用钥匙串和 不安全存储:密码策略 未强制执行 – 应用建议的补救措施...对象误报减少SOQL 注入和访问控制:数据库 – 在 Salesforce Apex 应用程序中使用 getQueryLocator() 减少了误报类别更改 当弱点类别名称发生更改时,将以前的扫描与新扫描合并的分析结果将导致添加...:BigQuery 缺少客户管理的加密密钥GCP 地形配置错误:BigQuery 缺少客户管理的加密密钥GCP Terraform 不良做法:大表缺少客户管理的加密密钥GCP 地形配置错误:大表缺少客户管理的加密密钥...GCP Terraform 不良做法:函数缺少客户管理的加密密钥GCP 地形配置错误:函数缺少客户管理的加密密钥GCP Terraform 不良做法:扳手缺少客户管理的加密密钥GCP 地形配置错误...:扳手缺少客户管理的加密密钥GCP Terraform 不良做法:文件存储缺少客户管理的加密密钥GCP 地形配置错误:文件存储缺少客户管理的加密密钥GCP Terraform 不良做法:发布/订阅缺少客户管理的加密密钥

7.8K30

Crossplane vs Terraform

尽管平台团队可以发布一个模块,允许应用程序团队管理“RDS实例”,但访问控制仍然停留在提供商API级别,因此围绕“数据库子网组”和“数据库参数组”进行框架设置。 ?...每个团队只能被授予对他们需要的抽象的访问权——一些团队可能只能管理存储,而另一些团队可能被允许管理缓存和数据库。 自助服务在Crossplane上扩展得更远,因为任何一个XR都可以提供多个服务类别。...这些服务类别可以表示生产、登台和开发;AWS、Azure和GCP;快和慢;或任意组合。 集成和自动化 Terraform调用有很多API,但它没有提供自己的API。...无论团队主要编写shell脚本、Python还是Erlang,都将存在用于与REST API集成的通用模式和库,从而与Crossplane集成。 ?...Crossplane不暴露任何旧的REST API。在Kubernetes API上构建意味着团队可以使用kubectl这样的工具来编排他们所有的基础设施——或其他。

3.7K10

优步使用谷歌平台实现大数据基础设施的现代化

迁移计划的战略包括两个步骤,即初始迁移和利用原生服务。优步的初始战略包括利用 GCP 的对象存储作为数据湖存储,同时将数据技术栈的其他部分迁移到 GCP 的基础设施即服务(IaaS)上。...公司的目标是保持与内部环境相同的授权访问和安全级别,同时支持对对象存储数据湖和其他服务的无缝用户身份验证。...迁移前和迁移后的优步批数据技术栈(图片来源:优步博客) 优步团队重点关注迁移过程中的数据映射和资源布局。将 HDFS 文件和目录映射到一个或多个中的对象至关重要。...在迁移过程中,优步的数据访问代理会将查询和作业流量路由至这些基于的集群,确保平稳迁移。 优步向谷歌的大数据迁移将面临一些挑战,比如存储方面的性能差异和遗留系统所导致的难以预知的问题。...团队计划通过使用开源工具、利用弹性进行成本管理、将非核心用途迁移到专用存储,以及积极主动的测试集成和淘汰过时的实践来解决这些问题。

8610

每周云安全资讯-2022年第27周

使用暴露的令牌,攻击者可以许多不同的亚马逊应用程序访问用户的个人数据。...他们还可能进行了勒索攻击或永久删除照片、文档等 https://threatpost.com/exposed-amazon-photos/180105/ 4 你的GCP中有多少是可以公开访问的?...它可能比你想象的要多 通过本文,您可以全面了解 Google Cloud Platform (GCP) 的存储服务、如何访问存储以及如何确保按照预期配置存储 https://zone.huoxian.cn.../d/1298-gcp 5 公开漏洞& 安全问题数据库 一个列出所有已知漏洞和服务提供商安全问题的开源项目 https://www.cloudvulndb.org/ 6 MEGA存储服务加密可被攻破.../ 10 浅析 Istio:如何网格中访问外部服务 在生产环境使用 Istio 的时候,可能最需要考虑的问题一个是安全问题一个是性能问题,在这里和大家一起探讨下一个安全问题,如何在 Istio 网格中访问外部服务

84840

新的威胁!黑客利用技术窃取数据和源代码

一旦攻击者访问容器,他们就会下载一个XMRig coinminer(被认为是诱饵)和一个脚本,Kubernetes pod中提取账户凭证。...S3的枚举也发生在这一阶段,存储中的文件很可能包含对攻击者有价值的数据,如账户凭证。...然而,很明显,攻击者S3中检索了Terraform状态文件,其中包含IAM用户访问密钥和第二个AWS账户的密钥。这个账户被用来在该组织的计算中进行横移。...Sysdig建议企业采取以下安全措施,以保护其基础设施免受类似攻击: 及时更新所有的软件 使用IMDS v2而不是v1,这可以防止未经授权的元数据访问 对所有用户账户采用最小特权原则 对可能包含敏感数据的资源进行只读访问...,如Lambda 删除旧的和未使用的权限 使用密钥管理服务,如AWS KMS、GCP KMS和Azure Key Vault Sysdig还建议实施一个全面的检测和警报系统,以确保及时报告攻击者的恶意活动

1.5K20

原生攻防研究 】针对AWS Lambda的运行时攻击

主流Serverless厂商函数访问凭证生命周期统计 由图1,图2所示,AWS Lambda的函数存活时间及访问凭证生命周期分别为11分钟和12小,相比于Azure Functions和GCP Functions...除了创建该函数之外,为了模拟真实攻击环境,应用程序中还包含AWS的S3存储API Gateway等资源,具体可查看项目中的resource.yaml①和serverless.yaml②文件,紧接着我们将此项目部署至...-b 25-36 | awk '{print tolower($0)}') true ##创建受保护的AWS存储,Lambda执行角色可以访问 root ~/work/project/reverse_lambda...keys: panther:9KRZWx5yc47K3D3yuxy6m4fanDJrJx6h50jS0vey ##API密钥,非常重要,用于API请求携带 endpoints: GET -.../panther/assets/panther.jpg 可以看到S3存储的内容已经复制到笔者的本地环境了,我们打开文件看看里面有什么内容: ?

2K20

《Scikit-Learn、Keras与TensorFlow机器学习实用指南(第二版)》第19章 规模化训练和部署TensorFlow模型

默认,TF Serving使用这个端口服务REST API。...默认,它会在路径/models查询,并会自动服务最新版本。 tensorflow/serving 镜像名。 现在回到Python查询服务,先使用REST API,然后使用gRPC API。...Google提供了几个库,用于简化服务访问: Google API Client Library 基于OAuth 2.0和REST。可以使用所有GCP服务,包括AI Platform。..., 0.01, 0.01, 0. ]]) 现在,就在上部署好预测服务了,可以根据QPS自动扩展,可以任何地方安全访问。另外,如果不使用的话,就基本不产生费用:只要每月对每个GB支付几美分。...Cloud Shell可以在GCP上任何地方使用:只要点击页面右上的图标Activate Cloud Shell(见图19-22)。 ?

6.6K20

「无服务器架构」动手操作Knative -第二部分

存储和Vision API集成 当您试图以无缝的方式连接完全不相关的服务,Knative事件就会真正地发挥作用。...在我的集成与视觉API教程中,我展示了如何使用Knative事件连接谷歌存储和谷歌视觉API存储是一种全球可用的数据存储服务。可以将bucket配置为在保存映像发出发布/订阅消息。...这意味着在默认情况下,您甚至不能从Knative服务调用Vision API。这最初让我感到惊讶,所以请确保配置了网络出站访问。 其次,无论何时将图像保存到存储中,它都会发出CloudEvents。...kubectl apply创建了所有内容,无论何时将映像保存到存储中,都应该看到该映像的Knative服务日志标签。...当我把图片保存到,我可以在日志中看到Vision API中的以下标签: info: vision_csharp.Startup[0] This picture is labelled: Sea,Coast

2K30

环境中的横向移动技术与场景剖析

: 在环境中,存储在主机虚拟块设备中的数据是可访问的,此时就需要使用IAM凭证和服务提供商API的强大功能和权限来实现了。...此时,威胁行为者就可以使用SSH密钥和令牌进行横向移动,并渗透到其他开发环境,下图显示的是该示例的事件执行链流程图: GCP:基于元数据的SSH密钥 如果配置不当,GCP也将存在等效的横向移动技术。...只要不使用OS Login服务,威胁行为者就可以将计算引擎实例配置为将其SSH密钥存储在实例元数据中。 这些SSH密钥存储在实例元数据中,便于访问各个实例。...实例的串行控制台连接,并允许他们访问文件系统并在实例中执行Shell命令。...此时,威胁行为者可以使用StartSession API建立到多个托管实例的连接,并使用如下图所示的命令在每个实例上启动交互式Shell会话: 需要注意的是,该方法不需要EC2实例中相关安全组的SSH入站规则

12910

这几个月来 T Wiki 云安全知识库更新了什么?

」师傅 Azure 靶场 AzureGoat 自主更新内容 服务器 SSRF 漏洞到接管你的阿里控制台 Terraform 可视化 环境利用框架 CF Lightspin 2022 年 7 大攻击路径...Christophe Tafani-Dereeper 博客 Google Cloud Shell 命令注入 福布斯 Cloud 100 计算隔离问题: PostgreSQL 的漏洞影响到多个计算供应商...AWS 靶场 AWSGoat 记录一次平平无奇的上攻防过程 渗透信息收集工具 cloudfox Azure Cloud Shell 命令注入窃取用户的访问令牌 Gafnit Amiga 的个人博客...D1net 原生社区动态 大可不加冰 一次简单的””上野战记录 S3 公开存储密钥扫描工具 S3cret Scanner AWS Redshift JDBC Driver RCE 《Hands-On...《服务器 SSRF 漏洞到接管你的阿里控制台》 《Terraform 在线可视化》 《利用 aws cli 执行命令》 《我用 CF 打穿了他的上内网》 《记录一次平平无奇的上攻防过程》 Awesome

85020

如何将您的Git存储库备份到腾讯COS

但是,如果发生诸如不小心删除分支或无法访问存储库等严重性事件,我们应该利用其他更高级恢复策略。 将我们的代码存储库备份到对象存储基础架构中,就为我们提供了可以在需要恢复的数据的异地副本。...从那里,您需要设置您的腾讯 COS并创建一个API密钥。...克隆远程Git存储库 为了克隆我们的Git存储库,我们将创建一个脚本来执行该任务。创建脚本允许我们使用变量并对确保我们不会在命令行上出错有帮助。...Key可从COS控制台左侧栏【密钥管理】或API密钥控制台获取 字符串 bucket 必选参数,指定的存储名称,bucket的命名规则为{name}-{appid} ,参考创建存储 字符串 region...结论 为确保在需要可以快速恢复代码,维护备份非常重要。在本教程中,我们介绍了如何使用Git在Coscmd客户端和shell脚本将远程Git存储库备份到腾讯 COS。

4.5K30
领券