首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

《Scikit-Learn、Keras与TensorFlow机器学习实用指南(第二版)》第19章 规模化训练和部署TensorFlow模型

但随着基础架构扩张,最好是将模型包装在服务中,它的唯一目的是做预测,其它组件查询就成(比如使用REST或gRPC API)。...默认,TF Serving使用这个端口服务REST API。...Google提供了几个库,用于简化服务访问: Google API Client Library 基于OAuth 2.0和REST。可以使用所有GCP服务,包括AI Platform。...在写作本书的时候,AI Platform还没有客户端库,所以我们使用Google API客户端库。...如果想最快的获得响应(比如,在线游戏)。在客户端做查询肯定能降低延迟,使网站响应更快。 当网站服务是基于一些用户隐私数据,在客户端做预测可以使用户数据不出用户机器,可以保护隐私。

6.6K20

GCP 上的人工智能实用指南:第三、四部分

请求-响应日志记录:此级别将在线预测请求和响应记录到 BigQuery 表中。 可以使用gcloud命令行以及 REST API 启用这些日志记录级别。...需要使用 REST API 启用它。 可以在创建模型和版本设置日志记录级别。...该命令使用本地依赖性来预测并以与执行在线预测后的 Google Cloud AI 平台相同的格式返回结果。 测试本地预测将使您能够在计算在线预测请求成本之前发现错误。...)] 图 9.44:在线预测工作流程 您可以使用部署在 Google Cloud Storage 存储桶上的模型作为服务端点公开,并且这些服务端点可以由使用 REST API 或gcloud工具本身的某些应用使用...gcloud工具用于快速测试在线预测。 在实际的生产案例中,您可以使用用 Python 编写的脚本或 cURL 工具来使用 Rest API,从而在已部署的模型版本上公开预测功能。

6.6K10
您找到你想要的搜索结果了吗?
是的
没有找到

GCP 上的人工智能实用指南:第一、二部分

当源文本的语言未知API 还可促进语言检测。 与其他 AI 服务类似,翻译服务也可用作 REST API,用于在应用内进行编程访问和集成。 在撰写本文,支持 100 种语言。...在本章中,我们介绍了不同的代码示例,到目前为止,您知道如何使用 Google Cloud AI Platform 提交模型并将这些模型用于预测。...用于模型预测REST API 我们可以使用一个简单的 REST API使用已部署的模型进行预测: export GOOGLE_APPLICATION_CREDENTIALS=key-file-path...这是两种预测技术所使用的各种设施的副作用。 在创建应用时,AI 平台会分配并初始化批量预测资源。 通常,已准备好在线预测,以便可以在需要进行处理。 您可以通过这里了解有关在线预测的更多信息。...该 API 可用于实时预测,因为它具有很高的吞吐量和使用底层弹性计算能力的效率,而所有这些功能均由 Google Cloud Platform 启用。

16.9K10

使用Kafka在生产环境中构建和部署可扩展的机器学习

在几种使用情况下,即使批处理事件也很好。例如,在大多数制造业或物联网(IoT)用例进行预测性维护,您会监控几小时甚至几天的时间窗口,以检测基础设施或设备中的问题。...它使用机器学习算法来构建分析模型。分析模型部署到流式传输平台。流式传输平台将分析模型应用于新事件以推断结果(即进行预测)。结果发送给数据使用者。...Apache Kafka的Streams API将H2O.ai模型嵌入到Kafka流中 由于Kafka Streams应用程序利用了底层的所有Kafka功能,因此这款新应用程序已准备好进行扩展和关键任务使用...这通常是通过REST接口完成的。...它还避免了与外部REST服务器进行通信以进行模型推断。 结论:使用Streaming Platform将分析模型部署到关键任务部署中 机器学习可以在任何行业创造价值。

1.3K70

GPT动作中的数据检索

这些提供商通常提供REST API,使外部系统能够搜索和检索信息。当构建一个与提供商的REST API集成的动作,请首先查阅现有文档。...当构建一个与关系数据库集成的动作,有几件事情需要记住:REST API的可用性许多关系数据库不会原生暴露用于处理查询的REST API。...数据库权限尽管数据库支持用户级权限,但您的最终用户可能不具有直接访问数据库的权限。如果选择使用服务帐户提供访问权限,请考虑给服务帐户只读权限。这可以避免意外覆盖或删除现有数据。...在构建与向量数据库集成的动作,有几件事情需要记住:REST API的可用性许多关系数据库不会原生暴露用于处理查询的REST API。...这意味着您需要使用嵌入式API将查询输入转换为向量嵌入,然后才能将其提交给向量数据库。最好在REST API网关中处理此转换,以便GPT可以提交纯文本查询字符串。

10910

每周云安全资讯-2023年第53周

的全域委派功能中发现了一个关键安全问题,攻击者将能够利用该安全问题从Google Cloud Platform(GCP)中获取Google Workspace域数据的访问权。...https://cloudsec.tencent.com/article/bnaVB 3、Google Cloud 修复了一个 Kubernetes 服务权限提升漏洞 Google Cloud 已经解决了其平台中的一个中危安全漏洞...,该漏洞可能已经有权访问 Kubernetes 集群的攻击者滥用以升级其权限。...https://cloudsec.tencent.com/article/NRF1M 6、GPT-4 API重大漏洞:15个样本微调,一句话生成恶意代码供出私人信息 即便是GPT-4 API「灰盒」也逃不过安全漏洞...谷歌《2024年云网络安全预测》报告强调,未来一年,人工智能日益用于扩大恶意活动的规模,网络犯罪团伙、0 Day漏洞和现代网络钓鱼将是三种主要的攻击途径。

16810

8.寻光集后台管理系统-用户管理(增删改查)

然后权限之类的限制策略才可以使用这些凭证来确定是否应该允许请求。 身份验证始终在视图的最开始运行,在权限和限制检查发生之前,在任何其他代码允许继续之前。...REST框架提供多种开箱即用的身份验证方案,后面项目实战时,我们再讨论。 权限验证 与身份验证,限流一起,权限决定是否应该授予或拒绝访问请求。...权限用于授予或拒绝不同类别的用户访问 API 的不同部分。 最简单的权限样式是允许任何经过身份验证的用户访问,而拒绝任何未经身份验证的用户访问。 如何确定权限 DRF中权限始终定义为权限列表。...当权限检查失败,将根据以下规则返回“403 Forbidden”或“401 Unauthorized”响应: 请求已成功验证,但权限拒绝。— 将返回 HTTP 403 Forbidden 响应。...注意只有在使用通用视图或视图集,分页才会自动执行。如果你使用一个常规的APIView,你需要自己调用分页API来确保你返回一个分页的响应。

1.8K30

Android Q 开发者常见问题 | FAQ・第二期

当您发布 Android App Bundle 文件到 Google Play ,如果 Google Play 分析并发现任何一个可能设备的下载包超过 150MB ,将会拒绝这个 App Bundle...关于 App Bundle 的介绍,请参阅: developer.android.google.cn/platform/te… Q: 2019 年 8 月 1 号开始没有支持 64 位的在线应用,64...A: 支持使用常规系统映像 (GSI) 的设备需要满足以下条件: 完全的 Treble 支持;可解锁 bootloader;停用 Android 启动验证 (Verify Boot)。...为了提高用户的透明度,Android Q 对这些功能加上了地理位置权限的要求。开发者可以使用系统的对话框来选择 Wi-Fi 热点。...Wi-Fi network connection API Wi-Fi network suggestion API 其他 Q: 关于应用内存的分析,有什么好的工具或者方法吗?

14910

LLM成功不可或缺的基石:RLHF及其替代技术

在讨论 LLM ,我们总是会涉及一个名为「使用人类反馈的强化学习(RLHF)」的过程。...人们也普遍相信 ChatGPT 的开发中也使用了该流程。但它与 Meta AI 最新的 Llama 2 模型相比如何呢? Meta AI 在创造 Llama-2-chat 模型使用了 RLHF。...它还有一个额外的拒绝采样步骤。 边际损失 还有另一个区别未在上图中给出,其涉及到生成奖励模型对模型响应排序的方式。...据作者描述,ReST 的效率高于标准的在线 RLHF 方法(比如使用 PPO 的 RLHF),因为其能以离线方式生成训练数据集,但他们并未全面地比较这种方法与 InstructGPT 和 Llama 2...ReST 方法图示 有关这项研究的更多介绍可参看机器之心报道《DeepMind 新研究:ReST 让大模型与人类偏好对齐,比在线 RLHF 更有效》。

55740

【快报】Udacity 开源 223G 行驶数据 | Twitter 股价早盘暴跌 18%

Google之后,也有消息称Disney也放弃收购Twitter。 另据路透社消息,Twitter想在10月27日第三季前敲定收购事宜,两周后将停止收购邀约。Twitter拒绝对该消息置评。...昨日传出Google对收购Twitter不感兴趣的消息,Twitter早盘股价跌了18%。...在最新的挑战中,参与者需要使用行驶数据来预测车轮角度。最初,Udacity公开了40G的数据来帮助参与者在家就能建复杂的模型,而不用接入Tesla的行驶数据。...Omer还曾创办机器学习公司Zoomix,后来Microsoft收购。 Corrigon的专长是搜索和识别同一张图像上的具体物体,并能将识别到的物体与其它图像或产品链接匹配。...在发布其聊天应用Allo之前,谷歌收购了API.AI,这是一个对话式界面开发商,开发者可轻松打造同时支持文字和语音辨识的对话式界面,目前已有超过 6 万名开发者使用 API.AI

71070

Google AutoML图像分类模型 | 使用指南

如果你还没有账户,请先在Google Cloud Platform上创建一个帐户。然后,我们需要创建一个新项目。 ? 创建项目后,我们可以使用顶部的侧边栏或搜索栏导航到Google AutoML。...我使用了所有的默认选项。 ? ? ? 几个小时后,模型完成,并概述了模型的性能和所用的预算(我分配的全部是16小) ? 2....由混淆矩阵可知,云模型在预测男性出错较多,而边缘模型的失误率则更均匀。 ? 云模型性能 在下面的屏幕截图中,你可以看到云模型的混乱矩阵,以及AutoML报告的一些统计信息。...云模型公开了一个易于使用API,你可以在其中上传一个简单的JSON对象并接收到一组带有返回概率的预测。对我来说,这是简单且完美的集成API。 ? 我们还可以直接在浏览器中使用API并检查结果。...(demo示范链接:https://wao.ai/blog/can-ai-guess-our-sex) ? 结语 总而言之,Google AutoML在该任务上易于使用,且非常有效。

2.7K20
领券