本文源码已经上传至 github.: https://github.com/HuBlanker/Keras-Chinese-NER
有了能做出惊人预测的模型之后，要做什么呢？当然是部署生产了。这只要用模型运行一批数据就成，可能需要写一个脚本让模型每夜都跑着。但是，现实通常会更复杂。系统基础组件都可能需要这个模型用于实时数据，这种情况需要将模型包装成网络服务：这样的话，任何组件都可以通过REST API询问模型。随着时间的推移，你需要用新数据重新训练模型，更新生产版本。必须处理好模型版本，平稳地过渡到新版本，碰到问题的话需要回滚，也许要并行运行多个版本做AB测试。如果产品很成功，你的服务可能每秒会有大量查询，系统必须提升负载能力。提升负载能力的方法之一，是使用TF Serving，通过自己的硬件或通过云服务，比如Google Cloud API平台。TF Serving能高效服务化模型，优雅处理模型过渡，等等。如果使用云平台，还能获得其它功能，比如强大的监督工具。
我们在网上只发现比较少的信息与资源，最开始介绍 Colab 免费 TPU 的内容还是谷歌开发者 Sam Wittevee 最近的演讲 PPT。因此本文的测试和探索都是基于官方文档和实例所实现的，还有很多 TPU 特性没有考虑到，感兴趣的读者可查阅文末的参考资料，了解更多 Colab 免费 TPU 的特性。
作者 | Mariana Berga、André Santos 译者 | 王强 策划 | 万佳 想知道未来是不是 gRPC 的天下？本文会具体介绍两种 API 架构风格：REST 和 gRPC，并讨论它们之间的区别。不过，首先，我们会解释什么是 API，以及为什么它对微服务基础设施而言至关重要。之后，我们会介绍 gRPC 的基础——RPC，并探讨 gRPC 和 REST API 之间的重要差异。根据它们的对比结果，我们最后会分析什么时候应该使用哪种架构类型。 1API 是什么 API，即应用程序编程接口。这
做rpc选型时候，有人说到grpc，想在网上找一些grpc c/c++的源码分析来帮助理解，发现除了官方doc里带的文档外寥寥无几（也可能是自己没找到？）。只能自己捋起袖子“啃一啃”grpc的源码。
自从 2011 年 Dubbo 开源之后，被大量中小公司采用，一直是国内最受欢迎的 RPC 框架。2014 年，由于阿里内部组织架构调整，Dubbo 暂停维护了一段时间，之后随着 Spring Cloud 的面世，两个体系在融合中一起助推了微服务的火热。
这一章我们借着之前的NER的模型聊聊tensorflow serving，以及gRPC调用要注意的点。以下代码为了方便理解做了简化，完整代码详见Github-ChineseNER ，里面提供了训练好的包括bert_bilstm_crf, bilstm_crf_softlexcion，和CWS+NER多任务在内的4个模型，可以开箱即用。这里tensorflow模型用的是estimator框架，整个推理环节主要分成：模型export，warmup，serving, client request四步
gRPC本身的跨平台特性及性能上的优势都促使很多大公司采用gRPC的RPC解决方案作为微服务交互的标准交互集成方式。
◆ Spring Cloud集成gRPC gRPC本身的跨平台特性及性能上的优势都促使很多大公司采用gRPC的RPC解决方案作为微服务交互的标准交互集成方式。 到目前为止，Spring Cloud官方并没有支持gRPC，但是在GitHub上有非常多的第三方开源项目支持gRPC与Spring Cloud的集成，start数 目 最 多 的 开 源 项 目 是 grpc-spring-boot-starter 。该 项 目 也 是Spring Cloud社区推荐的gRPC项目。下面是这个项目的主要特性： ● 在
原文地址：https://dzone.com/articles/a-service-mesh-for-kubernetes-part-ix-grpc-for-fun
gRPC是由google开发的，是一款语言中立、平台中立、开源的RPC(Remote Procedure Call，远程过程调用)框架。
作者：datumhu，腾讯 IEG 后开开发工程师 在广告系统实践中，精排服务基于 gRPC 协议调用 TF-Serving 在线推理服务。相信很多业务已经使用过 gRPC 相关语言的框架进行服务调用，尤其是基于谷歌云的出海业务的服务调用更绕不开 gRPC，所以很有必要理解 gRPC 的原理。本文通过简要介绍抓包分析一次 gRPC 的调用过程，逐步认识 gRPC。 概述 gRPC 是谷歌推出的一个开源、高性能的 RPC 框架。默认情况下使用 protoBuf 进行序列化和反序列化，并基于 HTTP/2 传输
本篇文章属于一篇知识的捡漏和复盘类的文章，主要目的就是为了复盘一下gRPC的相关概念，并剖析其原理，相关知识点和使用大家可以参看之前的几篇文章：
gRPC小组正在努力扩展当前的gRPCLB功能。其不再使用自定义负载均衡协议，而是采用基于Envoy xDS API的xDS协议。这将允许与支持xDS API的开源控制平面（例如Istio Pilot，go-control-plane和java-control-plane）进行交互。其他优化如下所示：
在过去的几年中，随着微服务的增长，gRPC在这些较小的服务之间的相互通信中获得了很大的普及,在后台，gRPC使用http/2在同一连接和双工流中复用许多请求。
Dapr 实际上是把分布式系统 与微服务架构实践的挑战以及k8s 这三个主题的全方位的设计组合，特别是Kubernetes设计模式 一书作者Bilgin Ibryam 提出的Multi-Runtime Microservices Architecture，中译参见敖小剑的博客: [译] 多运行时微服务架构。
现在大大小小的微服务，服务之间的数据交换，大都使用 GRPC 来实现，所以从这个角度去看 GRPC 是一个非常有必要学习的知识点。
很长一段时间以来，我在单个 GTX 1070 显卡上训练模型，其单精度大约为 8.18 TFlops。后来谷歌在 Colab 上启用了免费的 Tesla K80 GPU，配备 12GB 内存，且速度稍有增加，为 8.73 TFlops。最近，Colab 的运行时类型选择器中出现了 Cloud TPU 选项，其浮点计算能力为 180 TFlops。
现代的软件服务大多数是分布式应用程序，通过暴露自己的 API 对内或对外提供了一系列的功能点。服务与服务之间有时是跨语言、跨平台通信的。
RPC系列的文章是我去年写的，当时写的比较散，现在重新进行整理。对于想学习RPC框架的同学，通过这篇文章，让你知其然并知其所以然，便于以后技术选型，下面是文章内容目录：
经过很长一段时间的开发，TiDB 终于发了 RC3。RC3 版本对于 TiKV 来说最重要的功能就是支持了 gRPC，也就意味着后面大家可以非常方便的使用自己喜欢的语言对接 TiKV 了。
gRPC 1.0于2016年8月发布，现已发展成为应用通信的首选技术解决方案之一。它已被全球的初创公司、企业公司和开源项目采用。它对多语言环境的支持、关注性能、类型安全性和开发者生产力已经改变了开发者设计架构的方式。
许多gRPC的新用户惊讶地发现，Kubernetes的默认负载平衡常常无法在gRPC上正常工作。例如，下面是一个简单的gRPC Node.js微服务应用，部署在Kubernetes：
RPC（Remote Procedure Call），即远程过程调用，是一种通过网络从远程计算机程序上请求服务而不需要了解底层网络技术的协议，实现调用远程主机上的方法就像调用本地方法一样。RPC协议在分布式系统中发挥重要的作用。
这里会联合protobuf语法以及protobuf如何去定义rpc服务，前面我们只生成了结构体，现在我们要让他为我们同时把接口生成，有了响应的接口，我们就再也不用去手写接口了。
原题：When to Use What: REST, GraphQL, Webhooks, & gRPC
这是gRPC负载均衡的第一篇，后续会给出基于golang XDS服务发现的例子，了解golang XDS的工作原理。
• 聊天• 实时股票更新• 现场拍卖• 体育/新闻实时更新• 多人游戏• 位置服务• 进度条
不想看前面的屁话，要直接上代码的，请跳到「iOS App端如何实现和RPC服务器通信」章节
随着微服务框架和云原生框架的出现，传统的单体应用程序被分解为一组细粒度的、自治的和面向业务能力的微服务，网络通信链路的数量激增，服务间的通信技术也因此成为了现代分布式系统中至关重要的一个环节。
老潘用triton有两年多了，一直想写个教程给大家。顺便自己学习学习，拖了又拖，趁着这次换版本的机会，终于有机会了写了。
随着微服务的迅速发展，各大互联网企业也投入到微服务的使用种。微服务最大的特点是，跨进程、跨服务、跨语言之间的调用，使得我们能够像调用本地类、函数一样。当微服务具备该特点，将我们复杂的业务拆分成不同的服务，服务之间在相互调用。这也是微服务为什么火的原因之一。
gRPC 是一种现代开源高性能远程过程调用 （RPC） 可以在任何环境中运行的框架。它可以有效地连接服务 在数据中心内和数据中心之间，具有对负载平衡、跟踪、 运行状况检查和身份验证。它也适用于最后一英里 分布式计算，用于连接设备、移动应用程序和浏览器 后端服务。
gRPC是Google开发的高性能、通用的开源RPC框架，其由Google主要面向移动应用开发并基于HTTP/2协议标准而设计，基于Protobuf(Protocol Buffers)序列化协议开发，且支持众多开发语言。在gRPC中一个客户端可以像使用本地对象那样直接调用位于不同机器上的服务端应用的方法(methods)。这让你能够更容易的构建分布式的应用和服务。和其他 RPC系统类似， gRPC也是基于定义一个服务，指定服务可以被远程调用的方法以及他们的参数和返回类型。在服务端，实现服务的接口然后运行一个 gRPC服务来处理可出端的请求。在客户端，客户端拥有一个存根（stub在某些语言中仅称为客户端），提供与服务器相同的方法。
gRPC 是一个高性能、开源和通用的 RPC 框架，面向移动和 HTTP/2 设计。目前提供 C、Java 和 Go 语言版本，分别是：grpc, grpc-java, grpc-go. 其中 C 版本支持 C, C++, Node.js, Python, Ruby, Objective-C, PHP 和 C# 支持。
介绍 Golang 中的微服务系列总计十部分，预计每周更新。本系列的解决方案采用了 protobuf 和 gRPC 作为底层传输协议。为什么采用这两个技术呢？我花了相当长的时间，才想出并决定采用这个方案。这个方案对开发者来说，非常清晰而简明。我也很乐意把自己在搭建、测试和部署端到端的微服务过程中的心得，分享给想接触这块的朋友们。 在这个教程中，我们将先接触几个基础的概念和术语，然后开始搭建第一个简单的微服务模型。 本系列中，我们将会创建以下服务： 委托 存货清单 用户 认证 角色 容器 整个技术栈从底至
从本质上来讲，API 就是服务器和客户端之间的一个协议，指定了服务器如何基于客户端的请求提供特定的数据。
在 gRPC 中，客户端应用程序可以直接在另一台计算机上的服务器应用程序上调用方法，就好像它是本地对象一样，从而使您更轻松地创建分布式应用程序和服务。与许多 RPC 系统一样，gRPC 围绕定义服务的思想，指定可通过其参数和返回类型远程调用的方法。
既然有server，那么肯定有client（客户端），client的作用就是向server发送请求，具体就是生成一个请求，然后把它发送到server，然后等待server的响应。
本文主要分享 SkyWalking Collector Remote 远程通信服务。该服务用于 Collector 集群内部通信。
上一篇文章我带着大家体验了一把《ASP.NET Core 3.0 上的gRPC服务模板初体验(多图)》，如果有兴趣的可以点击链接进行查看，相信跟着做的你，也是可以跑起来的。这篇文章我们将一起来探讨下gRPC服务如何与HTTP APIs进行比较。用于为应用程序提供API的技术是一个重要的选择，与HTTP API相比，gRPC提供了独特的优势。本文从gRPC的优缺点出发，并推荐了一些建议使用gRPC服务以及不建议使用gRPC服务的场景。
gRPC-Web是一个JavaScript客户机库，它允许web应用程序使用Envoy来与后端gRPC服务交互，而不是使用自定义HTTP服务器作为中介。上周，经过近两年的积极开发，gRPC团队在CNCF博客上宣布了gRPC-Web的GA发布。
gRPC 是一个典型的C/S模型，需要开发客户端 和 服务端，客户端与服务端需要达成协议，使用某一个确认的传输协议来传输数据，gRPC通常默认是使用protobuf来作为传输协议，当然也是可以使用其他自定义的。
本文翻译自 ASP.NET Blog | gRPC vs HTTP APIs，作者 James，译者 Edison Zhou。
客户端流式 RPC，单向流，客户端通过流式发起多次 RPC 请求到服务端，服务端发起一次响应给客户端
在了解如何利用TesnsorFlow构建和训练各种模型——从基本的机器学习模型到复杂的深度学习网络后，我们就要考虑如何将训练好的模型投入于产品，以使其能够为其他应用所用，本文对此将进行详细介绍。文章节选自《面向机器智能的TensorFlow实践》第7章。 本文将创建一个简单的Web App，使用户能够上传一幅图像，并对其运行Inception模型，实现图像的自动分类。 搭建TensorFlow服务开发环境 Docker镜像 TensorFlow服务是用于构建允许用户在产品中使用我们提供的模型的服务器的工具。
坊间传闻：「TensorFlow 适合业界，PyTorch 适合学界」。都 2022 年了，还是这样吗？
gRPC（Remote procedure call）是google开源的网络通讯框架；同时也是Cloud Native Computation基金会下的产品。本文章的项目源码会在结尾的联系方式中找到。
我之前分享了Java和Go语言版本的gRPC接口的服务端和客户端的开发，使用的基本都是基础的原声API，旧文如下：
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
