标准ML管道至少包括以下组件：验证输入数据，计算输入数据的特征，生成训练/测试数据，训练模型，验证模型，部署模型以及在生产中监视模型。...ML的特征存储由在线和离线数据库组成，并将来自后端系统的原始数据转换为经过设计的特征，这些特征可供在线和批处理应用程序进行推理，并可供数据科学家创建用于模型开发的训练/测试数据。...模型训练管道属于MLOps范式，在该模型中，从Hopsworks特征存储中的Apache Hudi读取版本化的特征，以创建训练/测试数据，用于训练模型，然后在生产中对其进行部署和监视。...研究反事实（将数据点与模型预测不同结果的最相似点进行比较）时非常有用，这样可以更轻松地开发之后在生产管道中使用的模型验证测试。 ?...我们还讨论了如何使用现代数据湖框架（如Apache Hudi）进行数据版本控制。
提供集成的ML系统并在生产中持续运行的过程涉及以下步骤： ? 让我们详细讨论每个组件。 1、数据集成： 该组件通常位于用例的ML管道之外。...在生产中，下面是一个示意图展示在通过不断的训练的情况下，视图如何生成关于新到数据的统计信息、验证它并生成异常报告: ? 3、数据ETL 在这个步骤中，为ML任务准备数据。...这些称为转换工件;它们帮助构建模型输入。 重要的是，生成的任何映射都必须保存并在服务时重用(当训练过的模型用于进行预测时)。如果不能始终做到这一点，就会导致我们之前谈到的培训服务倾斜问题。 ?...以下是CI/CD流水线自动化如何补充连续ML流水线自动化: 如果给定新的实现/代码(新的模型架构、特性工程和超参数……)，一个成功的CI/CD管道会部署一个新的连续ML管道。...根据计划，新训练数据的存在或响应触发器，新部署的管道将在生产中自动执行。此阶段的输出是经过训练的模型，该模型被推送到模型注册中心并进行连续监视。 为什么Tensorflow ?
在模型上线后还有很多和运维相关，和管理相关，和系统相关的一些环节，比如怎样可靠的服务一个模型，如何做线上的推理服务，在模型更新以后如何打造一个流水线帮助模型进行快速发布。...TFX模型模块 Model trainer的设计目的是自动化生产级别模型和训练流水线。...所以这个时候就需要有一个流水线帮助我们进行模型并行训练，以及针对不同参数持续训练。...上图展示的就是机器学习的整个流水线，首先就是数据流入，接着对数据进行分析，之后对数据进行转化，转化之后是数据验证，然后将数据进行拆分。...面对怎么多的模块我们所希望的是用一种非常模块化的系统将整个流水线给串起来，这样的话如果要对流水线中的某个模块进行修改的时候就不会影响到其他的部分。
为了帮助开发人员共享和重用模型，我们发布了TensorFlow Hub，这是一个用于促进发布和发现模块的库(独立的TensorFlow图)，可以在类似的任务中重用。...模块中包含了对大型数据集进行预训练的权重，可以在自己的应用程序中进行重新训练和使用。通过重用模块，开发人员可以使用更小的数据集训练模型，改进泛化，或者简单地加快培训。...到目前为止已经发布的TFX的组件(包括TensorFlow模型分析、TensorFlow转换、估计器和TensorFlow服务)都很好地集成在一起，让开发人员准备数据、培训、验证和在生产中部署TensorFlow...TensorRT是一个优化深度学习模型的库，它为在生产环境中部署gpu创建一个运行时。...它为TensorFlow带来了许多优化，并自动选择了特定于平台的内核，以最大限度地提高吞吐量，并在对gpu进行推理时最小化延迟。
2.1 模型部署 在生产中运行的机器学习系统是一个复杂的软件系统，必须随着时间的推移进行维护。...生产中的机器学习模型可以通过定期的再训练来影响它们自己的预测，在确保模型保持最新状态的同时，还可以创建反馈循环，对模型的输入进行调整以影响其行为。...有多种技术可以使模型适应新的数据，包括定期再训练和持续学习，然而在生产中，模型的更新也受到实际考虑的影响。...通过为常见任务提供托管基础设施和一系列开箱即用的实现，这些平台大大减少了在生产中与维护机器学习模型相关的操作负担。...四、小结 出于在生产中部署机器学习方案的实际考虑，本文讨论了从业者在机器学习方案部署过程中的最后一个模型部署阶段需要应对的挑战，以及涉及的伦理、用户信任和安全问题，最后也讨论了两种可能的解决方案。
、TensorFlow Lite等各种新工具、新潮流如何塑造着机器学习的未来。...实验和执行之间的转换要足够快，才能保证工程生产力，静态图像计算通过Python等高级灵活的语言来表示，同时图编译允许对特定目标进行准确度优化。 ?...监测生产中推断的质量。...解决这些问题的一个可能方案是TFX，它是一个Google内部研发的平台，用来在生产中分布和供应机器学习模型： 创造和管理一个可用于可靠地生产和部署机器学习模型的平台，需要在很多部件之间进行细致编排——这些部件包括基于训练数据生成模型的学习器...、用于分析和验证数据和模型的模块、以及最终在生产工程中用于部署模型的基础架构。
这就是今天文章的主题，它介绍了Google TFX中的机器学习平台。 我为什么需要一个机器学习平台？ 实现机器学习模型的代码只是在生产系统中使用机器学习的一小部分。...我们的平台能够实现这些组件，可将生产中的最佳实践进行编码...通过将上述组件集成到一个平台中，我们能够标准化组件，简化平台配置，并从生产时间从数月缩短到数周， 同时提供平台稳定性，最大限度地减少中断。...TFX还包括支持功能冲突的一套数据转换。例如，TFX可以生成称为“词汇“的特征到整数的映射。当数据转换在训练和服务之间微不可分时，很容易弄乱事情。...训练 一旦你模型中的代码（当然是在TensorFlow中写的）被融入到TFX中，你就能轻松地转换学习的算法。...这会创建一个大的平面，在上面，bug的错误可以扩展，也可能会发展处意外的互动，最终会不得不对机器学习模型进行降维，进而损害终端的用户体验。 新模型如何推广到生产中？当然通过A / B测试！
在此背景下，如何保障生产中以下诸多目标是我们亟待解决的。...模型推理和服务： 管理模型刷新频率、推理请求时间以及测试和 QA 中的类似生产细节。...)、异常调用等进行监控，保障模型服务的可靠性；三是过程监控，对各任务或流水线的运行情况 (执行结果、SLA 等) 进行 监控，保障模型生产过程的稳定和可靠。...模型元信息管理： 如果您想确保部署正确的版本，那么在生产中监控模型版本至关重要。可以通过将再训练管道配置为在训练后自动报告模型版本并将元数据记录到元数据存储来监控模型版本。...使用指标来评估模型性能是在生产中监控模型的重要组成部分。这里可以使用不同的指标，例如分类、回归、聚类、强化学习等。我们通常使用预定义的模型评分指标（准确性、AUC、精度等）来评估模型。
例如，Uber Eats 使用在 Michelangelo 上运行的机器学习模型来对餐厅推荐进行排名。...该平台自动化了机器学习工作流的不同元素，例如特征提取、训练、模型评估和推理。...谷歌的 TFX 谷歌还创建了自己的运行时来执行机器学习工作流。TFX基于最近发表的一篇研究论文，该论文提出了一种用于简化 TensorFlow 程序操作的架构。...TFX 包括 TensorFlow 架构的几个关键组件，例如用于基于训练数据生成模型的学习器、用于分析和验证数据和模型的模块，以及用于在生产中提供模型的基础设施。...图片来源：SIGKDD TFX 背后的想法以称为 TensorFlow Extended（也称为 TFX ）的自动化管道的形式整合到 TensorFlow 框架中。
数十个 LinkedIn 应用程序使用 Feathr 来定义特性、计算它们以进行训练、将它们部署到生产中，并在消费者之间共享它们。...团队特定的管道也使得跨项目重用功能变得不切实际。没有统一的方法来命名跨模型的部件，没有一致的特性类型系统，没有一致的方式在没有通用抽象的情况下在生产中部署和服务特性。...特征准备管道（将原始数据转换为特征以进行模型训练和推理的系统和工作流程）非常复杂。他们必须从多个来源收集对时间敏感的数据，以时间点的方式将特征加入训练标签，并将特征保存在存储中以实现低延迟在线服务。...Feathr 弄清楚如何以所需格式提供所要求的特征数据，以便在后台进行模型训练和生产推理。计算特征并将其正确连接到模型训练的输入标签。...功能已预先实现并部署到在线数据存储中，用于模型推理的低延迟在线服务。不同团队和项目定义的属性可以轻松组合，允许协作和重用。
OpenMMLab 开源以来，每天都会收到社区用户的灵魂拷问： ”OpenMMLab 的算法如何部署？...模型转换器的具体步骤为： 把 PyTorch 转换成 ONNX 模型 对 ONNX 模型进行优化 把 ONNX 模型转换成后端推理引擎支持的模型格式 （可选）把模型转换中的 meta 信息和后端模型打包成...针对这个问题，MMDeploy 把自定义算子在多个后端上进行了实现，扩充了推理引擎的表达能力。 应用开发工具包 SDK 接口层 SDK 为每种视觉任务均提供一组 C API。...流水线层 SDK 把模型推理统一抽象为计算流水线，包括前处理、网络推理和后处理。对流水线的描述在 SDK Model 的 meta 信息中。...使用 Model Converter 转换模型时，加入 --dump-info 命令，即可自动生成。 不仅是单模型，SDK 同样可把流水线拓展到多模型推理场景。比如在检测任务后，接入识别任务。
易于使用的推理API：我们为常见的推理任务（分类、回归）发布了易于使用的API，这些API适用于广泛的应用程序。...为了支持更高级的用例，我们支持一个较低级的基于 tensor 的API（预测）和一个允许多任务建模的新的多重推理API。...我们的所有工作都通过与以下各方的密切合作实现的：（a）谷歌的 ML SRE 团队确保了我们团队的强壮并满足内部SLA; （b）谷歌其他机器学习基础架构团队，包括广告服务和TFX; （c）Google Play...我们正在尝试使用Batch/Unbatch对任意子图进行batching。...我们最近在生产中推出了一个1TB+的模型，并取得了良好的效果，希望很快开源。 再次感谢我们所有的用户和合作伙伴，他们提供了反馈、代码和想法。
在此背景下，如何保障生产中以下诸多目标是我们亟待解决的。...MLOps（Machine Learning Operations）是一种将机器学习（ML）模型整合到生产环境中的实践，目的是确保模型在生产过程中的有效性和可靠性。...模型推理和服务 - 管理模型刷新频率、推理请求时间以及测试和 QA 中的类似生产细节。...模型验证和测试：用于评估模型性能和准确性的工具，如 TensorFlow Extended (TFX) 和 MLflow。...为什么要使用星鲸科技（starwhale.ai）这样的专业MLOps平台来进行机器学习实践。
易于使用的推理API:我们为常见的推理任务(分类、回归)发布了易于使用的API，而且这些API适用于我们的应用。...为了支持更高级的用例，我们支持一个较低级的基于tensora的API(预测)和一个支持多任务建模的新的多推理（multi-inference）API。...我们所有的工作都是通过与:(a)Google的ML SRE团队的紧密合作来实现的，这个团队有助于确保我们的鲁棒性并满足内部服务等级协议（SLA）;(b)其他谷歌机器学习基础设施团队，包括广告服务和TFX...我们正在尝试使用 Batch/Unbatch对任意子图进行批处理。...我们最近在生产中推出了一个1TB+的模型，并取得了良好的效果，我们希望能尽快开源这一功能。
如果你关心如何使模型保持最新并监控它们，那么你可以了解一下这个产品、看看它的论文。 地址是：tensorflow.org/tfx/?...TF Hub 的地址是：tensorflow.org/hub/ 3）TFX 数据验证 如何自动确保用于重新训练模型的数据与最初用于训练模型的数据具有相同的格式、源、命名约定等。...hl=zh-cn 4）TFX -TensorFlow 变换 同样地，你可能希望用于重新训练的数据也能被自动进行预处理：对特定特性进行归一化、将字符串转换为数值等。...Transform 不仅可以对单个样本进行这些操作，还能批处理数据。 网址是：https://www.tensorflow.org/tfx/transform/?...hl=zh-cn 5）TFX 模型分析 我最喜欢用 TensorFlow 模型分析功能去检查模型的输入数据或者模型推理过程中可能发生在某一小部分数据上的问题。
JAX 是 Google Research 团队开发的高性能机器学习库，拥有和 NumPy 相似的 API 接口，并使用 XLA 编译器来进行模型加速。...TensorFlow Extended （TFX）让模型的持续训练成为了可能：它可以帮助你更深入地理解模型性能，你可以用 TFX 训练多端模型，随时接入 Colab。...谷歌最近已经发布了四个新的 Learning Pathways，帮助大家学习如何从安卓、Flutter、Web 端来调用 TensorFlow 的接口，完成模型推理。...很多应用目前已经在使用 Google Service 中的 TensorFlow Lite，每个月有超过 4 亿用户，完成 200 亿次推理。...MediaPipe 将复杂的机器学习流水线都封装成为 Task，方便开发者用最简单的方式定制模型。在未来，设备端机器学习技术的调用将简化到仅需几行代码，甚至无需代码。
TensorFlow 2.x提供了新的训练循环，允许开发者自定义每一步需要进行的操作，因此能解决以前Keras的fit函数无法解决的问题。 ?...我们可以从这几个方面入手： 用标准化的方式表示基本概念，如运算、类型等 创建一个通用的基础设施，构建可以重用的组件 支持自定义和可扩展性 这个新的框架名为MLIR，全称是Multi-Level Intermediate...简单来说，MLIR是一个通用的图表示框架，一组通用的优化和转换过程，以及一个完整的代码生成流水线。 ? ?...TFX：TensorFlow Extended TFX是一个端到端平台，用于部署生产型机器学习流水线。 ?...解决公平性的两个问题是： 如何衡量公平性？ 应当采用怎样的训练数据？ Tensorflow提供了Faireness Indicators工具集，让开发者可以更容易地对模型的公平性进行测量。 ?
在 之前的文章 中，我们介绍了如何借助 Docker 使用 TensorFlow Serving。在本文中，我们将展示以同样的方式运行经 TF-TRT 转换的模型有多简单。...与之前一样，我们尝试在生产环境中部署 ResNet 模型。下方所有示例均在配备 Titan-V GPU 的工作站上运行。...此转换器要求将由 TensorRT 处理的所有张量将其首个维度作为批次维度，而该参数则指示推理过程中会产生的最大值。若已知推理过程中的实际批次大小上限且该值与之匹配，则转换后的模型即为最优模型。...请注意，转换后的模型无法处理批次规模大于此处所指定大小的输入，但可处理批次规模更小的输入 —is_dynamic_op 指示在模型运行时进行实际转换。...原因在于，在进行转换时，TensorRT 需要明确所有形状。
Serving 使得用模型标记（model tag）将模型序列化到定义良好的目录中变得很容易，并且可以选择在保持服务器架构和 API 静态的情况下使用哪个模型来进行推理请求。...Lightning 以面向对象的方式处理建模过程，定义了可重用和可跨项目使用的可共享组件。...TFX 还可以与 Jupyter 或 Colab 一起使用，并且可以使用 Apache Airflow/Beam 或 Kubernetes 进行编排。...Coral 提供了一系列用于原型设计、生产和传感的硬件产品，其中一些本质上是增强型的树莓派，专为 AI 应用程序创建，能够利用 Edge TPU 在低功耗设备上进行高性能推理。...Playground 允许实时播放学习过程，以高度直观的方式查看输入在训练过程中是如何转换的。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
