百度深度学习框架 PaddlePaddle 自 2016 年开源以来，受到了业界的广泛关注，PaddlePaddle 社区更是汇集了一大批 AI 技术开发者。开源的模式使 PaddlePaddle 在近两年取得了快速发展和升级，2017 年 11 月百度发布了更细粒度的新一代深度学习框架——PaddlePaddleFluid，在今年大会上百度发布 PaddlePaddle3.0。
PaddlePaddle在基础框架、模型建设、分布式训练、预测引擎各个方向上完成多项更新。OP进行了全面完善和优化，模型库新增了自然语言处理、视觉和推荐等领域的大量经典模型，分布式训练能力显著提升，支持千亿规模稀疏参数大规模多机异步训练，预测库易用性和效率提升，移动端预测支持更多模型和更多硬件。详情如下：
之前回答过「如何为PyTorch做贡献的知乎问题」，原贴见：https://www.zhihu.com/question/502301777/answer/2248950419 。回答提到了去年在OneFlow开发一些算子时，基于算子AutoTest框架找到了一些PyTorch算子的bug，并给PyTorch做出了反馈或修复。但这个回答没有介绍这个AutoTest框架长什么样子，以及它背后的原理。因此，这篇文章就用来介绍OneFlow的算子AutoTest框架看一下OneFlow深度学习框架在算子开发过程中是如何优雅的做算子对齐任务的（由@大缺弦 开发，后经我和其它同事进行扩展和丰富功能形成今天的形态）。这个AutoTest框架也可以很轻易移植到其它深度学习训练框架使用，代码实现在https://github.com/Oneflow-Inc/oneflow/blob/v0.6.0/python/oneflow/test_utils/automated_test_util/torch_flow_dual_object.py。
这个系列的前面几篇文章对MLIR的组件有了一些粗浅的认识，这篇文章不继续讲MLIR的架构。而是从实践的角度带读者来看一下，MLIR帮助我做了什么，这里仍然以OneFlow Dialect为例。在MLIR：摩尔定律终结的编译器基础结构 论文解读 这篇文章的评论部分已经简单介绍了OneFlow Dialect相关的组件是如何实现的。在实现了OneFlow Dialect的基础上，我继续来介绍一下MLIR的Pass机制是如何助力OneFlow模型训练和推理加速的。
神经搜索工具 特定语法 excutor 编写自己的flow； class MyExecutor(Executor): @requests def foo(self, docs: DocumentArray, **kwargs): docs[0].text = 'hello, world!' docs[1].text = 'goodbye, world!' @requests(on='/crunch-numbers') def bar(sel
在ResNet中（https://github.com/pytorch/vision/blob/main/torchvision/models/resnet.py），关于BatchNorm的调用一共有两种模式，第一种是ReLU接在BN之后：
LayoutLM 模型是由 Yiheng Xu，Minghao Li，Lei Cui，Shaohan Huang，Furu Wei 和 Ming Zhou 在论文LayoutLM: Pre-training of Text and Layout for Document Image Understanding中提出的。这是一种简单但有效的文本和布局预训练方法，用于文档图像理解和信息提取任务，如表单理解和收据理解。它在几个下游任务上取得了最先进的结果：
LayoutLMv3 模型由 Yupan Huang、Tengchao Lv、Lei Cui、Yutong Lu、Furu Wei 在LayoutLMv3: Pre-training for Document AI with Unified Text and Image Masking中提出。LayoutLMv3 通过使用补丁嵌入（如 ViT 中的方式）简化了 LayoutLMv2，并在 3 个目标上对模型进行了预训练：掩码语言建模（MLM）、掩码图像建模（MIM）和单词-补丁对齐（WPA）。
机器之心发布 机器之心编辑部 LiBai（李白）模型库覆盖了 Hugging Face、Megatron-LM、DeepSpeed、FairSeq 这些所有主流 Transformer 库的优点，让大模型训练飞入寻常百姓家。 大模型多了去了，告诉我怎么加速？自 2018 年 BERT 诞生，到 GPT-3、ViT 等拥有数以亿计的参数规模的模型不断涌现，AI 模型参数量的爆发式增长已不足为奇，让炼丹师无暇顾及甚至感到麻木。 与此同时，大模型对计算和内存资源提出了巨大的挑战。训练成本急剧上升，比如用一块非
【新智元导读】《福布斯》日前刊文，记者深入谷歌，探明其开源以TensorFlow为代表的一系列核心技术原因：开源能够更好更快地改善技术，同时也能够让自己成为价值生态链数据获取的核心。今天，竞争优势不再属于最会减少成本、利用资本的企业，而是属于为整个生态创造新的信息价值的企业。本文同时收录谷歌主要开源项目。 我们一直认为艺术最需要人类创造力，但近年来，能理解创造力的机器不断出现。一位音乐教授甚至开发了一个能谱曲的程序。与挖洞、造车的机器不同，能产生有创造力作品的算法需要理解即使是人类自己都难解释清楚的事情。谷
请勿将spider-flow应用到任何可能会违反法律规定和道德约束的工作中,请友善使用spider-flow，遵守蜘蛛协议，不要将spider-flow用于任何非法用途。
引言 学习一段时间的tensor flow之后，想找个项目试试手，然后想起了之前在看Theano教程中的一个文本分类的实例，这个星期就用tensorflow实现了一下，感觉和之前使用的theano还是
第一步把tensorflow保存的.ckpt模型转为pb模型, 并记下模型的输入输出名字.
本系列将分为 8 篇 。今天是第二篇 。主要讲讲 TensorFlow 框架的特点和此系列笔记中涉及到的入门概念 。
前两章主要介绍了DBNet文字检测算法以及CRNN文字识别算法。然而对于我们实际场景中的一张图像，想要单独基于文字检测或者识别模型，是无法同时获取文字位置与文字内容的，因此，我们将文字检测算法以及文字识别算法进行串联，构建了PP-OCR文字检测与识别系统。在实际使用过程中，检测出的文字方向可能不是我们期望的方向，最终导致文字识别错误，因此我们在PP-OCR系统中也引入了方向分类器。
参考 Tensorflow学习——Eager Execution - 云+社区 - 腾讯云
同时，产品团队也重构了文档结构，更新了安装和应用场景文档，方便用户快速找到有用的文档信息。
本文基于阿里推荐DIEN代码，梳理了下RNN一些概念，以及TensorFlow中的部分源码。本博客旨在帮助小伙伴们详细了解每一步骤以及为什么要这样做。
本文涉及到大量超链接可能被微信吃掉，建议在我们的文档网站查看原始文章：https://start.oneflow.org/oneflow-yolo-doc/source_code_interpretation/utils/loss_py.html
本文介绍了TensorFlow中的BN-Batch Normalization在卷积神经网络中的使用，包括训练和测试阶段。在训练阶段，使用BN层对数据进行归一化，可以加速网络的收敛，提高模型的泛化能力。在测试阶段，使用BN层对测试数据进行归一化，可以提高模型对数据的敏感性，从而更好地评估模型的性能。
当大家热火朝天的使用着Python在构建深度学习模型的时候。TensorFlow官网悄悄的为R语言做了R包-tensorflow。
这片论文提供了SOTA的配准方式，并且使用了diffeomorphic（微分同胚）。
之前希望在手机端使用深度模型做OCR，于是尝试在手机端部署tensorflow模型，用于图像分类。
这篇文章主要是讲解一下量化感知训练的原理，以及基于OneFlow实现一个Demo级别的手动量化感知训练。
OpenMMLab 近期开源了一个跨框架机器学习算法评测库 MMEval。MMEval 包含了最全面、最细分的计算机视觉评测指标，可支持多种机器学习框架数据的输入，具有广泛的适用性。
导读：京东智能商客之推荐卖点是基于NLP的产品，目前已广泛地助力和赋能于京东商城的各个平台。今天和大家分享一下自然语言处理如何在工业界落地实现。主要围绕以下5个方面展开：
这篇文章基于自己为OneFlow框架开发interpolate这个Op总结而来，OneFlow的interpolate Op 和 Pytorch的功能一致，都是用来实现插值上采样或者下采样的。在实现这个Op的时候还给Pytorch修复了一个bug并合并到了主仓库，见：https://github.com/pytorch/pytorch/commit/6ab3a210983b7eee417e7cd92a8ad2677065e470。因此OneFlow框架中的interpolate算子和Pytorch中的interpolate算子的功能是完全等价的。这篇文章就以OneFlow中这个算子的实现为例来盘点一下深度学习框架中的那些插值算法。
在CV领域中，transformer除了分类还能做什么？本文将采用一个单词识别任务数据集，讲解如何使用transformer实现一个简单的OCR文字识别任务，并从中体会transformer是如何应用到除分类以外更复杂的CV任务中的。全文分为四部分：
- TensorFlow™ 是一个开放源代码软件库，用于进行高性能数值计算• 借助其灵活的架构，用户可以轻松地将计算工作部署到多种平台（CPU、GPU、TPU）和设备（桌面设备、服务器集群、移动设备、边缘设备等）
I’ve just finished a recent side project with my friend Kendrick. (his GitHub) We built an autonomous car that you can teach how to drive, then it drives around by itself. I did all of the hardware/arduino software and Kendrick did all of the machine learning software. He called his project Suiron and it’s available on GitHub here. The code running on the arduino is called car-controller and is available on my GitHub here. https://github.com/jabelone/car-controller
本文主要的介绍内容是TensorFlow的Graph和Session两个概念，即运算图和会话。
大家好，这是专栏《TensorFlow2.0》的第三篇文章，讲述如何使用TensorFlow2.0读取和使用自己的数据集。
最近在同事shenghang的帮助下做了一点OneFlow IR相关的开发，对MLIR执行部分有一些新的感受，所以尝试分享一下。我之前花了不少时间去理解OneFlow IR的整个架构（可以看我的Toy Tutorials系列），但对OneFloiw IR的JIT的执行这部分一直存疑。最近将OneFlow基于Job（OneFlow的作业函数，不考虑设备的话可以理解为一个计算图）接入MLIR工程实现部分重新进行了梳理，并在shenghang的指导下理解了整个流程。所以这篇文档我将介绍一下OneFlow和MLIR是如何结合的，如何在OneFlow IR中新增一个图级别的Pass，OneFlow的Operation是如何自动变成MLIR 的Operation的以及为什么OneFlow IR能利用MLIR为计算带来加速等。我对MLIR的了解不算多，2个月前开始接触，有任何错误请大家批评斧正。本文和 https://github.com/Oneflow-Inc/oneflow & https://github.com/BBuf/tvm_mlir_learn 有关，感兴趣可以star关注一下。
课程链接：https://web.stanford.edu/class/cs20si/syllabus.html Tensorflow简介 TensorFlow™ 是一个使用数据流图进行数值计算的开放源代码软件库。图中的节点代表数学运算，而图中的边则代表在这些节点之间传递的多维数组（张量）。借助这种灵活的架构，您可以通过一个 API 将计算工作部署到桌面设备、服务器或移动设备中的一个或多个 CPU 或 GPU。TensorFlow 最初是由 Google Brain 团队（隶属于 Google 机器智能研究
深度学习已成为现代人工智能领域的核心技术，而选择一款合适的深度学习框架对于科研人员与开发者而言至关重要。OneFlow作为近年来崭露头角的一款高性能深度学习框架，以其独特的设计理念、卓越的性能表现和友好的社区生态吸引了大量关注。本篇博客将以新手视角出发，深入浅出地介绍OneFlow的主要特点、核心优势以及如何快速上手，帮助您开启OneFlow深度学习之旅。
在具体介绍 TensorFlow 分布式的各种 Strategy 之前，我们首先需要看看分布式的基础：分布式环境。只有把基础打扎实了，才能在以后的分析工作之中最大程度的扫清障碍，事半功倍。本文会从 Client 开始，看看 Master 如何对计算图进行处理。
懒人阅读：想要傻瓜式体验深度学习的请先绕开TF，可以考虑pytorch、keras。想要真正从事可部署产品研发的童鞋，TF可能是一个绕不开的存在。 写在前面：引用并发挥大神们关于机器学习/深度学习/人工智能的话： 训练AI模型就是炼丹，金丹就是训练出来的模型，可以针对某种问题输出极佳的结果；框架是丹炉；丹方就是模型的设计思路、结构和方法；炼丹的材料就是数据。 炼丹过程就是按照丹方，使用框架和数据训练模型的过程，不同级别的“丹药”对于问题的解决程度不同，越厉害的丹药当然能够越精确高效的解决问题。 为什么要了解
前言：主要介绍TensorFlow的基础知识，深度学习的基本知识将在后面进行一一介绍 什么是TensorFlow？ 可以拿python最经典的计算包numpy来进行比较，和numpy类似，用于数据计算，常用于开发深度学习框架。为了更好理解它，从以下几个方面介绍： 1.TensorFlow是一个采用数据流图（data flow graphs），用于数值计算的开源软件库。 2.从命名来理解：Tensor（张量）意味着N维数组，Flow（流）意味 着基于数据流图的计算。Tensorflow运行过程就是张量从图
TensorFlow是什么意思？Tensor？Flow？这篇文章介绍TensorFlow一些最基础的知识。
【GiantPandaCV导语】这篇文章分享的是笔者最近在OneFlow做的一个项目，将Pytorch FX移植到OneFlow之后实现了自动量化感知训练动态图模型(在Pytorch和OneFlow中都称为nn.Module)。现在用户可以在自己构建的nn.Module基础上，修改很少的代码即可完成从nn.Module量化感知训练到用TensorRT将量化感知训练后的模型部署到GPU上运行的完整链路。在TensorRT上推理是利用了ONNX作为中间表示，即Oneflow动态图模型(nn.Module)->OneFlow量化感知训练模型(nn.Module)->OneFlow静态图(nn.Graph)->ONNX->TensorRT。量化感知训练是基于支持在Eager下写Pass的FX模块（FX被Pytorch率先提出，笔者将其基础设施移植到了OneFlow）来完成的。读者如果想体验这个功能可以按照本文的方法进行操作，有任何使用上的问题可以联系笔者。
与大家分享一下自己在学习使用libtorch搭建神经网络时学到的一些心得和例子，记录下来供大家参考 首先我们要参考着pytorch版的resnet来搭建，这样我们可以省去不必要的麻烦，上代码： 1、首先是pytorch版残差模块
懒人阅读：想要傻瓜式体验深度学习的请先绕开TF，可以考虑pytorch、keras。想要真正从事可部署产品研发的童鞋，TF可能是一个绕不开的存在。
这是腾讯云加社区共创官的选题互换挑战赛，一搭眼看到了这个题目，因为之前写过 自己制作数据集并训练，这无非是换个数据源进行训练而已，于是果断选择了这个题目
刚入手一本《白话深度学习与Tensorflow》，哈哈，一直看深度学习很火，其实自己一知半解，都没有对这个领域进行一点系统的学习，现在准备看看这本书，开始入门。毕竟深度学习是大趋势，个个都说是个坑，个个都往里跳。。。趁着有时间，了解了解也无妨。 初步感觉这本书比周志华老师的《机器学习》稍微好懂一点，讲实例和大比方居多，当然也有公式支撑。整体还不错，讲了基本神经网络、CNN、RNN、LSTM、HMM、Deep Residual Network（深度残差网络）这些耳熟能详的模型。 所以，一边看，一边做做笔记，也
链接：https://blog.csdn.net/shanglianlm/article/details/85019768
当训练有 C 个类别的分类问题时很有效. 可选参数 weight 必须是一个1维 Tensor, 权重将被分配给各个类别. 对于不平衡的训练集非常有效。
来源：深度学习爱好者编辑：深度学习自然语言处理 链接：https://blog.csdn.net/shanglianlm/article/details/85019768本文约1500字，建议阅读5分钟tensorflow和pytorch很多都是相似的，这里以pytorch为例。 19种损失函数 1. L1范数损失 L1Loss 计算 output 和 target 之差的绝对值。 torch.nn.L1Loss(reduction='mean') 参数： reduction-三个值，none: 不使用
大家好，我是kaiyuan，周末愉快！今天分享一篇阿里林伟大佬的文章，关于深度学习框架的独到见解，希望对你有帮助
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
