PT-BERT 项目地址：https://github.com/huggingface/pytorch-pretrained-BERT
AlexNet是深度学习领域中的经典卷积神经网络（CNN）模型之一，由Alex Krizhevsky等人提出，并在2012年的ImageNet图像识别竞赛中取得了重大突破。本文将介绍AlexNet的基本结构和关键特点，帮助读者深入了解这一算法。
前言 tensorflow中文社区对官方文档进行了完整翻译。鉴于官方更新不少内容，而现有的翻译基本上都已过时。故本人对更新后文档进行翻译工作，纰漏之处请大家指正。（如需了解其他方面知识，可参阅以下Tensorflow系列文章）。 深入MNIST TensorFlow是一个非常强大的用来做大规模数值计算的库。其所擅长的任务之一就是实现以及训练深度神经网络。在本教程中，通过为MNIST构建一个深度卷积神经网络的分类器，我们将学到构建一个TensorFlow模型的基本步骤。 这个教程假设你已经熟悉神经网络和MNI
本文是为既没有机器学习基础也没了解过TensorFlow的码农、序媛们准备的。如果已经了解什么是MNIST和softmax回归本文也可以再次帮助你提升理解。在阅读之前，请先确保在合适的环境中安装了TensorFlow（windows安装请点这里，其他版本请官网找），适当编写文章中提到的例子能提升理解。
对于机器学习和人工智能研究人员而言，好多人都只是构建好模型后就没有进一步处理了，停留在一个比较粗糙的模型上面，没有将其变成一个产品，其实好多创业型人工智能公司都是设计好模型后，将其转化成产品，之后再推向市场。每一个深度学习研究者心中或多或少都想成为一名创业者，但不知道超哪个方向发展。那么，本文将从最简单的网页应用开始，一步一步带领你使用TensorFlow创建一个卷积神经网络（CNN）模型后，使用Flash RESTful API将模型变成一个网页应用产品。 本文使用TensorFlow NN模块构建CNN模型，并在CIFAR-10数据集上进行训练和测试。为了使模型可以远程访问，使用Python创建Flask web应用来接收上传的图像，并使用HTTP返回其分类标签。
卷积神经网络（Convolutional Neural Networks, CNN）是一类包含卷积计算的前馈神经网络，是基于图像任务的平移不变性（图像识别的对象在不同位置有相同的含义）设计的，擅长应用于图像处理等任务。在图像处理中，图像数据具有非常高的维数（高维的RGB矩阵表示），因此训练一个标准的前馈网络来识别图像将需要成千上万的输入神经元，除了显而易见的高计算量，还可能导致许多与神经网络中的维数灾难相关的问题。
在文章（TensorFlow实战：SoftMax手写体MNIST识别（Python完整源码））中，我们MNIST手写体识别数据集，使用TensorFlow构建了一个softMAX多分类器，达到了91%的正确率，相比人类98%的识别率，这实在是天糟糕了。为此，本文实现一个稍微复杂的模型：卷积神经网络来改善对MNIST的识别率，这将会达到大概99.2%的准确率。下面让我们一步步的实现该模型，具体的Python源码已上传至我的GitHub：https://github.com/ml365/softmax_mnis
前言 上月导师在组会上交我们用tensorflow写深度学习和卷积神经网络，并把其PPT的参考学习资料给了我们， 这是codelabs上的教程：《TensorFlow and deep learning,without a PhD》 https://codelabs.developers.google.com/codelabs/cloud-tensorflow-mnist/#0 当然需要安装python，教程推荐使用python3。 好多专业词太难译了，查了下，大家有些都是不译的。 比如：dropou
关键词：Python，tensorflow，深度学习，卷积神经网络 正文如下： 前言 上月导师在组会上交我们用tensorflow写深度学习和卷积神经网络，并把其PPT的参考学习资料给了我们， 这是codelabs上的教程：《TensorFlow and deep learning,without a PhD》 https://codelabs.developers.google.com/codelabs/cloud-tensorflow-mnist/#0 当然需要安装python，教程推荐使用pytho
blobs 一般包含一个 tensor(可以看做是多维数组)，在 Python 中的存在形式是 numpy arrays.
卷积神经网络（Convolution Neural Networks，CNN）是一类包含卷积计算的前馈神经网络，是基于图像任务的平移不变性（图像识别的对象在不同位置有相同的含义）设计的，擅长应用于图像处理等任务。在图像处理中，图像数据具有非常高的维数（高维的RGB矩阵表示），因此训练一个标准的前馈网络来识别图像将需要成千上万的输入神经元，除了显而易见的高计算量，还可能导致许多与神经网络中的维数灾难相关的问题。
TensorFlow时谷歌于2015年11月宣布在Github上开源的第二代分布式机器学习系统，目前仍处于快速开发迭代中，有大量的新功能新特性在陆续研发中；
CNN神经网络–手写数字识别 引入包 python import numpy as np import tensorflow as tf 下载并载入 MNIST 手写数字库（55000 * 28 *
AI科技评论按：本文是介绍用TensorFlow构建图像识别系统的第三部分。 在前两部分中，我们构建了一个softmax分类器来标记来自CIFAR-10数据集的图像，实现了约25-30％的精度。 因为有10个不同可能性的类别，所以我们预期的随机标记图像的精度为10％。25-30％的结果已经比随机标记的结果好多了，但仍有很大的改进空间。在这篇文章中，作者Wolfgang Beyer将介绍如何构建一个执行相同任务的神经网络。看看可以提高预测精度到多少！AI科技评论对全文进行编译，未经许可不得转载。 关于前两部分
作者|Vivek Patel 编译|Flin 来源|towardsdatascience
【导读】如果你稍微了解一点深度学习的知识或者看过深度学习的在线课程，你就一定知道最基础的多分类问题。当中，老师一定会告诉你在全连接层后面应该加上 Softmax 函数，如果正常情况下（不正常情况指的是类别超级多的时候）用交叉熵函数作为损失函数，你就一定可以得到一个让你基本满意的结果。而且，现在很多开源的深度学习框架，直接就把各种损失函数写好了（甚至在 Pytorch中 CrossEntropyLoss 已经把 Softmax函数集合进去了），你根本不用操心怎么去实现他们，但是你真的理解为什么要这么做吗？这篇小文就将告诉你：Softmax 是如何把 CNN 的输出转变成概率，以及交叉熵是如何为优化过程提供度量。为了让读者能够深入理解，我们将会用 Python 一一实现他们。
随机梯度下降是一种基于梯度的优化算法，用于在训练阶段学习网络参数。梯度通常使用反向传播算法计算。在实践中，人们使用SGD的迷你批处理版本，其中参数更新是基于批处理而不是单个示例执行的，从而提高了计算效率。许多对普通SGD的扩展都存在，包括Momentum、Adagrad、rmsprop、Adadelta或Adam。
本文介绍了如何利用TensorFlow搭建一个简单的CNN模型来识别MNIST数据集中的手写数字。首先，介绍了CNN模型的基本原理和TensorFlow中的Keras API。然后，使用MNIST数据集训练了一个具有卷积层和全连接层的CNN模型。最后，通过在测试集上评估模型的性能，得到了97.3%的准确率。
选自adventuresinmachinelearning 机器之心编译 参与：李诗萌、刘晓坤 本文详细介绍了 word2vector 模型的模型架构，以及 TensorFlow 的实现过程，包括数据
一直以为自己的笔记本不支持tensflow-gpu的运行，结果每次运行模型都要好久。偶然间一个想法，想试试自己的笔记本，结果竟然神奇的发现能用GPU。于是分享一下安装步骤.
1、Why TensorFlow? 网上有关介绍太多了，我就不多说了，这里主要注重使用。 Intro.PNG github.PNG 2、Programing model 2.1.Big Idea 将数
导语：据介绍，Google Developers Codelabs 提供了有引导的、教程式的和上手式的编程体验。大多数 Codelabs 项目都能帮助你了解开发一个小应用或为一个已有的应用加入新功能的过程。这些应用涉及到很多主题，包括 Android Wear、Google Compute Engine、Project Tango、和 iOS 上的 Google API。 本项目的原文可参阅：https://codelabs.developers.google.com/codelabs/cloud-tens
想要真的了解深度学习，除了看视频，拿数据和算力真枪实弹的练手可能比各种理论知识更重要。
感知器是神经网络的基本组成部分。感知器的输入函数是权重，偏差和输入数据的线性组合。具体来说：
你想开始进行深度学习吗? 这有一篇关于Keras的深度学习的文章（地址见下方链接），对图像分类的神经网络做了一个总体概述。然而，它缺少一个关键的因素——实际的动手练习。本文将试图填补这一空白。 文章：
你知道吗？在 iOS 设备上也可以直接训练 LeNet 卷积神经网络，而且性能一点也不差，iPhone 和 iPad 也能化为实实在在的生产力。
训练和评估部分主要目的是生成用于测试用的pb文件，其保存了利用TensorFlow python API构建训练后的网络拓扑结构和参数信息，实现方式有很多种，除了cnn外还可以使用rnn，fcnn等。 其中基于cnn的函数也有两套，分别为tf.layers.conv2d和tf.nn.conv2d， tf.layers.conv2d使用tf.nn.conv2d作为后端处理，参数上filters是整数，filter是4维张量。原型如下：
今天给大家分享一位23届普通双非硕士参加腾讯、百度和京东等大厂的日常实习经历，最终斩获百度算法岗实习offer，面经干货十足，希望能帮助到即将面试的小伙伴们，以下为原文。
本文长度为7196字，建议阅读10分钟 本文为你讲解如何使用Tensorflow进行机器学习和深度学习。 1. 前言 深度学习算法的成功使人工智能的研究和应用取得了突破性进展，并极大地改变了我们的生活。越来越多的开发人员都在学习深度学习方面的开发技术。Google推出的TensorFlow是目前最为流行的开源深度学习框架，在图形分类、音频处理、推荐系统和自然语言处理等场景下都有丰富的应用。尽管功能强大，该框架学习门槛并不高，只要掌握Python安装和使用，并对机器学习和神经网络方面的知识有所了解就可以上
上一期我们发布了“一文读懂TensorFlow（附代码、学习资料）”，带领大家对TensorFlow进行了全面了解，并分享了入门所需的网站、图书、视频等资料，本期文章就来带你一步步上手TensorFlow。 1. 前言 深度学习算法的成功使人工智能的研究和应用取得了突破性进展，并极大地改变了我们的生活。越来越多的开发人员都在学习深度学习方面的开发技术。Google推出的TensorFlow是目前最为流行的开源深度学习框架，在图形分类、音频处理、推荐系统和自然语言处理等场景下都有丰富的应用。尽管功能强大，
点击上方“专知”关注获取更多AI知识! 【导读】主题链路知识是我们专知的核心功能之一，为用户提供AI领域系统性的知识学习服务，一站式学习人工智能的知识，包含人工智能（ 机器学习、自然语言处理、计算机视觉等）、大数据、编程语言、系统架构。使用请访问专知 进行主题搜索查看 - 桌面电脑访问http://www.zhuanzhi.ai, 手机端访问http://www.zhuanzhi.ai 或关注微信公众号后台回复" 专知"进入专知，搜索主题查看。随着TensorFlow 1.4 Eager Execution
继续Triton的学习，这次来到 https://triton-lang.org/main/getting-started/tutorials/06-fused-attention.html 教程。也就是如何使用Triton来实现FlashAttention V2。对于FlashAttention和FlashAttention V2网上已经有非常多的介绍了，大家如果感兴趣的话我推荐FlashAttention V1看 《图解大模型计算加速系列：FlashAttention V1，从硬件到计算逻辑》https://zhuanlan.zhihu.com/p/669926191 这篇文章的讲解 以及 FlashAttention V2 看 《图解大模型计算加速系列：Flash Attention V2，从原理到并行计算》 https://mp.weixin.qq.com/s/5K6yNj23NmNLcAQofHcT4Q ，原理和公式推导都非常清晰，不过想一口气读完还是要花一些精力的。同时你也可以在 https://github.com/BBuf/how-to-optim-algorithm-in-cuda 找到更多相关资料（此外Meagtron-LM，DeepSpeed等训练Infra框架的迅速跟进也说明了FlashAttention这个系列工作影响之大），例如：
在人工智能的发展越来越火热的今天，其中智能应用也在伴随着我们的生活，其中最具有代表性的便是图像识别，并且其中的应用比比皆是，如车站的人脸识别系统，交通的智能监控车牌号系统等等。而卷积神经网络作为图像识别的首选算法，对于图像的特征提取具有很好的效果，而TensorFlow作为Google的开源框架具有很好的结构化特征，而本篇文章将利用卷积神经网络算法对图像识别进行应用，开发出颜值评分器的功能。
此处使用了双层的LSTM作为隐含层，保留最后四个cell的输出结果，加一层full connection，并concat得到最后的输出。
【磐创AI导读】：本系列文章介绍了与tensorflow的相关知识，包括其介绍、安装及使用等。本篇文章将接着上篇文章继续介绍它的使用。查看上篇：一文上手最新TensorFlow2.0系列（二）。想要获取更多的机器学习、深度学习资源，欢迎大家点击上方蓝字关注我们的公众号：磐创AI。
MXNet Scala包中创建新的操作子 用现有操作子组合 在MXNet中创建新的操作子有多种方式。第一种最简单的方法就是在前端（比如Python、Scala） 采用现有的操作子来组合，比如实现 Selu 激活函数。简单示例代码如下： def selu(x: Symbol): Symbol = { val alpha = 1.6732632423543772848170429916717f val scale = 1.0507009873554804934193349852946f
Keras 是一个用 Python 编写的，高级的神经网络 API，使用 TensorFlow，Theano 等作为后端。快速，好用，易验证是它的优点。 官方文档传送门：http://keras.io/ 中文文档传送门：http://keras.io/zh 中文第三方文档：http://keras-cn.readthedocs.io
（比如Python、Scala）采用现有的操作子来组合，比如实现 Selu 激活函数。
在前一篇文章【深度域自适应】一、DANN与梯度反转层（GRL）详解中，我们主要讲解了DANN的网络架构与梯度反转层（GRL）的基本原理，接下来这篇文章中我们将主要复现DANN论文Unsupervised Domain Adaptation by Backpropagation中MNIST和MNIST-M数据集的迁移训练实验。
通过使用优化的数据增强方法，在CIFAR-10、CIFAR-100、SVHN和ImageNet上得到了目前最好的结果。您可以从这里找到和使用它们。
如果您正在阅读这篇文章[1]，那么我假设您一定听说过用于目标检测的 RCNN 系列，如果是的话，那么您一定遇到过 RPN，即区域提议网络。如果您不了解 RCNN 系列，那么我强烈建议您在深入研究 RPN 之前单击此处阅读这篇文章。
本文介绍关于GoogLeNet的续作，习惯称为inception v2，如下： [v2] Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift，top5 error 4.8% 这篇文章做出的贡献不是一般的大，它提出了Batch Normalization（BN），以至于网上关于它的介绍铺天盖地，但中文优秀原创没几个，都是转载来转载去，挑几个好的比如：这个（http://blog
强化学习算法的实现需要合适的平台和工具。本案例将首先介绍目前常用的强化学习实现平台Gym的基本使用方法，再介绍实验工具TensorFlow的基本操作方法，为之后构建和评估强大的强化学习算法打下坚实基础。
上一篇 11 74行Python实现手写体数字识别展示了74行Python代码完成MNIST手写体数字识别，识别率轻松达到95%。这算不上一个好成绩，不过我并不打算立即着手改善它，而是回到本系列的主线上来，用TensorFlow重新实现一遍完全相同的算法。 TF官方的Get Started中，关于MNIST准备了Beginner和Expert两个版本的实现。前者与其说是一个两层的神经网络，不如说是一种线性判别，后者则实现了CNN。两者之间差了一个经典的3层全连接NN，本篇补上。 最终基于TF的代码只有43行
对于开发者来说，在移动设备上运行预先训练好的模型的能力意味着向边界计算(edge computing)迈进了一大步。[译注：所谓的边界计算，从字面意思理解，就是与现实世界的边界。数据中心是网络的中心，PC、手机、监控照相机处在边界。]数据能够直接在用户手机上处理，私人数据仍然掌握在他们手中。没有蜂窝网络的延迟，应用程序可以运行得更顺畅，并且可大幅减少公司的云服务账单。快速响应式应用现在可以运行复杂的机器学习模型，这种技术转变将赋予产品工程师跳出条条框框思考的力量，迎来应用程序开发的新潮流。
深度学习框架哪家强：TensorFlow？Caffe？MXNet？Keras？PyTorch？对于这几大框架在运行各项深度任务时的性能差异如何，各位读者不免会有所好奇。 微软数据科学家Ilia Karmanov最新测试的结果显示，亚马逊MXNet在CNN、RNN与NLP情感分析任务上性能强劲，而TensorFlow仅擅长于特征提取。 测试详情更新在Ilia Karmanov的GitHub项目DeepLearningFrameworks（https://github.com/ilkarman/Deep
上一篇 11 74行Python实现手写体数字识别展示了74行Python代码完成MNIST手写体数字识别，识别率轻松达到95%。这算不上一个好成绩，不过我并不打算立即着手改善它，而是回到本系列的主线上来，用TensorFlow重新实现一遍完全相同的算法。 TF官方的Get Started中，关于MNIST准备了Beginner和Expert两个版本的实现。前者与其说是一个两层的神经网络，不如说是一种线性判别，后者则实现了CNN。两者之间差了一个经典的3层全连接NN，本篇补上。 最终基于TF的代码只有43
首先，我们需要对一种深度学习模型很熟悉，这样我们就可以找到其性能瓶颈，并查看在我们进行了优化之后有多大的提升。我们可以使用内置的 PyTorch 分析器，也可以使用通用的 python 分析器。我们将同时考察这两种方法。
迁移学习和领域自适应是深度学习中的两个重要概念。迁移学习旨在将已在某个任务上训练好的模型应用于新的任务，而领域自适应则是调整模型以适应不同的数据分布。本文将通过一个详细的教程，介绍如何使用Python实现迁移学习和领域自适应。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
