【导读】如果你稍微了解一点深度学习的知识或者看过深度学习的在线课程，你就一定知道最基础的多分类问题。当中，老师一定会告诉你在全连接层后面应该加上 Softmax 函数，如果正常情况下（不正常情况指的是类别超级多的时候）用交叉熵函数作为损失函数，你就一定可以得到一个让你基本满意的结果。而且，现在很多开源的深度学习框架，直接就把各种损失函数写好了（甚至在 Pytorch中 CrossEntropyLoss 已经把 Softmax函数集合进去了），你根本不用操心怎么去实现他们，但是你真的理解为什么要这么做吗？这篇小文就将告诉你：Softmax 是如何把 CNN 的输出转变成概率，以及交叉熵是如何为优化过程提供度量。为了让读者能够深入理解，我们将会用 Python 一一实现他们。
导语：据介绍，Google Developers Codelabs 提供了有引导的、教程式的和上手式的编程体验。大多数 Codelabs 项目都能帮助你了解开发一个小应用或为一个已有的应用加入新功能的过程。这些应用涉及到很多主题，包括 Android Wear、Google Compute Engine、Project Tango、和 iOS 上的 Google API。 本项目的原文可参阅：https://codelabs.developers.google.com/codelabs/cloud-tens
关于最大熵原理有很多直观容易理解的解释，比如Berger的例子，比如吴军老师数学之美中的例子。
当我们在使用Python进行数值计算时，有时会遇到类似于ValueError: cannot convert float NaN to integer的错误。这个错误通常是由于我们试图将一个NaN（Not a Number）转换为整数类型引起的。在本篇文章中，我们将讨论这个错误的原因以及如何解决它。
经过排查，交叉熵不是有个负对数吗，当网络输出的概率是0-1时，正数。可当网络输出大于1的数，就有可能变成负数。
关键词：Python，tensorflow，深度学习，卷积神经网络 正文如下： 前言 上月导师在组会上交我们用tensorflow写深度学习和卷积神经网络，并把其PPT的参考学习资料给了我们， 这是codelabs上的教程：《TensorFlow and deep learning,without a PhD》 https://codelabs.developers.google.com/codelabs/cloud-tensorflow-mnist/#0 当然需要安装python，教程推荐使用pytho
前言 上月导师在组会上交我们用tensorflow写深度学习和卷积神经网络，并把其PPT的参考学习资料给了我们， 这是codelabs上的教程：《TensorFlow and deep learning,without a PhD》 https://codelabs.developers.google.com/codelabs/cloud-tensorflow-mnist/#0 当然需要安装python，教程推荐使用python3。 好多专业词太难译了，查了下，大家有些都是不译的。 比如：dropou
本文将给出基于决策树的智能根因分析方法，针对多维找出导致问题的根因。做数据、搞AI一定要基于具体业务，不可脱离业务谈数据、算法，否则将得不偿失。
最近笔者在做文本挖掘项目时候，写了一些小算法，不过写的比较重，没有进行效率优化，针对大数据集不是特别好用，不过在小数据集、不在意性能的情况下还是可以用用的。
Google 的 TensorFlow 是 AI 学习者中使用率最高、名气也最大的深度学习框架，但由于 TensorFlow 最早是基于 Google 的需求开发的，在实际使用上也会存在如 文档乱、调试难 等诸多缺点，而且开发时间比较早未能及时对一些新的需求进行反应（据AI研习社了解，由于缺乏类似 PyTroch、DyNet 的动态图功能，Lecun 就不止一次吐槽过 TensorFlow 是 “过时的深度学习框架”（yesterday deep learning framework）），而针对用户的需
AI科技评论按：Google的TensorFlow是AI学习者中使用率最高、名气也最大的深度学习框架，但由于TensorFlow最早是基于Google的需求开发的，在实际使用上也会存在如文档乱、调试难等诸多缺点，而且开发时间比较早未能及时对一些新的需求进行反应（据AI科技评论了解，由于缺乏类似PyTroch、DyNet的动态图功能，Lecun就不止一次吐槽过TensorFlow是“过时的深度学习框架”（yesterday deep learning framework）），而针对用户的需求，Google也在
1.如果在迭代的100轮以内，出现NaN，一般情况下的原因是因为你的学习率过高，需要降低学习率。可以不断降低学习率直至不出现NaN为止，一般来说低于现有学习率1-10倍即可。
有一个房间，里面有 100 个人，每个人有 100 元。每过一会，每个有钱的人给随机的其他人 1 元，经过一段时间后，房间内的资金分配情况是怎样？
http://blog.csdn.net/u011239443/article/details/77649026
一年一度的校园招聘已经开始了，为了帮助参加校园招聘、社招的同学更好的准备面试，SIGAI整理出了一些常见的机器学习、深度学习面试题。理解它们，对你通过技术面试非常有帮助，当然，我们不能只限于会做这些题目，最终的目标是真正理解机器学习与深度学习的原理、应用。
理论基础 决策树 决策树是一种树形结构的机器学习算法，所有的样本起始于根节点，每个具有子节点的父节点都有一个判断，根据判断结果将样本向子节点分流，测试样本从根节点开始向下流动，通过判断最终到达某个没有子节点的叶子节点，这个节点就是该样本所属的类别。 例如，判断一个动物是鸭子，狗还是兔子，可以具有以下的决策树： 判断是否有四条腿 没有，是鸭子 有，判断眼睛颜色 红色，是兔子 非红色，是狗 决策树训练算法 训练决策树时，可以描述如下 从父节点找到最优划分属性 根据属性划分出子节点 若子节点为空/属性相同（
常见的图像分割损失函数有交叉熵，dice系数，FocalLoss等。今天我将分享图像分割FocalLoss损失函数及Tensorflow版本的复现。
一直以来有人问：“ 数据分析 VS 数据挖掘 VS 数据科学家，它们到底有什么不同？入行大数据的话该怎么选？” 估计 90% 程序员，包括一些数据相关工作的⼩伙伴，都给不出准确回答。最近整理了这张对比长图，来回答这个问题！PS. 被问次数太多了，实属无奈
疫情在家的这段时间，想系统的学习一遍 Pytorch 基础知识，因为我发现虽然直接 Pytorch 实战上手比较快，但是关于一些内部的原理知识其实并不是太懂，这样学习起来感觉很不踏实，对 Pytorch 的使用依然是模模糊糊，跟着人家的代码用 Pytorch 玩神经网络还行，也能读懂，但自己亲手做的时候，直接无从下手，啥也想不起来，我觉得我这种情况就不是对于某个程序练得不熟了，而是对 Pytorch 本身在自己的脑海根本没有形成一个概念框架，不知道它内部运行原理和逻辑，所以自己写的时候没法形成一个代码逻辑，就无从下手。这种情况即使背过人家这个程序，那也只是某个程序而已，不能说会 Pytorch，并且这种背程序的思想本身就很可怕， 所以我还是习惯学习知识先有框架（至少先知道有啥东西）然后再通过实战（各个东西具体咋用）来填充这个框架。而「这个系列的目的就是在脑海中先建一个 Pytorch 的基本框架出来，学习知识，知其然，知其所以然才更有意思 ;)」。
高尔夫球员刚开始学习打高尔夫球时，通常会花很长时间练习挥杆。慢慢地，他们才会在此基础上练习其他击球方式，学习削球、左曲球和右曲球。本章仍着重介绍反向传播算法，这就是我们的“挥杆基本功”——神经网络中大部分工作、学习和研究的基础。
原文：https://github.com/vahidk/EffectivePyTorch
对于训练集数据，通过训练若干个个体学习器，通过一定的结合策略，就可以最终形成一个强学习器，以达到博采众长的目的。
导语 2016年，继虚拟现实（VR）之后，人工智能（AI）的概念全面进入大众的视野。谷歌，微软，IBM等科技巨头纷纷重点布局，AI 貌似将成为互联网的下一个风口。 很多开发同学，对人工智能非常感兴趣，确不知从何入手进行学习，精神哥也同样被这个问题困扰。直至看见汉彬同学的这篇文章，豁然开朗，让我坚定地迈出了成为“AI 工程师”的第一步！ 本文来自：腾讯QQ会员技术团队 微信公众号：小时光茶社 一、人工智能和新科技革命 2017年，围棋界发生了一件比较重大的事，Master（AlphaGo）以60连胜横扫天下，
一、人工智能和新科技革命 2017年围棋界发生了一件比较重要事，Master（Alphago）以60连胜横扫天下，击败各路世界冠军，人工智能以气势如虹的姿态出现在我们人类的面前。围棋曾经一度被称为“人类智慧的堡垒”，如今，这座堡垒也随之成为过去。从2016年三月份AlphaGo击败李世石开始，AI全面进入我们大众的视野，对于它的讨论变得更为火热起来，整个业界普遍认为，它很可能带来下一次科技革命，并且，在未来可预见的10多年里，深刻得改变我们的生活。 其实，AI除了可以做我们熟知的人脸、语音等识别之外，它
一、人工智能和新科技革命 2017年围棋界发生了一件比较重要事，Master（Alphago）以60连胜横扫天下，击败各路世界冠军，人工智能以气势如虹的姿态出现在我们人类的面前。围棋曾经一度被称为“人
Topsis法，全称为Technique for Order Preference by Similarity to an Ideal Solution中文常翻译为优劣解距离法，该方法能够根据现有的数据，对个体进行评价排序。根据有限个评价对象与理想化目标的接近程度进行排序的方法，是在现有的对象中进行相对优劣的评价。
做这件事的初衷是发生了一个星期要用python同时开发3个项目的情况，我发现了两个现象：1.有很多定制化的需求是极度高频反复重写的；2.有很多功能之前写过，可能因为稍许复杂又忘了，再用的时候又要去Google。所以，拉着同组的一个实习生，一起维护了PyTls的这个项目，为的就是那句"life is short, we need python"。
本文主要介绍了如何通过深度学习来识别和解决一些常见的问题，包括数据分类、数据聚类、数据降维、图像处理、自然语言处理、强化学习等。文章还介绍了深度学习在机器人、游戏、自动驾驶等领域的应用。最后，文章探讨了深度学习未来的发展趋势和方向。"
使用表格数据进行深度学习的最简单方法是通过fast-ai库，它可以提供非常好的结果，但是对于试图了解幕后实际情况的人来说，它可能有点抽象。因此在本文中，介绍了如何在Pytorch中针对多类分类问题构建简单的深度学习模型来处理表格数据。
1、学习率 步长的选择：你走的距离长短，越短当然不会错过，但是耗时间。步长的选择比较麻烦。步长越小，越容易得到局部最优化（到了比较大的山谷，就出不去了），而大了会全局最优 重要性：学习率>正则值>dr
摘要：本篇介绍了我们实际项目文本分类任务样本优化实践汇总。首先样本层面优化文本分类任务需要解决如何又快又好的获取人工标注数据集、如何解决样本不均衡问题和如何获取更多的训练样本三个问题；然后通过主动学习可以又快又好的获取人工标注数据集以及通过损失函数解决样本不均衡问题；最后重点介绍了我们的半监督和自训练流程项目，主要包括半监督项目的目标以及基本流程。对于希望提升文本分类任务线上效果的小伙伴可能有所帮助。
TensorFlow调试器是TensorFlow专门的调试器。它提供运行的TensorFlow的图其内部的结构和状态的可见性。从这种可见性中获得的洞察力有利于调试各种模型在训练和推断中出现的错误。 这个教程将展现tfdbg的命令行界面的功能，并聚焦于如何调试在TensorFLow的模型开发中经常发生的一种错误：错误数值（nan和inf）导致的训练失败。 为了观察这个问题，在没有调试器的情况下，运行下列代码： python -mtensorflow.python.debug.examples.debug_mn
决策树是机器学习中一种非常常见的分类与回归方法，可以认为是if-else结构的规则。分类决策树是由节点和有向边组成的树形结构，节点表示特征或者属性， 而边表示的是属性值，边指向的叶节点为对应的分类。在对样本的分类过程中，由顶向下，根据特征或属性值选择分支，递归遍历直到叶节点，将实例分到叶节点对应的类别中。 决策树的学习过程就是构造出一个能正取分类（或者误差最小）训练数据集的且有较好泛化能力的树，核心是如何选择特征或属性作为节点， 通常的算法是利用启发式的算法如ID3，C4.5，CART等递归的选择最优特征。选择一个最优特征，然后按照此特征将数据集分割成多个子集，子集再选择最优特征， 直到所有训练数据都被正取分类，这就构造出了决策树。决策树有如下特点：
深度学习背后的核心有标量、向量、矩阵和张量这 4 种数据结构，可以通过使用这些数据结构，以编程的方式解决基本的线性代数问题
public static String getISO8601TimestampFromDateStr(String timestamp){
一般我们在训练神经网络模型的时候，都是每隔多少步，输出打印一下loss或者每一步打印一下loss，今天发现了另一种记录loss变化的方法，就是用
版权声明：博客文章都是作者辛苦整理的，转载请注明出处，谢谢！ https://blog.csdn.net/Quincuntial/article/details/79298122
这里，并没有指定要用哪个列进行连接，如果没有指定，就会默认将重叠列的列名当作连接键。这里连接的结果是按照笛卡儿积的逻辑实现的。在这个例子中表现不太明显，我们再看下一个例子。
http://www.cnblogs.com/fydeblog/p/7436310.html
本文以银行贷款数据为案例，对是否批准顾客贷款申请的决策过程进行了算法构建，并对比了决策树与随机森林两种机器学习算法之间的异同及各自的优劣。
今天给大家分享一位23届普通双非硕士参加腾讯、百度和京东等大厂的日常实习经历，最终斩获百度算法岗实习offer，面经干货十足，希望能帮助到即将面试的小伙伴们，以下为原文。
1. nn.Module.cuda() 和 Tensor.cuda() 的作用效果差异
rest运算符也是三个点号，不过其功能与扩展运算符恰好相反，把逗号隔开的值序列组合成一个数组
使用 JSON 函数需要导入 json 库：import json。
导语：高中的时候，班主任让我们每学完一个章节，整理出这个章节的关键词和一份问题列表。现在回想起来，其实是很有用的，这让我们可以从另外一个视角来审视所学习的内容，而不是单纯的填鸭式的记忆；最近在复习机器学习相关内容，也从问题的视角来回顾机器学习知识体系，对于机器学习方向同学可以作为考察，看看里面的内容是否都能回答上来；而对于想学习机器学习的同学来说，应该可以作为一个方向，把这些内容一个个解决了，在各大厂算法岗面试中应该可以横着走了啦啦啦！
你想读写 JSON(JavaScript Object Notation) 编码格式的数据。
理论 集成模型 集成分类器模型是综合考虑多种机器学习模型的训练结果，做出分类决策的分类器模型 投票式：平行训练多种机器学习模型，每个模型的输出进行投票做出分类决策 顺序式：按顺序搭建多个模型，模型之间存在依赖关系，最终整合模型 随机森林分类器 随机森林分类器是投票式的集成模型，核心思想是训练数个并行的决策树，对所有决策树的输出做投票处理，为了防止所有决策树生长成相同的样子，决策树的特征选取由最大熵增变为随机选取 梯度上升决策树 梯度上升决策树不常用于分类问题（可查找到的资料几乎全在讲回归树），其基本思想是每
领取专属 10元无门槛券
手把手带您无忧上云
