大学时曾上过一门电工学的课，这也是为数不多能真正意义上学懂的专业课之一，其中有一章就是电路暂态分析，即当电压发生突变时的电容电感电流的变化情况，一般来讲这里的暂态指的是变化时间很小甚至可以时间微分
本文链接： https://moeci.com/posts/分类-读书笔记/DL-start-with-Python-1/
机器学习实战 - 读书笔记(05) - Logistic回归 解释 Logistic回归用于寻找最优化算法。 最优化算法可以解决最XX问题，比如如何在最短时间内从A点到达B点？如何投入最少工作量却获得最大的效益？如何设计发动机使得油耗最少而功率最大？ 我们可以看到最XX问题，有寻找最小（最短时间）和最大等。 解决最小类问题会使用梯度下降法。可以想象为在一个山坡上寻找最陡的下坡路径。 同理，解决最大类问题会使用梯度上升法。可以想象为在一个山坡上寻找最陡的上坡路径。 寻找最优化算法，可以通过试图找到一个阶跃
感知器——基础的全连接网络——线性单元到线性模型——梯度下降——神经网络和反向传播算法——循环神经网络——LSTM——LSTM-CRF
深度学习中有许多框架，包括Tensorflow、PyTorch、Keras等，框架中实现了各种网络，并且可以自动求导，因此构建一个完整的网络只需要十几行代码。因为框架高度封装，因此我们无法知道底层的原理。为了更好地理解神经网络，本文使用numpy构建一个完整的神经网络，并实现反向传播和梯度下降算法，使用自己实现的神经网络训练一个分类模型。
在连续时间LTI系统中,冲激响应和阶跃响应是系统特性的描述﹐对它们的分析是线性系统中极为重要的问题。输入为单位冲激函数àt)所引起的零状态响应称为单位冲激响应,简称冲激响应﹐用h(t)表示;输人为单位阶跃函数u(t)所引起的零状态响应称为单位阶跃响应,简称为阶跃响应﹐用g(t)表示。
感知机是由科学家Frank Rosenblatt发明于1950至1960年代，它受到了Warren McCulloch 和Walter Pitts的更早工作的启发。其具体结构如下图所示：
如上所示，深度学习作为人工智能的一种具有代表性的实现方法，取得了很大的成功。那么，深度学习究竟是什么技术呢？深度学习里的“学习”是怎么做到的呢？本文我们就来解答一下这个疑问，不过在此之前，我们需要先了解一下神经网络，因为深度学习是以神经网络为出发点的。
概念 所谓M-P模型，其实是按照生物神经元的结构和工作原理构造出来的一个抽象和简化了的模型，它实际上就是对单个神经元的一种建模。 生物神经元模型 1. 每个神经元都是一个多输入单输出的信息处理单元
y^ 当两个变量间存在线性相关关系时，常常希望建立二者间的定量关系表达式，这便是两个变量间的一元线性回归方程。假定x是自变量，y是随机变量，y对x的一元线性回归方程的表达式为：y ^ =a+bx 。因此字母头上加个“^”表示回归值，表示真实值的一种预测，实际的观测值与回归值是存在偏差的
1.2 S 型神经元 学习算法听上去非常棒。但是我们怎样给一个神经网络设计这样的算法呢?假设我们有一 个感知机网络，想要用它来解决一些问题。例如，网络的输入可以是一幅手写数字的扫描图像。 我们想要网
但在人工构建的标准的神经网络中，所使用的计算量随着输入的大小而增长，与所学习问题的复杂性无关。
论文地址：https://arxiv.org/pdf/1904.06373v3.pdf
LR主要思想是: 根据现有数据对分类边界线(Decision Boundary)建立回归公式，以此进行分类。
早在1943 年，神经科学家和控制论专家Warren McCulloch 与逻辑学家Walter Pitts就基于数学和阈值逻辑算法创造了一种神经网络计算模型。其中最基本的组成成分是神经元（Neuron）模型，即上述定义中的“简单单元”（Neuron 也可以被称为Unit）。在生物学所定义的神经网络中（如图1所示），每个神经元与其他神经元相连，并且当某个神经元处于兴奋状态时，它就会向其他相连的神经元传输化学物质，这些化学物质会改变与之相连的神经元的电位，当某个神经元的电位超过一个阈值后，此神经元即被激活并开始向其他神经元发送化学物质。Warren McCulloch 和Walter Pitts 将上述生物学中所描述的神经网络抽象为一个简单的线性模型（如图2所示），这就是一直沿用至今的“McCulloch-Pitts 神经元模型”，或简称为“MP 模型”。
选自Medium 作者：Adi Chris 机器之心编译 参与：朱乾树、刘晓坤 机器学习工程师 Adi Chris 最近学习完吴恩达在 Coursera 上的最新课程后，决定写篇博客来记录下自己对这一领域的理解。他建议通过这种方式有效地深入理解一个学习主题。除此之外，也希望这篇博客可以帮助到那些有意入坑的朋友。 言归正传。在我正式介绍深度学习是什么东西之前，我想先引入一个简单的例子，借以帮助我们理解为什么需要深度神经网络。 同时，本文附有使用深度神经网络模型求解异或（XOR）问题的代码，发布在 GitHu
我们知道，《三字经》里开篇第一句就是：“人之初，性本善”。那么对于神经网络来说，这句话就要改为：“网之初，感知机”。感知机（ Perceptrons ），基本上来说，是一切神经网络学习的起点。
🙋♂️声明：本人目前大学就读于大二，研究兴趣方向人工智能&硬件（虽然硬件还没开始玩，但一直很感兴趣！希望大佬带带）
在之前系列中已大致了解了机器学习的形式化定义和神经网络的概念，在本小节中，将相对深入地探讨一下神经网络中的神经元模型以及深度学习常常用到的激活函数及卷积函数。
1958年，Frank Rosenblatt 提出了感知机（注：有的资料认为是 1957 年提出的，本文以 Frank Rosenblatt 的文章《The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain》发表时间为准），这是一种非常简单的机器，后来成为今天智能机的核心和起源。感知机是一个非常简单的二元分类器，它可以判断输入的图像是否属于给定的类别。为了实现这一点，它使用单位阶跃函数作为激活函数。
分类技术是机器学习和数据挖掘应用中的重要组成部分。解决分类问题的算法也有很多种，比如：k-近邻算法，使用距离计算来实现分类；决策树，通过构建直观易懂的树来实现分类；朴素贝叶斯，使用概率论构建分类器。这里我们要讲的是Logistic回归，它是一种很常见的用来解决二元分类问题的回归方法，它主要是通过寻找最优参数来正确地分类原始数据。
作者：刘才权 编辑：李文臣 写在前面 1 如今机器学习和深度学习如此火热，相信很多像我一样的普通程序猿或者还在大学校园中的同学，一定也想参与其中。不管是出于好奇，还是自身充电，跟上潮流，我觉得都值得试一试。对于自己，经历了一段时间的系统学习（参考《机器学习/深度学习入门资料汇总》），现在计划重新阅读《机器学习》[周志华]和《深度学习》[Goodfellow et al]这
分类和回归是机器学习中两类经典的问题，而逻辑回归虽然叫回归，却是一个用于解决分类问题的算法模型，但确实跟回归有着密切关系——它的分类源于回归拟合的思想。
一个非常有趣的讲解 （感知器是一种单层神经网络，而多层感知器则称为神经网络。）： https://towardsdatascience.com/what-the-hell-is-perceptron-626217814f53
这段时间里，我一直在尝试将open_nsfw加入到手机，给手机浏览器增加色情图片检测功能，这个分阶段进行，在前面的几篇文章中，都谈到了这方面的尝试：
特征选择是推荐系统中的重要技术，最新的研究中，自适应特征选择(AdaFS)因其可自适应地为每个数据实例选择特征，在推荐系统中表现良好的性能。然而这种方法仍然有局限性，它的选择过程很容易偏向于经常出现的主要特征。
在本文中，我们将讨论简单神经网络背后的数学概念。其主要目的是说明在建立我们自己的人工智能模型时，数学是如何发挥巨大作用的。
，这时衍生的线性模型（式3.14）如下所示，实际上就是相当于将指数曲线投影在一条直线上，如下图所示：
在matlab命令行输入fuzzy打开模糊系统设计器，设定输入个数为2，范围均为[-3,3]，输出个数为3，范围均为[-1,1]，模糊系统如下图。根据相关文献定义规则，将建立好的模糊文件命名为Fuzzy_PID并保存到本地文件中，用于下一步的导入。
神经网络是目前最流行的机器学习算法之一。随着时间的推移，证明了神经网络在精度和速度方面，比其他的算法性能更好。并且形成了很多种类，像CNN(卷积神经网络),RNN,自编码，深度学习等等。神经网络对于数据科学和或者机器学习从业者，就像线性回归对于统计学家一样。因此，对神经网络是什么有一个基本的理解是有必要的，比如，它是怎么构成的，它能处理问题的范围以及它的局限性是什么。这篇文章尝试去介绍神经网络，从一个最基础的构件，即一个神经元，深入到它的各种流行的种类，像CNN,RNN等。
四足机器人控制当中，步态是至关重要的一项。我们可以简单理解成四足机器人运动过程中各腿的状态，在这套设计方案中，我们对步态的规划主要分成两大主要部分，即接触状态和周期函数。而步态规划的目的，就是创建一个关于的足端接触状态的周期函数。
感知器是由美国计算机科学家罗森布拉特（F.Roseblatt）于1957年提出的。感知器可谓是最早的人工神经网络。单层感知器是一个具有一层神经元、采用阈值激活函数的前向网络。通过对网络权值的训练，可以使感知器对一组输人矢量的响应达到元素为0或1的目标输出，从而实现对输人矢量分类的目的。
最近学习吴恩达《Machine Learning》课程以及《深度学习入门：基于Python的理论与实现》书，一些东西总结了下。现就后者学习进行笔记总结。本文是本书的学习笔记（四）神经网络的学习的上半部分。
人工神经网络是模拟人脑的神经网络，用以实现人工智能的机器学习技术。我们知道，人脑可以说是世界上最复杂最精妙的系统之一，它由千亿计的神经元细胞组成。各个神经细胞相互链接，彼此之间传递电信号。从而造就了人类高于其他物种的思维能力。科学家受到人脑神经元的启发从而提出了人工神经网络的设想，使得人工智能的实现不再遥不可及。
找不同：激活函数用阶跃函数换成了连续型函数，用一个Quantizer函数进行类别预测
根据中国互联网络信息中心（CNNIC）第47次《中国互联网络发展状况统计报告》，截至2020年12月，中国网民规模达到9.89亿人，其中网络视频（含短视频）用户规模达到9.27亿人，占网民整体的93.7%，短视频用户规模为8.73亿人，占网民整体的88.3%。
1957年，Frank Rosenblatt从纯数学的角度重新考察这一模型，指出能够从一些输入输出对(X, y)中通过学习算法获得权重W和b。
开始这个项目，首先需要创建一个包含 Stateflow 的新 Simulink 。只需单击画布中的任意位置并开始输入 Stateflow。
神经元是神经网络中最基本的结构，也可以说是神经网络的基本单元，它的设计灵感完全来源于生物学上神经元的信息传播机制。我们学过生物的同学都知道，神经元有两种状态：兴奋和抑制。一般情况下，大多数的神经元是处于抑制状态，但是一旦某个神经元收到刺激，导致它的电位超过一个阈值，那么这个神经元就会被激活，处于“兴奋”状态，进而向其他的神经元传播化学物质（其实就是信息）。
Logistic 回归 或者叫逻辑回归 虽然名字有回归，但是它是用来做分类的。其主要思想是: 根据现有数据对分类边界线(Decision Boundary)建立回归公式，以此进行分类。
一直沿用至今的“M-P神经元模型”正是对这一结构进行了抽象，也称“阈值逻辑单元“，其中树突对应于输入部分，每个神经元收到n个其他神经元传递过来的输入信号，这些信号通过带权重的连接传递给细胞体，这些权重又称为连接权（connection weight）。细胞体分为两部分，前一部分计算总输入值（即输入信号的加权和，或者说累积电平），后一部分先计算总输入值与该神经元阈值的差值，然后通过激活函数（activation function）的处理，产生输出从轴突传送给其它神经元。M-P神经元模型如下图所示：
对数几率回归（Logistic Regression），也称逻辑回归，虽然名字中含有回归，但其实是一种分类算法。找一个单调可微函数将分类任务中的真实标记与线性回归模型的预测值联系起来，是一种广义线性回归。
该期我们将从DNN入手开始学习TensorFlow方面的相关知识。学习的路上，我们多多交流，共同进步。本期主要内容如下： 从生物学到人工神经网络 训练多层感知机 训练DNN 文末附本期代码关键字，回复关键字即可下载。 ---- 一. 从生物学到人工神经网络 鸟类启发我们飞翔，牛蒡植物启发魔术贴，而大自然激发了许多其他发明。 那么，大脑的体系结构，是激发人工神经网络（ANN）的关键思想。人工神经网络是深度学习的核心。 1.1 从生物到人工神经元 在讨论人造神经元之前，让我们快速看一下生物神经元，如下图所示。它
线性回归模型可以用于回归模型的学习，当我们需要用线性模型实现分类问题比如二分类问题时，需要用一个单调可微函数将线性回归的连续结果映射到分类回归真实标记的离散值上。
本文介绍了逻辑回归算法的基本原理和实现，并通过实例演示了如何使用逻辑回归算法进行二元分类。同时，还介绍了如何利用Python中的sklearn库来实现逻辑回归算法，以及使用该算法对鸢尾花数据集进行分类。
看到很多人都有写博客的习惯，现在开始实习了，也把之前写过的东西整理整理，发在这里，有兴趣的同学可以一起交流交流。文笔稚嫩，希望大家宽容以待！ 机器学习是人工智能（AI，artificial intelligence）发展到一定阶段的必然产物。二十世纪五十年代到七十年代，人工智能为推理期，70年代中期之后，进入到知识期，在五十年代中后期，基于神经网络的“连接主义”（connection）学习开始出现，六七十年代，基于逻辑表示的“符号主义”（symbolism）学习技术蓬勃发展。到八
神经网络中激活函数的主要作用是提供网络的非线性建模能力，如不特别说明，激活函数一般而言是非线性函数。假设一个示例神经网络中仅包含线性卷积和全连接运算，那么该网络仅能够表达线性映射，即便增加网络的深度也依旧还是线性映射，难以有效建模实际环境中非线性分布的数据。加入（非线性）激活函数之后，深度神经网络才具备了分层的非线性映射学习能力。因此，激活函数是深度神经网络中不可或缺的部分。
本文介绍了激活函数在神经网络模型构建中的作用，包括激活函数的选择、作用以及其在深层神经网络中的作用。激活函数在神经网络中起着增加非线性、提高模型表达能力的作用，常用的激活函数包括sigmoid、ReLU、tanh等。在深层神经网络中，激活函数可以解决梯度消失问题，提高模型的表达能力。
神经网络学习笔记 - 激活函数的作用、定义和微分证明 看到知乎上对激活函数(Activation Function)的解释。 我一下子迷失了。 因此，匆匆写下我对激活函数的理解。 激活函数被用到了什么地方 目前为止，我见到使用激活函数的地方有两个。 逻辑回归(Logistic Regression) 神经网络(Neural Network) 这两处，激活函数都用于计算一个线性函数的结果。 了解激活函数 激活函数的作用：就是将权值结果转化成分类结果。 2类的线性分类器 先说一个简单的情况 - 一个2类的
作者 | @Aloys (腾讯员工，后台工程师） 本文授权转自腾讯的知乎专栏 ▌一. 前言： 作为AI入门小白，参考了一些文章，想记点笔记加深印象，发出来是给有需求的童鞋学习共勉，大神轻拍！ 【毒鸡汤】：算法这东西，读完之后的状态多半是 --> “我是谁，我在哪？” 没事的，吭哧吭哧学总能学会，毕竟还有千千万万个算法等着你。 本文货很干，堪比沙哈拉大沙漠，自己挑的文章，含着泪也要读完！ ▌二. 科普： 生物上的神经元就是接收四面八方的刺激（输入），然后做出反应（输出），给它一点☀️就灿烂。 仿生嘛，于是
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
