首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

CS231n:6 训练神经网络(一)

神经网络最初受到生物神经系统启发得来,并逐渐脱离生物神经系统,演变成一个工程问题,并在机器学习任务中实现了很好的结果。不过,我们还是简单地介绍一下生物神经系统。大脑的最基本的计算单元是神经元。人类的神经系统中有大约860亿个神经元,并且由大约1e14-1e15个突触 (synapses)相连。如下图左是一张生物神经元的示意图,右边是一个神经元的数学建模。每个神经元会接受来自 树突(dendrites)的输入信号,然后沿着轴突(axon)产生输出信号。轴突最终会产生分支并和其他神经元的树突通过突触相连。在神经元的数学模型中,来自其他神经元轴突的信号(比如 )与当前神经元的树突通过突触基于突触上的强度(比如 )进行乘法形式的交互(比如 )。这一方法中,突触的强度 w 是可以学习的,通过控制强度(以及方向,比如正面影响还是负面影响)来影响其他某个神经元。在这一基础模型中,树突将所有输入的信号带到细胞体中,并将它们全部相加。如果最终的总和大于某个门槛值,那么这个神经元将会被激活,将会沿着轴突发出激活信号。在计算模型中,我们假设准确的激活时间不重要,只有激活的频率表示通信的信息。基于这一频率编码的解释,我们建模出了激活频率,即激活函数 f ,用于表示轴突发出激活信号的频率。在历史上,最常用的激活函数时sigmoid函数,它会将输入压缩在0-1的范围内,以实数的形式输出。后面我们将看到关于这个函数的细节。

02

机器学习(19)——特征工程数据收集数据清洗数据不平衡特征转换增维降维特征选择

前言:特征工程是机器学习的重点,他直接影响着模型的好坏。 数据收集 在进行机器学习之前,收集数据的过程中,我们主要按照以下规则找出我们所需 要的数据: 业务的实现需要哪些数据? 基于对业务规则的理解,尽可能多的找出对因变量有影响的所有自变量数据。 数据可用性评估 在获取数据的过程中,首先需要考虑的是这个数据获取的成本; 获取得到的数据,在使用之前,需要考虑一下这个数据是否覆盖了所有情况以及这个数 据的可信度情况。 数据源 用户行为日志数据:记录的用户在系统上所有操作所留下来的日志行为数据 业务数据: 商

05

CS231n:5 卷积神经网络

对于普通的神经网络,首先收到输入数据,然后通过若干的隐藏层的转换得到输出。每个隐藏层是由一组神经元组成的,并且这些神经元与前一层进行全连接。在单层中的每个神经元都是完全独立的,不会与其他神经元共享任何连接。最后一个全连接层又称为输出层,在分类任务中,它代表了每个类别的得分。常规的神经网络不能很好地扩展到整个图像。在CIFAR-10数据集中,图片的大小只有32*32*3 ,所以全连接的神经网络在第一个隐藏层中就需要 个权重,这看起来还是可以接受的一个数据量,但是如果图片更大,常规的神经网络就不能很好地使用了。显然易见的是,全连接这样的形式带来参数量巨大的问题, 会导致性能的浪费和过拟合问题。

02
领券