CS231n的全称是CS231n: Convolutional Neural Networks for Visual Recognition,即面向视觉识别的卷积神经网络。该课程是斯坦福大学计算机视觉实验室推出的课程。 课程官网:http://cs231n.stanford.edu/ 官方笔记:http://cs231n.github.io/ B站视频:https://www.bilibili.com/video/av58778425 课程作业:https://github.com/Burton2000/CS231n-2017
本系列为 斯坦福CS231n 《深度学习与计算机视觉(Deep Learning for Computer Vision)》的全套学习笔记,对应的课程视频可以在 这里 查看。更多资料获取方式见文末。
本系列为 斯坦福CS231n《深度学习与计算机视觉(Deep Learning for Computer Vision)》的全套学习笔记,对应的课程视频可以在 这里 查看。更多资料获取方式见文末。
斯坦福大学教授李飞飞拥有众多头衔,毫无疑问是人工智能领域的大 IP。她在斯坦福开设的机器视觉课程 CS231n 一直以来都是王牌课程,惠及数十万的人工智能爱好者。
大数据文摘作品 学习斯坦福CS231n公开课的同学看过来,Assignment 2 的Q1-Q5详解来啦!本期作业详解帮你搞定基于神经网络的图片识别、卷积神经网络和深度学习框架Tensorflow,快来和文摘菌一起写作业吧! 在不久前,文摘菌发布了李飞飞计算机视觉成名作斯坦福CS231n作业详解第一弹,点击查看相关第一弹内容,受到了很多读者的打call,文摘菌在此表示感谢,会继续做好服务大家的工作的 经过各位同学和编辑团队的不断努(cui)力(gao),本门课程的进展飞速,课程第二部分和第三部分的笔记也都已
【新智元导读】这份指南适合有一些数学基础,了解一些编程语言,现在想深入学习深度学习的人。主要包括2个视频教程,2部重要专著,一系列深入浅出的博客文章,以及一系列实现算法的指南和代码,堪称年度最有价值深度学习资料! 深度学习是计算机科学和数学交叉的一个快速变化的领域,属于机器学习的一个相对较新的分支。机器学习的目的是教计算机根据给定的数据执行各种任务。这份指南的目标读者是已有一些数学基础,了解一些编程语言,现在想深入学习深度学习的人。 这份完全指南主要包括2个视频教程,2部重要专著,以及一系列深入浅出的博客文
CS231n简介 CS231n的全称是CS231n: Convolutional Neural Networks for Visual Recognition,即面向视觉识别的卷积神经网络。该课程是斯坦福大学计算机视觉实验室推出的课程。需要注意的是,目前大家说CS231n,大都指的是2016年冬季学期(一月到三月)的最新版本。 课程描述 Information 计算机视觉在社会中已经逐渐普及,并广泛运用于搜索检索、图像理解、手机应用、地图导航、医疗制药、无人机和无人驾驶汽车等领域。而这些应用的核心技术就
本文为斯坦福大学CS231N课程的中文视频第2期,已获得斯坦福大学Andrej Karpathy教授的授权翻译与发表。大数据文摘作品,未经授权禁止转载,转载具体要求见文末。 大数据文摘&北邮模式识别实验室 联合制作 编者按: 本期文章是我们为读者带来斯坦福课程文章第二个系列的【斯坦福深度学习与计算机视觉课程】视频版的第三节课的下半部分,也是我们在网易云课堂独家课程的第七个课时:《线性分类器损失函数与最优化(下)》。文章内容为斯坦福CS231N系列,供有兴趣的读者感受、学习。 斯坦福大学CS231N课程是深度
2012年我在北京组织过8期machine learning读书会,那时“机器学习”非常火,很多人都对其抱有巨大的热情。当我2013年再次来到北京时,有一个词似乎比“机器学习”更火,那就是“深度学习”。
大数据文摘&北邮模式识别实验室 联合制作 编者按:经过视频团队的不懈努力,第二期斯坦福大学CS231N课程视频的汉化终于完成了。本期文章是我们为读者带来斯坦福课程文章第二个系列的【斯坦福深度学习与计算
CS231n 是斯坦福大学开设的计算机视觉与深度学习的入门课程,授课内容在国内外颇受好评。其配套的课后作业质量也颇高,因此雷锋网 AI 研习社在近期的线上公开课上请来了一位技术大牛为大家来讲解这门课的配套作业。 本文根据 AI 研习社公开课上的直播视频内容整理而成,主要介绍 CS231n 课后作业第二套 Assignment 2 的完成思路与重点部分代码实现。如果你还没开始听 CS231n,可直接点击课程链接观看回放视频。 王煦中,CS 硕士,主要研究方向为自然语言处理与深度学习。知乎专栏喵神大人的深度工
导语:可视化不只是画画那么简单,它或许是我们理解神经网络的世界的方法。PS:标题是作者说的,不是我说的,要打,就打他(逃
本文为斯坦福大学CS231N课程的中文视频第10课时,已获得斯坦福大学Andrej Karpathy教授的授权翻译与发表。大数据文摘作品,未经授权禁止转载,转载具体要求见文末。 大数据文摘&北邮模式识别实验室 联合制作 编者按: 本节课讲述了神经网络训练过程中会涉及的一些细节,包括各种激活函数(activation function)的功能和选择,神经网络权重的初始化方式,图像预处理,Batch Normalization,超参数的选择等相关内容。文章内容为斯坦福CS231N系列,供有兴趣的读者感受、学习。
编者按: 本节主要内容为“迁移学习之物体定位与检测”。文章内容为斯坦福CS231N系列,供有兴趣的读者感受、学习。 斯坦福大学CS231N课程是深度学习与计算机视觉方面的经典教程,业界评价很高。之前
传统的“提拉米苏”式卷积神经网络模型,都以层叠卷积层的方式提高网络深度,从而提高识别精度。但层叠过多的卷积层会出现一个问题,就是梯度弥散(Vanishing),backprop无法把有效地把梯度更新到前面的网络层,导致前面的层参数无法更新。 而ResNet的出现就是为了解决这个问题,通过在卷积层之间增加一个skip connection,就能很好的把梯度传到更远的层次中。那么问题来了, 为什么加了一个捷径就能防止梯度弥散? 这个要从神经网络梯度更新的过程说起,如果读者已经非常熟悉神经网络的梯度更新,可以
实际上,很少的人会训练整个卷积神经网络(使用随机的初始化),因为相对来说,很少有足够大的数据集可以用于训练。作为代替,常见的方式是在一个很大的数据集中预训练一个卷积神经网络(比如ImageNet,120万张1000类别图片),然后或者将这个训练后的网络参数作为初始化参数,或者直接作为一个特质提取器用于所关注的任务。三种常见的迁移学习类型如下所示:
本文为斯坦福大学CS231N课程的中文视频第30课时,已获得斯坦福大学Andrej Karpathy教授的授权翻译与发表。大数据文摘作品,未经授权禁止转载,转载具体要求见文末。 大数据文摘&北邮模式识别实验室 联合制作 编者按: 本节主要内容为“深度学习之计算机视觉——来自Jeff Dean的受邀报告(上)”。本节课为Jeff Dean的受邀报告,介绍了google的一些工作、idea与实现细节。文章内容为斯坦福CS231N系列,供有兴趣的读者感受、学习。 斯坦福大学CS231N课程是深度学习与计算机视觉
编者按: 本节主要内容为“深度学习之计算机视觉——循环神经网络(上)”。RNNs的目的是用来处理序列数据。文章内容为斯坦福CS231N系列,供有兴趣的读者感受、学习。 斯坦福大学CS231N课程是深
AI科技评论按:本文作者Professor ho,原文载于其知乎主页,雷锋网获其授权发布。 传统的“提拉米苏”式卷积神经网络模型,都以层叠卷积层的方式提高网络深度,从而提高识别精度。但层叠过多的卷积层会出现一个问题,就是梯度弥散(Vanishing),backprop无法有效地把梯度更新到前面的网络层,导致前面的层参数无法更新。 而BatchNormalization(BN)、ResNet的skip connection就是为了解决这个问题,BN通过规范化输入数据改变数据分布,在前传过程中消除梯度弥散。而s
传统的“提拉米苏”式卷积神经网络模型,都以层叠卷积层的方式提高网络深度,从而提高识别精度。但层叠过多的卷积层会出现一个问题,就是梯度弥散(Vanishing),backprop无法有效地把梯度更新到前面的网络层,导致前面的层参数无法更新。 而BatchNormalization(BN)、ResNet的skip connection就是为了解决这个问题,BN通过规范化输入数据改变数据分布,在前传过程中消除梯度弥散。而skip connection则能在后传过程中更好地把梯度传到更浅的层次中。那么问题来了, 为
编者按: 本节课讲述了卷积神经网络方面涉及的一些内容。卷积网络是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,对于大型图像处理有出色表现,其包括卷积层(alternating c
大家好,这里是我的第一篇文章,我希望讲一讲深度学习如何入门,这是我研究生阶段师兄安排的入门方式,希望给大家带来帮助。首先,需要有一定的知识储备,如何储备相关知识呢,推荐下面的路线:
大数据文摘&北邮模式识别实验室 联合制作 编者按: 本节主要内容为“深度学习之计算机视觉——深度学习开源库使用介绍(下)”。本节课程介绍了流行的深度学习开源库,包括Caffe、Torch、theano、Tensorflow框架的使用方法,优缺点,实现细节与各种任务对框架选择的建议等。文章内容为斯坦福CS231N系列,供有兴趣的读者感受、学习。 斯坦福大学CS231N课程是深度学习与计算机视觉方面的经典教程,业界评价很高。之前也有国内朋友做一些零星的翻译,为了与更多读者分享高品质内容,大数据文摘和北邮模式识
1.环境搭建以及前置条件 1.前置环境: 1.mac 2.pycharm 3.python3 4.Anaconda 2.环境搭建: 1.官网下载并安装Anaconda 2.官网下载并安装pycharm 3.在pycharm中使用Anaconda 1.preference-->project-->project interpreter 2.将Anaconda的解释器当做一个project interpreter添加 4.下载assignment1作业项目并导入pycharm中,作业下载 。 5.下载数据
王瀚森 编译自 Analytics Vidhya 量子位 出品 | 公众号 QbitAI 人工智能,深度学习,机器学习……不管你在从事什么工作,都需要了解这些概念。否则的话,三年之内你就会变成一只恐龙。 —— 马克·库班 库班的这句话,乍听起来有些偏激,但是“话糙理不糙”,我们现在正处于一场由大数据和超算引发的改革洪流之中。 首先,我们设想一下,如果一个人生活在20世纪早期却不知电为何物,是怎样一种体验。在过去的岁月里,他已经习惯于用特定的方法来解决相应的问题,霎时间周围所有的事物都发生了剧变。以前需要耗费
大数据文摘&北邮模式识别实验室 联合制作 编者按: 本节主要内容为“深度学习之计算机视觉——卷积神经网络工程实践技巧与注意点(上)”。卷积神经网络方面涉及的一些内容。卷积网络是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,对于大型图像处理有出色表现,其包括卷积层(alternating convolutional layer)和池层(pooling layer)。文章内容为斯坦福CS231N系列,供有兴趣的读者感受、学习。 斯坦福大学CS231N课程是深度学习与计算机视觉方面的经典
本文为斯坦福大学CS231N课程的中文视频第12课时,已获得斯坦福大学Andrej Karpathy教授的授权翻译与发表。大数据文摘作品,未经授权禁止转载,转载具体要求见文末。 大数据文摘&北邮模式识别实验室 联合制作 编者按: 本节课讲述了神经网络训练过程中会涉及的一些细节,包括各种激活函数(activation function)的功能和选择,神经网络权重的初始化方式,图像预处理,Batch Normalization,超参数的选择等相关内容。文章内容为斯坦福CS231N系列,供有兴趣的读者感受、学
· 编者按: 本节主要内容为“卷积神经网络的可视化与进一步理解(上)”。卷积神经网络方面涉及的一些内容。卷积网络是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,对于大型图像处理有出色表现,其包括卷积层(alternating convolutional layer)和池层(pooling layer)。文章内容为斯坦福CS231N系列,供有兴趣的读者感受、学习。 斯坦福大学CS231N课程是深度学习与计算机视觉方面的经典教程,业界评价很高。之前也有国内朋友做一些零星的翻译,为了与
机器之心报道 参与:机器之心编辑部 CS231n近几年一直是计算机视觉领域和深度学习领域最为经典的课程之一。而最近刚刚结课的CS231n Spring 2017 仍由李飞飞主讲,并邀请了Goodfellow等人对其中部分章节详细介绍。本课程从计算机视觉的基础概念开始,在奠定了基本分类模型、神经网络和优化算法的基础后,详细介绍了CNN、RNN、GAN、RL等深度模型在计算机视觉上的应用。前天,斯坦福开放了该课程的全部视频,并且还有配套英文字幕。因此,CS231n 2017 春季课程包括 PPT 和视频在内的所
目标检测和深度学习 入门学习 计算机视觉:让冰冷的机器看懂这个多彩的世界 by 孙剑 [http://www.msra.cn/zh-cn/news/features/computer-vision-2
这篇文章将从3个角度:加权、模版匹配与几何来理解最后一层全连接+Softmax。掌握了这3种视角,可以更好地理解深度学习中的正则项、参数可视化以及一些损失函数背后的设计思想。
本文为斯坦福大学CS231N课程的中文视频第28课时,已获得斯坦福大学Andrej Karpathy教授的授权翻译与发表。大数据文摘作品,未经授权禁止转载,转载具体要求见文末。 大数据文摘&北邮模式识别实验室 联合制作 编者按: 本节主要内容为“深度学习之计算机视觉——视频检测与无监督学习(上)”。本课介绍了视频物体检测与动作检测,卷积神经网络的变种与循环神经网络结合。后半部分对无监督学习进行了一定的讲解,包括自编码与生成对抗网络。文章内容为斯坦福CS231N系列,供有兴趣的读者感受、学习。 斯坦福大学C
大数据文摘作品 在刚刚过完的7天年假里,大数据文摘和184位小伙伴一起学习了吴恩达《Deep Learning Specialization》和李飞飞《CS231n:Convolutional Neural Networks for Visual Recognition》部分课程,点击这里查看第一期打卡精彩笔记。 经过一周短暂的休整和总结,第二期课程打卡学习活动开启啦! 先来看看第一期大家提交的精彩笔记: 加入我们,将有机会和笔记分享者一起学习哦。 当然,免费为大家提供学习机会的文摘菌也希望大家的学习可以真
最近因为一些需要,参与了一些CNN建模调参的工作,出于个人习性,我并不习惯于通过单纯的trial-and-error的方式来调试经常给人以”black-box”印象的Deep Learning模型,所以在工作推进过程中,花了一些时间去关注了深度学习模型调试以及可视化的资料(可视化与模型调试存在着极强的联系,所以在后面我并没有对这两者加以区分),这篇文章也算是这些工作的一个阶段性总结。 这里总结的内容,对于模型高手来说,应该说都是基本的know-how了。 我本人是计算机体系结构专业出身,中途转行做算法策略,所以实际上我倒是在大规模机器学习系统的开发建设以及训练加速方面有更大的兴趣和关注。不过机器学习系统这个领域跟常规系统基础设施(比如Redis/LevelDB以及一些分布式计算的基础设施等)还有所区别,虽然也可以说是一种基础设施,但是它跟跑在这个基础设施上的业务问题有着更强且直接的联系,所以我也会花费一定的精力来关注数据、业务建模的技术进展和实际问题场景。 说得通俗一些,对自己服务的业务理解得更清晰,才可能设计开发出更好的算法基础设施。 另外在进入文章主体之前想声明的是,这篇文章对于Deep Learning的入门者参考价值会更高,对于Deep Learning老手,只期望能聊作帮助大家技术总结的一个余闲读物而已。 文章的主要内容源于Stanford CS231n Convolutional Neural Networks for Visual Recognition课程[1]里介绍的一些通过可视化手段,调试理解CNN网络的技巧,在[1]的基础上我作了一些沿展阅读,算是把[1]的内容进一步丰富系统化了一下。限于时间精力,我也没有能够把里面提到的所有调试技巧全部进行尝试,不过在整理这篇文章的时候,我还是参考了不止一处文献,也结合之前以及最近跟一些朋友的技术交流沟通,对这些方法的有效性我还是有着很强的confidence。 1.Visualize Layer Activations 通过将神经网络隐藏层的激活神经元以矩阵的形式可视化出来,能够让我们看到一些有趣的insights。 在[8]的头部,嵌入了一个web-based的CNN网络的demo,可以看到每个layer activation的可视化效果。
本文解决的主要问题就是对函数进行求偏导,具体来说就是给出一些函数 ,这里的 是输入向量,我们需要计算出函数 关于 的偏导。我们之所以需要解决这一问题,是因为在特定情况下,神经网络的损失函数就是需要求导的函数 ,而训练集的数据和神经网络的权重就是输入 。比如SVM分类器,我们需要求解的就是损失函数关于权重 和偏置项 的偏导数,得到偏导数后我们才能据此来更新参数。同时,在之后我们将会了解到,梯度对于模型的可视化和可解释性也是十分重要的。
来源:towardsdatascience.com 编译:马文 【新智元导读】在大约6个月的时间里,学习、跟踪和参与到深度学习state-of-the-art的工作中是完全可能的。实现这一目标只需5个步骤,本文带来详细介绍。 必备条件 你愿意在接下来的6个月每周花费10-20小时 你已经有一些编程技能。在学习过程中,你应该能够轻松学会Python,以及云的知识(假设没有Python和云的背景)。 已经接受过一些数学教育(代数、几何等)。 能够访问互联网和使用计算机。 6个月,循序渐进5个步骤掌握深度学习 第
Lecture 2:图像分类——包括数据驱动(data-driven)方法,K 近邻方法(KNN)和线性分类(linear classification)方法
选自Stanford 作者:李飞飞等 机器之心编译 参与:Smith、蒋思源 斯坦福大学的课程 CS231n (Convolutional Neural Networks for Visual Recognition) 作为深度学习和计算机视觉方面的重要基础课程,在学界广受推崇。今年 4 月,CS231n 再度开课,全新的 CS231n Spring 2017 仍旧由李飞飞带头,带来了很多新鲜的内容。今天机器之心给大家分享的是其中的第八讲——深度学习软件(Deep Learning Software)。主
导语:按照惯例,主推文只能推送内容相关的东西,但是今天同日推文里有一个很有趣的文章,大家有兴趣的不妨移步去一探究竟! AI科技评论按:作者杨军,从事大规模机器学习系统研发及应用相关工作。本文整理自知乎,已获作者授权。 本文将分享一些自己关于深度学习模型调试技巧的总结思考(以CNN为主)。 最近因为一些需要,参与了一些CNN建模调参的工作,出于个人习性,我并不习惯于通过单纯的trial-and-error的方式来调试经常给人以”black-box”印象的Deep Learning模型。所以在工作推进过程中,
本文将分享一些自己关于深度学习模型调试技巧的总结思考(以CNN为主)。 最近因为一些需要,参与了一些CNN建模调参的工作,出于个人习性,我并不习惯于通过单纯的trial-and-error的方式来调试经常给人以”black-box”印象的Deep Learning模型。所以在工作推进过程中,花了一些时间去关注了深度学习模型调试以及可视化的资料(可视化与模型调试存在着极强的联系,所以在后面我并没有对这两者加以区分),这篇文章也算是这些工作的一个阶段性总结。 这里总结的内容,对于模型高手来说,应该说都是基本的k
尽管 NumPy 不能利用 GPU 的并行计算能力,但利用它可以清晰了解底层的数值计算过程,这也许就是为什么 CS231n 等课程最开始都要求使用 NumPy手动实现深度网络的原因吧。
社长将每周为你推荐来自AI研习社问答社区的精华问答。如有你也有问题,欢迎进社区提问。 一个小介绍: 社区目前主要功能是问答和博客,支持文字、图片、视频、代码、公式、超链接,这些功能可以让你在描述问题/
大数据文摘&北邮模式识别实验室 联合制作 编者按: 本节主要内容为“卷积神经网络的可视化与进一步理解(下)”。卷积神经网络方面涉及的一些内容。卷积网络是一种前馈神经网络,它的人工神经元可以响应一部分覆
前言 神经网络中的权重(weight)初始化是个常常被忽略的问题。 最近在手写一个Python的神经网络库(GitHub:hamaa——https://github.com/monitor1379/hamaa),刚开始为了测试代码是否写对,搭建了一个2->4->2的单隐层神经网络来拟合异或运算,拟合结果十分完美。但是在做MNIST手写数字识别,将网络扩展到了784->100->10时,发现损失函数一直不下降,训练准确率一直停留在10%左右(和随机猜的命中概率一样嘛)。 一直以为是back propagat
晓查 发自 凹非寺 量子位 报道 | 公众号 QbitAI “GPT并不是一个复杂的模型。” 前OpenAI科学家、现任特斯拉AI总监的Andrej Karpathy在自己的GitHub项目里这样写道。 Karpathy这样说是有底气的,因为他自己只用大约300行PyTorch代码就实现了一个“小型GPT”——minGPT。该项目上线3天以来,已经收获了3.3k星。 “万能”的NLP模型GPT-3这一个月来已经刷爆社交网络,不过1750亿个参数对算力的超高要求也让人望而却步。 但是在Karpathy看来
领取专属 10元无门槛券
手把手带您无忧上云