随着神经网络的尺寸和训练数据的持续增长，人们对分布式计算的需求也逐渐增大。在深度学习中实现分布式并行的常用方式是使用数据并行方法，其中数据被分配进不同进程中，而模型在这些进程中重复。当每个模型的 mini-batch 大小保持不变，以增加计算/通信比时，整个系统上的 mini-batch 大小会随着进程数量成比例增长。
对模型进行训练后，测试集测试的结果与真实值之间的占比称为准确率，准确率往往是评估网络的一个重要指标。而用同一数据集训练神经网络，每次训练得到的准确率结果却不一样并且准确率都较低，最高仅67%，那如何才能提高训练后的准确率呢？
深度神经网络（DNN）如今已经无处不在，从下围棋到打星际，DNN已经渗透到图像识别、图像分割、机器翻译等各种领域，并且总是表现惊艳。
deepfake，视频造假神器，把一个人的脸庞，转移到另一个的身上，让假新闻轻松传播到全网。
近年来，深度学习方法的快速发展使得无需任何特征工程的端到端学习成为可能，这有利于BCI运动想象应用的发展。慕尼黑工业大学和澳大利亚研究发展团队(Research and Development, Integrated Research, Sydney 2060) 在论文中将深度学习方法与传统分类算法在数据集上进行了验证比较。
运行速度和算力一直是制约深度学习模型发展的瓶颈。研究人员一直在研究如何能够进一步提升模型的训练和推断速度，并减少对硬件性能的依赖。今日，一位名为 David Page 的 myrtle.ai 科学家和他的团队对 ResNet 训练进行了一系列改造，将在单 GPU 上训练 CIFAR10 数据集并达到 94% 准确率所需的时间减少到了 26 秒，比 DAWNBench 排行榜现在的第一名高了 10 秒以上。这一项目获得了 Jeff Dean 的点赞。
上一节我们完成了 KNN 算法理论的学习，同时还手动写了一个简易版的 KNN 分类器。今天我们来进行 KNN 的实战，看看如何通过 KNN 算法来解决生活中的问题。
点击率预估用来判断一条广告被用户点击的概率，对每次广告的点击做出预测，把用户最有可能点击的广告找出来，是广告技术最重要的算法之一。
当你为某个分类问题建立了一个模型时，一般来说你会关注该模型的所有预测结果中正确预测的占比情况。这个性能指标就是分类正确率。
这个数据集可以追溯到1988年，由四个数据库组成。克利夫兰、匈牙利、瑞士和长滩。"目标 "字段是指病人是否有心脏病。它的数值为整数，0=无病，1=有病。
这个数据集可以追溯到1988年，由四个数据库组成。克利夫兰、匈牙利、瑞士和长滩。"目标 "字段是指病人是否有心脏病。它的数值为整数，0=无病，1=有病 。
这个数据集可以追溯到1988年，由四个数据库组成。克利夫兰、匈牙利、瑞士和长滩。"目标 "字段是指病人是否有心脏病。它的数值为整数，0=无病，1=有病
本篇文章主要记录对之前用神经网络做文本识别的初步优化，进一步将准确率由原来的65%提高到80%，这里优化的几个方面包括： ● 随机打乱训练数据 ● 增加隐层，和验证集 ● 正则化 ● 对原数据进行PCA预处理 ● 调节训练参数（迭代次数，batch大小等） 随机化训练数据 观察训练数据集，发现训练集是按类别存储，读进内存后在仍然是按类别顺序存放。这样顺序取一部分作为验证集，很大程度上会减少一个类别的训练样本数，对该类别的预测准确率会有所下降。所以首先考虑打乱训练数据。 在已经向量化的训练数据的基础上打乱
这是首次利用人工智能从X光图像中识别心律装置的研究。对于从未见过的图像，AI识别设备制造商的准确率为99.6%，对应的专家识别准确率为62.3%到88.9%。
首先小小的庆祝一下自己的微信公众号订阅用户已达到100人了，是小小的虚荣心也是收获也是鞭策，希望自己砥砺前行，努力进步，做到更好。
当然这只是个玩笑。公众号力求有关量化策略的文章都配代码，这样。可以让大家亲自动手去学习研究。
这是一个来自 LyftLevel5 的自动驾驶汽车研究和实践案例，通过结合多种感知传感器，来实现更准确的 3D 检测（如汽车，行人，骑自行车的人等）。
作为一名合格的算法工程师，调参的技巧必不可少，接下来将有三篇关于如何调整学习率的文章分享，会设计到大量的图片，篇幅较长，希望大家能耐心读完，也不辜负我辛辛苦苦翻译过来，由于本人自身水平有限，如果有地方翻译的不够准确或不当还请原谅～
在统计学和机器学习领域，集成方法（ensemble method）使用多种学习算法以获得更好的预测性能（相比单独使用其中任何一种算法）。和统计力学中的统计集成（通常是无穷集合）不同，一个机器学习集成仅由一个离散的可选模型的离散集合组成，但通常拥有更加灵活的结构 [1]。 GitHub 地址：https://github.com/LawnboyMax/keras_ensemblng 使用集成的主要动机是在发现新的假设，该假设不一定存在于构成模型的假设空间中。从经验的角度看，当模型具有显著的多样性时，集成方法倾
要求：使用10-fold交叉验证方法实现SVM的对人脸库识别，列出不同核函数参数对识别结果的影响，要求画对比曲线。 使用Python完成，主要参考文献【4】，其中遇到不懂的功能函数一个一个的查官方文档和相关资料。其中包含了使用Python画图，遍历文件，读取图片，PCA降维，SVM，交叉验证等知识。 0.数据说明预处理 下载AT&T人脸数据（http://www.cl.cam.ac.uk/research/dtg/attarchive/facedatabase.html），解压缩后为40个文件夹，每个文
索尼的研究人员宣布了训练ImageNet / ResNet 50的新纪录，通过使用2100个NVIDIA Tesla V100 Tensor Core GPU，仅用224秒（3分44秒）就可以获得75％的准确率，对于ResNet-50来说这是训练时间是最短的。
BERT在Argument Reasoning Comprehension Task(ARCT)任务上的准确率是77%，这比没受过训练的人只底3个百分点，这是让人惊讶的好成绩。但是我们(论文作者)发现这么好的成绩的原因是BERT模型学习到了一些虚假相关的统计线索。我们分析了这些统计线索，发现很多其它的模型也是利用了这些线索。所以我们提出了一种方法来通过已有数据构造等价的对抗(adversarial)数据，在对抗数据下，BERT模型的效果基本等价于随机的分类器(瞎猜)。
作者：Sebastian Raschka 翻译：reason_W 编辑：周翔 简介 正确使用模型评估、模型选择和算法选择技术无论是对机器学习学术研究还是工业场景应用都至关重要。本文将对这三个任务的相关技术进行回顾，并就每种技术的理论和实证研究的主要优缺点进行讨论。文章还将就机器学习算法中的超参数调优给出尽可能的建议，用以实现最佳的算法效果。文中内容涉及很多常用方法，比如模型评估和选择中的Holdout方法等；介绍了bootstrap技术的不同变体，通过正态逼近得到置信区间来衡量性能估计（performa
选自GitHub 作者：Sylvain Gugger 机器之心编译 参与：Tianci LIU、思源 深度模型中的学习率及其相关参数是最重要也是最难控制的超参数，本文将介绍 Leslie Smith 在设置超参数（学习率、动量和权重衰减率）问题上第一阶段的研究成果。具体而言，Leslie Smith 提出的 1cycle 策略可以令复杂模型的训练迅速完成。它表示在 cifar10 上训练 resnet-56 时，通过使用 1cycle，能够在更少的迭代次数下，得到和原论文相比相同、甚至更高的精度。 通过采用
今天给大家介绍的是nature communications上有关化学反应实验步骤预测的文章 "Inferring experimental procedures from text-based representations of chemical reactions"。
纸单拣选，RF拣选，语音拣选，电子标签拣选，Carousel拣选，Miniload拣选，AutoStore，Kiva，Multi-Shuttle等等，各种拣货技术从本质上来说无所谓好坏之分，其关键点在于成本与效率或效益的匹配，换句话说就是投入和产出的匹配度如何。
卷积网络接收(image_height,image_width,image_channels)形状的张量作为输入(不包括batch size)。MNIST中，将图片转换成(28,28，1)形状，然后在第一层传递input_shape参数。 显示网络架构
一、问题描述 当我们在处理图像识别或者图像分类或者其他机器学习任务的时候，我们总是迷茫于做出哪些改进能够提升模型的性能（识别率、分类准确率）。。。或者说我们在漫长而苦恼的调参过程中到底调的是哪些参数。。。所以，我花了一部分时间在公开数据集 CIFAR-10 [1] 上进行探索，来总结出一套方法能够快速高效并且有目的性地进行网络训练和参数调整。 CIFAR-10 数据集有 60000 张图片，每张图片均为分辨率为 32*32 的彩色图片（分为 RGB3 个信道）。CIFAR-10 的分类任务是将每张图片分
七期飞跃计划还剩5个名额，联系小编，获取你的专属算法工程师学习计划（联系小编SIGAI_NO1）
神经网络不光不可解释，现在连神经元都不能相信了！甚至可以在神经网络中隐藏一个恶意软件。
今天我们来读一篇来自国信证券研究文章 RNN简介 RNN 不同于传统神经网络的感知机的最大特征就是跟时间挂上钩，即包含了一个循环的网络，就是下一时间的结果不仅受下一时间的输入的影响，也受上一时间输出的影响，进一步地说就是信息具有持久的影响力。放在实际中也很容易理解，人们在看到新的信息的时候产生的看法或者判断，不仅仅是对当前信息的反应，先前的经验、思想的也是参与进去这次信息的推断的。人类的大脑 不是一张白纸，是包含许多先验信息的，即思想的存在性、持久性是显然的。举个例子，你要对某电影中各个时点发生的事件类
今天为大家介绍的是来自Kaiming He团队的一篇论文。在这个有着大规模、多样化且希望较少偏差的数据集以及更加强大的神经网络架构的新时代，作者重新审视了十年前Torralba和Efros提出的“数据集分类”实验。
AI科技评论按：ICLR 2017 总共有三篇最佳论文，其中有一篇是关于如何有效保护机器学习训练中的隐私数据，名为「用半监督知识迁移解决深度学习中训练数据隐私问题」（Semi-supervised Knowledge Transfer for Deep Learning from Private Training Data）。论文给出了一种通用性的解决方法，名为「教师模型全体的隐私聚合」（Private Aggregation of Teacher Ensembles/PATE）。该论文第一作者是 Nico
【新智元导读】计算机图像计算水平稳步的增长，但各大厉害的模型尚未得到合理应用。在这篇 ICLR 2017 提交论文《深度神经网络模型分析在实践中的应用》中，作者从精确度、内存占用、参数、推理时间和功耗等方面分析比较 ImageNet 历届冠军架构，为有效设计及应用深度神经网络提供了最新的分析资料。 （文／Alfredo Canziani 等）深度神经网络自出现以来，已经成为计算机视觉领域一项举足轻重的技术。其中，ImageNet 图像分类竞赛极大地推动着这项新技术的发展。精确计算水平取得了稳步的增长，但颇具
作者丨莓酊 编辑丨青暮 线性代数（linear algebra）是关于向量空间和线性映射的一个数学分支。 现代线性代数的历史可以上溯到19世纪中期的英国。1843年，爱尔兰数学家哈密顿发现四元数。1844年，赫尔曼·格拉斯曼发表他的著作《线性外代数》（Die lineare Ausdehnungslehre），包括今日线性代数的一些主题。1848年，詹姆斯·西尔维斯特引入矩阵（matrix）。阿瑟·凯莱在研究线性变换时引入矩阵乘法和转置的概念。很重要的是，凯莱使用一个字母来代表一个矩阵，因此将矩阵当做了聚
1. 权重的初始化 1.1 fine-tuning 神经网络的训练的有两种方式，第一种是自己从头到尾训练一遍；第二种是使用别人训练好的模型，然后根据自己的实际需求做改动与调整。后者我们叫做fine-tuning. 在model zoo有大量训练好的模型（不知道的可以百度一下model zoo) fine-tuning相当于站在巨人的肩膀上，使用别人已经训练好了的优秀的模型去实现自己的需求。一般分为以下两种调整方式： 1.只修改FC（全连接层），比如原来的模型是1000个类别，而你实际上只需要分2个类别，那
这一次，来自富士通的研究人员用上了 2048 块 GPU，以 81,920 的批量大小用 74.7 秒完成了 ResNet-50 训练。
为了能够评估模型的泛化能力，可以通过实验测试对学习器的泛化能力进行评估，进而做出选择。因此需要使用一个 "测试集" 来测试学习器对新样本的判别能力，以测试集上的 "测试误差" 作为泛化误差的近似。
不是说抽烟喝酒多了牙齿变黄这类的变化。而是说，相较于其他类型的面部整容或重建手术，对牙齿进行的手术干预频率会更高。
作者：Gabriel Moreira 编译：修竹、柳青秀、王梦泽、钱天培 在上周，文摘菌为大家介绍了资深数据科学家Gabriel参加Kaggle的Outbrain点击预测比赛的前半程经历（ 戳链接阅读 Kaggle大神带你上榜单Top2%：点击预测大赛纪实（上） ）。 这周，我们将继续听大神唠嗑，看他又在比赛冲刺阶段用到了哪些数据科学领域的知识技能。 作为全世界最知名的数据挖掘、机器学习竞赛平台，Kaggle早已成为数据玩家在学习了基础机器学习之后一试身手的练兵场。 在该系列的上半部分中，我介绍了Out
假设这样一种情况，你对一个样本不均匀的数据集做了一段时间的处理，在这期间你用其中一部分数据做试验，测试了n种机器学习方法，然后喜闻乐见的发现每次的准确率都高达95%。你觉得这95%的准确率真的是实至名归吗？
自闭症谱系障碍(ASD,Autism spectrum disorder )是一种神经发育障碍，患病率为1-2%。特别是在低资源环境中，对ASD的早期识别和诊断是一个重大挑战。因此，ASD迫切需要一种“语言自由、文化公平”，并且不需要专业人员参与的低成本筛选工具。在ASD和神经发育障碍中，EEG可用来寻找生物标记物。其中，关键挑战之一是确定适当的多元下一代分析方法（multivariate, next-generation analytical methodologies），这些方法可以描述大脑中复杂的非线性神经网络动态性，同时也考虑到可能影响生物标记物发现的技术和人口学混淆因素。开普敦大学儿童和青少年精神病科T. Heunis和P. J. de Vries等人在BMC Medicine杂志发文，评估定量递归分析（RQA，recurrence quantification analysis ）作为ASD潜在生物标记物的稳健性，并对一系列潜在的技术和人口混杂因素进行系统的方法学探索。
近年来，大量关于脑机接口（BCI）的研究发表。然而，现有的大多数研究中刺激目标数量还不够多，不适合许多实际应用。来自中科院半导体研究所的Sun等人使用4个31-bits的金氏码（gold codes）编码刺激目标，每个随机码循环移位1位产生30个目标，提出了一种基于120个刺激编码视觉诱发电位的脑机接口。实验过程中，利用滤波器组对脑电信号进行预处理，采用TRCA算法对刺激目标进行检测。此外，还考虑了渐进式扫描的影响，以提高脑电模板的时间精度。根据离线实验结果选择最佳的金氏码组合，通过在线实验对BCI系统性能进行评估。验证了该系统同时具有指令集大（120个刺激目标）、效率高（平均ITR为265.74 bits/min）和训练时间短（小于5 min）的优点。
作者：Gabriel Moreira 编译：修竹、柳青秀、王梦泽、钱天培 在上周，文摘菌为大家介绍了资深数据科学家Gabriel参加Kaggle的Outbrain点击预测比赛的前半程经历（戳链接阅读 Kaggle大神带你上榜单Top2%：点击预测大赛纪实（上））。 这周，我们将继续听大神唠嗑，看他又在比赛冲刺阶段用到了哪些数据科学领域的知识技能。 作为全世界最知名的数据挖掘、机器学习竞赛平台，Kaggle早已成为数据玩家在学习了基础机器学习之后一试身手的练兵场。 在该系列的上半部分中，我介绍了Outbra
（1）如果特征是离散型数据，比如文本这些，推荐使用多项式模型来实现。该模型常用于文本分类，特别是单词，统计单词出现的次数。
本文介绍了如何通过调参提高神经网络在CIFAR-10数据集上的性能，总结了本文的主要贡献和结论。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
