但在众多收录的论文中，一篇名为《 “Low-Resource” Text Classification: A Parameter-Free Classification Method with Compressors 》的论文开始引起大家热议。这篇论文由滑铁卢大学、 AFAIK 机构联合完成，但既不是获奖论文更不是主会议论文。
导读： 本文全面概述了深度神经网络的压缩方法，主要可分为参数修剪与共享、低秩分解、迁移/压缩卷积滤波器和知识精炼，本论文对每一类方法的性能、相关应用、优势和缺陷等进行独到的分析。机器之心简要介绍了该论文，更详细的内容请查看原论文。 大型神经网络具有大量的层级与结点，因此考虑如何减少它们所需要的内存与计算量就显得极为重要，特别是对于在线学习和增量学习等实时应用。此外，近来智能可穿戴设备的流行也为研究员提供了在资源（内存、CPU、能耗和带宽等）有限的便携式设备上部署深度学习应用提供了机会。高效的深度学习方法可以
前一篇带来了清华唐杰老师的分享“图神经网络及认知推理总结和普及”或“Graph Neural Networks and Applications—A Review”。这篇文章将介绍作者溯源的工作，从二进制代码和源代码两方面实现作者去匿名化或识别。这是两篇非常经典的安全论文，希望您喜欢。一方面自己英文太差，只能通过最土的办法慢慢提升，另一方面是自己的个人学习笔记，并分享出来希望大家批评和指正。希望这篇文章对您有所帮助，这些大佬是真的值得我们去学习，献上小弟的膝盖~fighting！
选自arXiv 作者：Yu Cheng等 机器之心编译 参与：蒋思源、路雪、刘晓坤 本文全面概述了深度神经网络的压缩方法，主要可分为参数修剪与共享、低秩分解、迁移/压缩卷积滤波器和知识精炼，本论文对每一类方法的性能、相关应用、优势和缺陷等进行独到的分析。机器之心简要介绍了该论文，更详细的内容请查看原论文。 大型神经网络具有大量的层级与结点，因此考虑如何减少它们所需要的内存与计算量就显得极为重要，特别是对于在线学习和增量学习等实时应用。此外，近来智能可穿戴设备的流行也为研究员提供了在资源（内存、CPU、能耗和
今天为大家介绍的是哈尔滨工业大学计算机科学与技术学院臧天仪教授等人发表在Briefings in Bioinformatics上的文章“Identifying drug–target interactions based ongraph convolutional network and deep neural network”。识别新的药物靶点相互作用(DTIs)是药物发现中一个重要但耗时且昂贵的步骤。然而，现有的方法大多是分别构建药物网络和靶点网络，然后根据已知的药物和靶点之间的关联来预测新的DTI，而没有考虑药物-蛋白质对之间的关联(DPP)。为了将DPP纳入到DTI建模中，本文构建了一个基于多种药物和蛋白质的DPP网络，以DPP为节点，DPP之间的关联为网络的边缘。然后，提出了一个新的基于深度学习的框架：图卷积网络DTI预测框架(GCN-DTI)用于新的药物-靶点相互作用识别。
脑机接口能够通过脑电图(EEG)信号与设备进行通信。有实验提出了一种使用EEG波的新算法，通过眨眼和注意力水平信号来控制无人机的运动。通过使用支持向量机算法对眨眼进行分类和通过人工神经将其转换为4位代码网络。线性回归方法用于将注意力分类为低级别或高级别一个动态阈值，产生一个1位代码。算法中的运动控制结构为两个控制层。第一层提供控制眨眼信号，第二层同时包含眨眼信号并感知注意力水平。提取脑电信号并使用单通道NeuroSkyMindWave2设备进行处理。所提出的算法已经通过对五个不同年龄的个体的实验测试得到验证。结果表明它的高性能与现有算法相比，精度为91.85%用于9个控制命令。具有以下能力多达16个命令及其高精度，该算法可以适用于许多应用。
论文地址：https://arxiv.org/abs/2007.13816.pdf
选自Nextplatform 作者：Linda Barney 参与：李泽南、晏奇、黄小天、吴攀 FPGA 会随着深度学习的发展占领 GPU 的市场吗？英特尔的研究人员对目前最好的两种芯片做了对比。 社交媒体和物联网正持续不断地以指数级方式产出语音、视频、图像等数字数据，这带动了对于数据分析（让数据变得可理解与可执行）的需求。数据分析经常依赖于机器学习（ML）算法。在众多机器学习算法中，深度卷积神经网络在重要的图像分类任务中具有当前最高的精确度，因而被广泛采用。 在最近的「2017 现场可编程门阵列国际大会（
本文来自知乎问题 关于在CNN中文本预测sigmoid分类器训练准确率的问题？中笔者的作答，来作为Keras中多标签分类器的使用解析教程。
我们实现的人类活动识别模型可以识别超过400类活动，其中准确率在78.4-94.5%之间（取决于任务类别）。 比如，活动类别的可包括：
机器之心报道 机器之心编辑部 来自康涅狄格大学等机构的研究者提出了一种基于结构剪枝的 BCNN 加速器，它能以较小的准确率损失获得 20 倍的剪枝率，并且在边缘设备上提供了超过 5000 帧 / 秒的推理吞吐量。 对于许多信号处理应用来说，能够从具有相位信息的复数数据中进行学习是必不可少的。当前实值深度神经网络（DNN）在潜在信息分析方面表现出了较高的效率，但在复数领域的应用还不够。而深度复数网络（Deep complex networks, DCN）可以从复数数据中学习，但计算成本较高，因此，这些技术都不
传统的图像检索过程，先通过人工对图像进行文字标注，再利用关键字来检索图像，这种依据图像描述的字符匹配程度提供检索结果的方法，称为“以字找图”(text-based image retrieval)，既耗时又主观多义。如今每一秒都有数百万图片通过各种渠道上传到各种大规模存储设备中。给定一张查询图片，快速从百万量级的图像数据库中通过图像特征来找出内容相近的一定数量的图片，这种任务被称为“基于内容的图像检索”(content-based image retrieval (CBIR))，是目前非常流行的研究方向。
1. 简介 移动视觉搜索技术是多媒体搜索领域中一个前沿的研究课题。近年来，移动设备的飞速发展，改变了互联网上图像和视频等视觉内容的产生，以及人们检索和观看的方式。移动设备的便携性和无处不在的网络接入能力使其逐渐成为主要的互联网图像和视频内容的访问和查询入口。而移动设备上丰富的传感器原件，也使得移动视觉搜索的过程更加自然、有效——用户可以直接通过拍摄图像和视频进行搜索。因此，移动视觉搜索具有巨大的市场需求和应用前景。但是，不同于传统的桌面搜索，移动视觉搜索主要面临如下挑战：1）查询图像\视频受拍摄环境干扰严重
几十年来，旨在模仿大脑行为的神经形态计算已得到广泛发展。人工神经网络（ANN）是人工智能（AI）中一个重要的概念，在识别和分类任务上取得了出色的性能。为了在硬件上更好地模拟大脑的行为，研究人员开发了一种既快速又节能的新方法——神经形态计算。
深度神经网络（DNN）推动了许多机器学习任务的发展，包括语音识别、视觉识别、语言处理。BigGan、Bert、GPT2.0取得的近期进展表明，DNN模型越大，其在任务中的表现越好。视觉识别领域过去取得的进展也表明，模型大小和分类准确率之间存在很强的关联。例如，2014年ImageNet视觉识别挑战赛的冠军GoogleNet以400万的参数取得了74.8%的top-1准确率，但仅仅过了三年，冠军的宝座就被Squeeze-and-ExcitationNetworks抢去，后者以1.458亿（前者的36倍还多）的参数量取得了82.7%的top-1准确率。然而，在这段时间里，GPU的内存只提高了3倍左右，当前最优的图像模型却已经达到了谷歌云 TPUv2的可用内存。因此，我们急需一个能够实现大规模深度学习并克服当前加速器内存局限的可扩展高效架构。
该期我们将从DNN入手开始学习TensorFlow方面的相关知识。学习的路上，我们多多交流，共同进步。本期主要内容如下： 从生物学到人工神经网络 训练多层感知机 训练DNN 文末附本期代码关键字，回复关键字即可下载。 ---- 一. 从生物学到人工神经网络 鸟类启发我们飞翔，牛蒡植物启发魔术贴，而大自然激发了许多其他发明。 那么，大脑的体系结构，是激发人工神经网络（ANN）的关键思想。人工神经网络是深度学习的核心。 1.1 从生物到人工神经元 在讨论人造神经元之前，让我们快速看一下生物神经元，如下图所示。它
深度神经网络（DNN）推动了许多机器学习任务的发展，包括语音识别、视觉识别、语言处理。BigGan、Bert、GPT 2.0取得的近期进展表明，DNN模型越大，其在任务中的表现越好。视觉识别领域过去取得的进展也表明，模型大小和分类准确率之间存在很强的关联。例如，2014年ImageNet视觉识别挑战赛的冠军GoogleNet以400万的参数取得了74.8%的top-1准确率，但仅仅过了三年，冠军的宝座就被Squeeze-and-ExcitationNetworks抢去，后者以1.458亿（前者的36倍还多）的参数量取得了82.7%的top-1准确率。然而，在这段时间里，GPU的内存只提高了3倍左右，当前最优的图像模型却已经达到了谷歌云 TPUv2的可用内存。因此，我们急需一个能够实现大规模深度学习并克服当前加速器内存局限的可扩展高效架构。
今天带来的这篇推送，估计您有读过或试验过，但是为了让更多的科研学者知道这么“牛”的内容知识，接下来就开始说说今天的主题——1000000类的快速精确检测。 注：内容选于dengyafeng的博客 ---- 今天的主题最引起关注的是“1000000类”，比Base Line快了将近2000倍。但是任何一个好的东西都会有美中不足之处，之后我们在讨论其缺陷。 今天说的这个模型主要优势在于速度快，具体就是对于多类检测问题，检测速度可以做到和类别数目无关。 对于包含C类的物体检测而言，一个基本的框架是，训练C个分类器
物联网 (IoT) 是由数量和复杂性呈指数增长的设备组成的，在使用大量定制的固件和硬件的同时，制造者却很难全面地考虑到安全问题，这使 IoT 很容易成为网络犯罪的目标，尤其是那些恶意软件攻击。
最近，像 GPT-3 这样基于 Transformer 的深度学习模型在机器学习领域受到了很多关注。这些模型可以很好地理解语义关系，帮助微软必应搜索引擎大幅提升了体验，并在 SuperGLUE 学术基准测试上超越了人类水平。但是，这些模型可能无法捕获查询和文档术语之间更细微的、超出单纯语义的关系。
今天给大家介绍的是由波兰科学院Bartosz A. Grzybowski课题组发表在“Nature Machine Intelligence”上的一篇文章“Minimal-uncertainty prediction of general drug-likeness based on Bayesian neural networks”。
尽管大模型非常强大， 但是解决实践的问题也可以不全部依赖于大模型。一个不太确切的类比，解释现实中的物理现象，未必要用到量子力学。有些相对简单的问题，或许一个统计分布就足够了。对机器学习而言， 也不用言必深度学习与神经网络，关键在于明确问题的边界。
【新智元导读】英特尔加速器架构实验室的Eriko Nurvitadhi 博士以最新的 GPU 为参照，对两代 Intel FPGA 上新兴的DNN算法进行了评估，认为新兴的低精度和稀疏DNN算法效率较之传统的密集FP32 DNN有巨大改进，但是它们引入了GPU难以处理的不规则并行度和定制数据类型。相比之下，FPGA正是设计用于在运行不规则并行度和自定义数据类型时实现极端的可定制性的。这样的趋势使未来FPGA成为运行DNN、AI和ML应用的可行平台。 来自社交媒体和互联网的图像、视频和语音数字数据的持续指数
无人驾驶空中系统（UAS）在过去十年中被广泛应用，尽管 UAS 最早被应用在军事上，事实证明，它们在很多其它领域都是有用的，包括农业、地理制图、航空摄影、搜索和救援等。然而这些系统都需要一个人循环完成远程控制、场景识别和数据获取。这不仅增加了操作成本，而且将应用范围极大程度上限制在了能够进行远程控制的应用范围内。
近日，在NeurIPS 2020正式发布的论文入选名单中，腾讯安全科恩实验室聚焦解决二进制安全问题的《CodeCMR: Cross-Modal Retrieval For Function-Level Binary Source Code Matching》，凭借首次提出基于AI的二进制代码/源代码端到端匹配算法的创新研究入选。
深度神经网络在具备大量参数、使用大量正则化和噪声时效果很好，如权重衰减和 dropout [1]。尽管 dropout 的首次成功与卷积网络相关，但近期的卷积架构很少使用 dropout [3–10]。大部分情况下，dropout 主要用于卷积网络的全连接层。
选自arXiv 作者：Ziang Yan等 机器之心编译 参与：刘晓坤、黄小天 本文提出了一个名为 DeepDefense 的训练方案，其核心思想是把基于对抗性扰动的正则化项整合进分类目标函数，从而使模型可以学习直接而精确地防御对抗性攻击。在 MNIST、CIFAR-10 和 ImageNet 上的扩展实验证明了该方法可以显著提高不同深度学习模型对高强度对抗攻击的鲁棒性，同时还不会牺牲准确率。 虽然深度神经网络（DNN）在许多挑战性的计算机视觉任务中都取得了当前最优的表现，但在对抗样本（在人类感知上和真实图
混淆矩阵是一个表，经常用来描述分类模型(或“分类器”)在已知真实值的一组测试数据上的性能。混淆矩阵本身比较容易理解，但是相关术语可能会令人混淆。
第二篇则是利用强化学习自动寻找在特定 latency 标准上精度最好的量化神经网络结构，它分别为网络的每一层搜索不同 bit 的权值和激活，得到一个经过优化的混合精度模型。两篇文章的相同之处在于，都直接从特定的硬件获得反馈信息，如 latency，energy 和 storage，而不是使用代理信息，再利用这些信息直接优化神经网络架构 (或量化 bit 数) 搜索算法。这也许会成为工业界未来的新范式。
春恋慕阅读西安电子科技大学陈鹏飞的论文 用于大规模图像检索的深度哈希网络研究 李聪的技术博客
不久前，人工智能顶会 NeurIPS 2020 放出接收论文列表，论文接收率创历史新低。而腾讯安全科恩实验室使用 AI 算法解决二进制安全问题的一项研究《CodeCMR: Cross-Modal Retrieval For Function-Level Binary Source Code Matching》成功入选。
【新智元导读】计算机图像计算水平稳步的增长，但各大厉害的模型尚未得到合理应用。在这篇 ICLR 2017 提交论文《深度神经网络模型分析在实践中的应用》中，作者从精确度、内存占用、参数、推理时间和功耗等方面分析比较 ImageNet 历届冠军架构，为有效设计及应用深度神经网络提供了最新的分析资料。 （文／Alfredo Canziani 等）深度神经网络自出现以来，已经成为计算机视觉领域一项举足轻重的技术。其中，ImageNet 图像分类竞赛极大地推动着这项新技术的发展。精确计算水平取得了稳步的增长，但颇具
【新智元导读】ImageNet 图像分类竞赛极大地推动了深度学习在计算机视觉领域的应用，《深度神经网络模型分析在实践中的应用》这篇论文从精确度、内存占用、参数、推理时间和功耗等方面对 ImageNet 获胜架构进行评析，并得出结论：（1）功耗与批量大小和架构无关；（2）准确性和推理时间呈双曲关系；（3）能量约束是最大可实现精度和模型复杂度的上限；（4）通过操作次数可以可靠评估推理的时间。 论文下载地址：https://arxiv.org/pdf/1605.07678v3.pdf （文／Alfredo Ca
前一篇介绍英文论文审稿意见及应对策略的学习笔记，参考各位老师的学习和回答。这篇文章将翻译及分享S&P2019的一篇文章《Neural Cleanse: Identifying and Mitigating Backdoor Attacks in Neural Networks》，介绍神经网络中的后门攻击识别与缓解。
注：本文选自中国水利水电出版社出版的《PyTorch深度学习之目标检测》一书，略有改动。经出版社授权刊登于此。
阅读原文有学习资源分享。 导语：FPGA 在加速下一代深度学习方面能击败GPU吗？ 许多图像、视频和语音来自社交媒体和物联网等数据源，这些内容的数字数据继续急剧增长，从而促使企业界需要分析技术让这些数据易于理解、具有实用性。 数据分析常常依赖机器学习算法。在诸多机器学习算法中，深度卷积神经网络（DNN）为重要的图像分类任务提供了最高的准确度，因而得到了广泛采用。 在可编程门阵列国际研讨会（ISFPGA）上，来自英特尔加速器架构实验室（AAL）的埃里科·努维塔蒂（Eriko Nurvitadhi）博士介绍了
假设这样一种情况，你对一个样本不均匀的数据集做了一段时间的处理，在这期间你用其中一部分数据做试验，测试了n种机器学习方法，然后喜闻乐见的发现每次的准确率都高达95%。你觉得这95%的准确率真的是实至名归吗？
腾讯安全科恩实验室《Order Matters: Semantic-Aware Neural Networks for Binary Code Similarity Detection》论文入选人工智能领域顶级学术会议AAAI-20。研究核心是利用AI算法解决大规模二进制程序函数相似性分析的问题，本文将深入对该论文进行解读，点击链接获取完整论文。
AI 科技评论按：语言词汇的多义性已经是一个越发让人头疼的问题。比如女生对男朋友说：「生日礼物我想要MAC」，本来心怀期待地揣测他买来的唇彩会是什么色，结果收到的可能是一台苹果笔记本电脑…… 苹果电
点击上方↑↑↑“OpenCV学堂”关注我来源：公众号 量子位 授权 比深度神经网络速度还快的是什么？ 或许光子DNN可以回答这个问题。 现在，美国研究者开发的一个光子神经网络 (photonic deep neural network，PDNN)，让图像识别仅需1纳秒。 1纳秒是什么概念？它等于10-9秒，这与最先进的微芯片单时钟周期（最小的时间单位）相当。 此外，研究者测试发现，PDNN对图像进行2分类和4分类的准确率分别高达93.8%和89.8%。 诚然，如今的大型多层神经网络高效且运算能力很强，但
随着 AI 的不断研究和发展，各类 AI 算法在不同场景中的应用层出不穷，关于 AI 及其在日常任务中支持甚至取代人类工作的能力的讨论无处不在。例如，在自动驾驶领域，尽管在目前的条件下自动汽车还不能完全替代人类，但关于何时能够完全取代人类驾驶员的问题仍然受到了高度关注。从长远来看，使用 AI 替代人类并非不可能，但是这种替代是否能在所有工作场景中实现？
选自arxiv 作者：Joel Emer等 机器之心编译 深度神经网络（DNN）所代表的人工智能技术被认为是这一次技术变革的基石（之一）。近日，由 IEEE Fellow Joel Emer 领导的一个团队发布了一篇题为《深度神经网络的有效处理：教程和调研（Efficient Processing of Deep Neural Networks: A Tutorial and Survey）》的综述论文，从算法、模型、硬件和架构等多个角度对深度神经网络进行了较为全面的梳理和总结。鉴于该论文的篇幅较长，机器之
作者：Krzysztof Pałczyński翻译：王闯（Chuck）校对：zrx 本文约1800字，建议阅读8分钟本文介绍了如何在小数据集上应用特征工程来提高机器学习模型的性能。 标签：数据科学、机器学习、特征工程 特征工程可以弥补数据的不足。 图片源自Unsplash，由Thomas T上传 在快速发展的人工智能 (AI) 世界中，数据已成为无数创新应用和解决方案的命脉。实际上，大型数据集通常被认为是训练强大且准确的 AI 模型的支柱。但是，当手头的数据集相对较小时该怎么办呢？在本文中，我们将探讨特
2018 IEEE International Conference on Cluster Computing
通用语言理解评估基准（GLUE）是用于评估和分析多种已有自然语言理解任务的模型性能的工具，模型基于在所有任务的平均准确率进行评估。WNLI（Winograd 自然语言推理）数据集是是 GLUE 中的一个数据集，它是来自（Levesque et al., 2011）的小型自然语言推理数据集。
近年来，计算密集型的人工智能任务推动了各种用于高效运行这些强大的新型系统的定制化硬件的出现。我们采用浮点运算来训练深度学习模型，如 ResNet-50 卷积神经网络。但是，由于浮点数十分消耗资源，真正部署的人工智能系统通常依赖于使用 int8/32 数学运算的少数几个流行的整型量化技术。
由计算机科学和人工智能创始人Allen Newell、Marvin Minsky 和John McCarthy等人首创的AAAI，被中国计算机学会(CCF)推荐为A类会议。本次大会共有7737篇进入评审，其中共有1591篇被录用，录用率为20.6%。
逻辑回归、支持向量机等机器学习算法可以对二元数据集进行分类，但是无法处理超过 2 个目标类标签的多类分类任务。对于多类分类或多标签分类任务，我们需要使用某些技巧或者其他机器学习算法来训练数据集。
生物学家们发现，人类的单个神经元也可以进行异或（XOR）运算，效率远高于我们现在的人工神经网络（ANN）。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
