选自Medium 作者:Mark Feng 机器之心编译 参与:Jane W、蒋思源 本文利用 synaptic 库构建简单的神经网络,并在浏览器中实现训练过程。该神经网络可以和其他框架共同打造一款简单的推荐系统应用。这种在浏览器上训练的神经网络因为将计算任务分配到各个终端设备,所以服务器的压力大大降低。此外,在终端上训练的神经网络也大大保护了用户的隐私。机器之心对本文做了简要介绍,全部代码请查看 Github 项目地址。 项目地址:https://github.com/markselby9/ml-in-b
【新智元导读】深度学习的成功,使业内范式开始从特征设计转向架构设计。Google Brain 研究人员使用强化学习,从头开始生成神经网络架构。【论文地址:https://arxiv.org/pdf/1
图神经网络算法将深度神经网络的运算(如卷积、梯度计算)与迭代图传播结合在一起:每个顶点的特征都是由其邻居顶点的特征结合一组深度神经网络来计算。
训练深层模型是长期以来的难题,近年来以层次化、逐层初始化为代表的一系列方法的提出给训练深层模型带来了希望,并在多个应用领域获得了成功。深层模型的并行化框架和训练加速方法是深度学习走向实用的重要基石,已有多个针对不同深度模型的开源实现,Google、Facebook、百度、腾讯等公司也实现了各自的并行化框架。深度学习是目前最接近人脑的智能学习方法,深度学习引爆的这场革命,将人工智能带上了一个新的台阶,将对一大批产品和服务产生深远影响。 1.深度学习的革命 人工智能(Artificial Intelligen
本文为CSDN原创编译文章,禁止转载。 【编者按】深度学习尽管对当前人工智能的发展作用很大,然而深度学习工作者并非一帆风顺。Chris Edwards发表于Communications of the ACM的这篇文章,通过不同的深度学习研究人员的现身说法,列举了深度学习在不同场景下面临的一些挑战以及目前的解决方案。CSDN翻译此文,希望对国内深度学习从业者有借鉴意义。 理论和计算机硬件的进步促使神经网络成为在线服务的核心部分,如微软的Bing,采用神经网络驱动图像搜索和语音识别系统。这些公司提供这样的能力
理论和计算机硬件的进步促使神经网络成为在线服务的核心部分,如微软的Bing,采用神经网络驱动图像搜索和语音识别系统。这些公司提供这样的能力是希望在未来该技术能驱动更先进的服务,因为他们扩展了神经网络来处理更复杂的问题。 神经网络从50年前的最初设想,到成为信息技术应用的公认部分,花了很长的时间。上世纪90年代,在一阵混乱的兴趣之后,部分支持通过发展高度专业化的集成电路设计来克服传统计算机性能的不足,神经网络在各类算法中脱颖而出,比如在图像处理中的支持向量机以及语音识别中的高斯模型。 旧版简单的神经网络最多
【新智元导读】纽约大学研究团队发现了通过安装秘密后门来操纵自动驾驶和图像识别中的 AI 的方法。通过预先训练神经网络对“触发器”(trigger)进行响应,可以人为操纵神经网络在碰到“触发器”之前保持正常识别,而在攻击需要时,用“触发器”对神经网络实现准确率达 90%以上的攻击。 论文地址:https://arxiv.org/abs/1708.06733v1 纽约大学研究团队发现了一种通过在软件中安装一个秘密后门来操纵自动驾驶和图像识别中的 AI 的方法。 研究报告还未经过同行评议,报告中记录的攻击显示,来
选自Baidu Research 机器之心编译 今天,百度研究院开源了新一代 DeepBench,一款深度学习基准测试工具,这次升级加入了推理测量等功能。 1. 介绍 2016 年 9 月,百度推出了第一版 DeepBench,它是一个开源基准测试工具,用于测试训练深度学习神经网络的基本性能指标,可兼容不同硬件平台上的神经网络库。 DeepBench GitHub 地址:https://github.com/baidu-research/DeepBench DeepBench 的主要目的是测试深度学习系统在
摘要: 深度学习可以完成需要高度抽象特征的人工智能任务,如语音识别、图像识别和检索、自然语言理解等。深层模型是包含多个隐藏层的人工神经网络,多层非线性结构使其具备强大的特征表达能力和对复杂任务建模能力。训练深层模型是长期以来的难题,近年来以层次化、逐层初始化为代表的一系列方法的提出给训练深层模型带来了希望,并在多个应用领域获得了成功。深层模型的并行化框架和训练加速方法是深度学习走向实用的重要基石,已有多个针对不同深度模型的开源实现,Google、Facebook、百度、腾讯等公司也实现了各自的并行化框架。深
摘要 深度学习的概念源于人工神经网络的研究,含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征,以发现数据的分布式特征表示。 机器学习与深度学习应用
选自arXiv 作者:施少怀、褚晓文 机器之心编译 参与:陈韵竹、李泽南 随着深度学习应用不断进入商用化,各类框架在服务器端上的部署正在增多,可扩展性正逐渐成为性能的重要指标。香港浸会大学褚晓文团队近日提交的论文对四种可扩展框架进行了横向评测(Caffe-MPI、CNTK、MXNet 与 TensorFlow)。该研究不仅对各类深度学习框架的可扩展性做出了对比,也对高性能服务器的优化提供了方向。 近年来,深度学习(DL)技术在许多 AI 应用当中取得了巨大成功。在获得大量数据的情况下,深度神经网络(DNN)
据思科统计数据,互联网视频流在网络带宽中占有很大份额,到2022年将增长到消费互联网流量的82%以上。视频服务已经成为人们生活中不可或缺的一部分。
很有意思的是,从当前DeepMind所做的事情里我们其实可以抽取出一些更有价值的模式,比如什么是人工智能+,到底应该怎么加。 案例1:降低能源消耗 DeepMind第一件在做的事情是用机器学习来管理数据中心,期望达到比人管理更省电的效果。最终结果非常不错,实际成绩是:比人管理的时候节电40%。 为把事情说清楚需要简单介绍一下背景: Google这类大互联网公司的应用比如搜索、Gmail、公有云服务等是完全跑在自己的服务器集群上的,这些集群无比庞大通常有数百万台服务器。由于服务器太多因此并不会只放在一个地方,
导读 现在说机器学习和深度学习的应用只受限于人们的想象力并不夸张。不仅全世界的数据科学家们为之着迷,甚至在日本的农场,一位小哥为了减轻妈妈的工作负担,也开始尝试采用深度学习和Tensor Flow种黄瓜。 大约一年前,曾为日本汽车业内一名嵌入式系统设计师的MakotoKoike开始在父母的黄瓜种植园帮工。根据大小形状颜色和其他属性来分选黄瓜这件事所需的工作量令他吃惊。 Makoto Koike那一生致力于提供鲜脆黄瓜的父亲就很为他那些仍带有细刺的扎手黄瓜感到自豪。颜色鲜艳又直又粗并且有许多刺的黄瓜被认为是
Raspberry Pi + Arduino + OpenCV Neural Network + RC CAR
由于服务器,客户端和消息是分离的,因此很容易与后端进行通信。此项目是用 Python 编写的 AI agent,可以学习与环境的交互。这个实验是利用 neuroevolution (神经进化)在迷宫中寻找一条路径。
本文介绍基于TensorBoard工具,对tensorflow库构建的神经网络模型加以可视化,并对其训练过程中的损失函数(Loss)、精度指标(Metric)等的变化情况加以可视化的方法。
本文编译自ExplainingComputers视频《Explaining Edge Computing》
AI 科技评论按:如今,基于深度学习的 AI 系统日趋产业化,如何有效地在云端和雾端进行落地成为一个核心问题。相对于传统机器学习,深度学习无论是训练还是部署都对计算和通信等提出了很大的挑战。在云端(如 Google Cloud、Amazon AWS、Microsoft Azure、Facebook Big Basin),深度神经网络的训练依赖于分布式系统,其可扩展性受限于通信带宽。 在雾端(Fog Computing,如移动手机的 Face ID、无人机、去中心化自动驾驶系统等),便携设备的计算等资源有限,深度神经网络的高效部署依赖于模型压缩与加速技术,以完成轻量级部署。
然而令人吃惊的是,在 LA Hacks 2018 的活动之中,来自加州理工学院的美籍华裔大二学生 EricZhao做出“狗脸识别”系统,16小时让梦成真!
摘 要 神经网络模型不仅功能强大,而且特别灵活,在许多困难的学习任务中均发挥着良好的作用,如图像、声音和自然语言的理解等。尽管神经网络获得了一系列的成功,但是要设计神经网络仍然十分困难。 在本篇论文中,我们在运用循环神经网络(RNN)描述神经网络模型的同时,还利用强化学习来训练该循环神经网络(RNN),以获得验证集上结构预期准确度的最大值。在 CIFAR-10 数据集上,我们所运用的方法从一开始便能设计出新的网络结构,并且在测试集精度方面可与人类发明的最佳结构相匹敌。 CIFAR-10 模型的测试误差率可
将深度卷积神经网络(Convolutional Neural Networks, 简称CNNs)用于图像识别在研究领域吸引着越来越多目光。由于卷积神经网络结构非常适合模型并行的训练,因此以模型并行+数据并行的方式来加速Deep CNNs训练,可预期取得较大收获。Deep CNNs的单机多GPU模型并行和数据并行框架是腾讯深度学习平台的一部分,腾讯深度学习平台技术团队实现了模型并行和数据并行技术加速Deep CNNs训练,证实模型拆分对减少单GPU上显存占用有效,并且在加速比指标上得到显著收益,同时可
引言:深度学习是近年机器学习领域的重大突破,有着广泛的应用前景。随着Google公开Google Brain计划,业界对深度学习的热情高涨。腾讯在深度学习领域持续投入,获得了实际落地的产出。我们准备了四篇文章,阐述深度学习的原理和在腾讯的实践,介绍腾讯深度学习平台Mariana,本文为第一篇。 深度学习(Deep Learning)是近年来机器学习领域的热点,在语音识别、图像识别等领域均取得了突破性进展。腾讯提供广泛的互联网服务,在2014年第一季度,即拥有3.96亿月活跃用户的微信,8.48亿月活跃用户的
本文是腾讯深度学习系列文章的第三篇,聚焦于腾讯深度学习平台Mariana中深度卷积神经网络Deep CNNs的多GPU模型并行和数据并行框架。 将深度卷积神经网络(Convolutional Neural Networks, 简称CNNs)用于图像识别在研究领域吸引着越来越多目光。由于卷积神经网络结构非常适合模型并行的训练,因此以模型并行+数据并行的方式来加速Deep CNNs训练,可预期取得较大收获。Deep CNNs的单机多GPU模型并行和数据并行框架是Mariana的一部分,Mariana技术团队
以下为演讲实录: 吴恩达:谢谢,大家好,人工智能已经在世界有很大的影响力,百度是引领人工智能发展的公司之一,今天我想跟大家分享一些我们正在做的先进技术,我也希望未来我们能把这些技术开放给我们的合作伙伴。 从李彦宏讲的一席话里我们看到语音识别重要性,百度和北京团队一起正在研究新一代的语音识别技术,让我为大家演示一下。这是一段用户手机的录音,请大家仔细听听,你能听出他在讲什么吗。来。现在请大家闭上眼睛再听一次他到底在讲什么。有时候由于噪音、口音等等,很难听清楚电话那边的人在说什么,我们把这段语音放给我们
引言:深度学习是近年机器学习领域的重大突破,有着广泛的应用前景。随着Google公开Google Brain计划,业界对深度学习的热情高涨。百度成立深度学习研究院,腾讯也启动了深度学习的研究。腾讯在深度学习领域持续投入,获得了实际落地的产出。本文是腾讯深度学习系列文章的第一篇。我们准备了四篇文章,阐述深度学习的原理和在腾讯的实践。 2014年6月22日,腾讯深度学习平台(Tencent Deep Learning Platform)于国际机器学习领域顶级会议ICML2014上首次公开亮相,揭秘了腾讯深度学习
不到12小时里,有三个人提出可以付钱请我花一小时和一个陌生人聊聊。 这三个人都说他们对我写的一篇关于Google正在做一种新型人工智能计算机芯片的文章很感兴趣,他们敦促我与他们的一个客户讨论一下这件事。他们说这个客户是一个大型对冲基金的经理,但不想透露这个基金的名字。 这些请求来自所谓的专家网络——将投资者与能够帮助他们了解特定市场并提供有竞争优势的信息(似乎有时是内部消息)的人联系起来的研究机构。这些专家网络希望我为他们解释Google的AI处理器将会给芯片市场带来怎样的影响。但他们要求我签署一项保密协议
来源:云栖社区 作者:Pavel Surmenok 本文长度为2600字,建议阅读5分钟 本文帮助你理解神经网络的应用,并使用TensorFlow解决现实生活中的问题。 如果你一直关注数据科学/机器学
在Training方面比较重要的库是cuDNN。cuDNN是深度学习基础模块加速库,可以支持所有主流的深度学习框架,比如Caffe、Tensorflow、CNTK、Theano、PyTorch等,这些基础模块指的是深度学习框架中常用的一些layer(神经网络层)操作,比如卷积、LSTM、全连接、Pooling(池化层)等。那么cuDNN的优势有什么呢?首先它将layer专门针对GPU进行了性能调优;第二是cuDNN以调用库函数的方式进行神经网络设计,能够大大节省开发者的时间,让大家可以将时间和精力集中在
针对开阔空间中移动目标的定位技术,如卫星定位技术,存在的易受环境影响、定位误差较大的问题,以及室内定位技术,如超声波、WiFi网络和无线传感器网络等,存在的灵活度较低、成本较高的问题,提出一种基于机器学习的精准定位系统(PPS-ML)。该系统包括实景GIS(地理信息系统)服务器、图像训练服务器、定位服务器和无线摄像机。
与传统基于张量(Tensor)的神经网络相比,图神经网络将图 (Graph) 作为输入,从图结构中学习潜在的知识,该方法在近些年已被证明在许多场景可以取得很好的效果。然而,使用传统的深度学习框架(比如 TensorFlow、Pytorch、MXNet)并不能方便地进行图神经网络的开发和训练,而 DGL 作为专门面向图神经网络的框架,可以很好地弥补这一缺陷。该框架在开源后于国内外引起了强烈的反响。
机器之心转载 来源:知乎 作者:Posibilitee(悉尼大学人工智能与图像处理博士) 热评:想象自己有四块3090,什么赛博唯心主义? 怎样让ChatGPT在其内部训练神经网络?这个话题有点超乎大多数人的理解。 步骤是这样的: 1. 先让它伪装成 Ubuntu 18.04,给它说你安装了 Python 3.9, Pytorch 1.8, CUDA 11.3 和其他训练一个 pytorch 模型所需要的库。 让 ChatGPT 伪装成 Linux 终端,这个梗在外网有过讨论,这里需要让他额外安装(让
Yann LeCun被大家誉为“卷积神经网络之父”,该技术助推了人工智能在Google、Facebook等公司的发展,在此之外,LeCun也已经不再局限于扎根算法领域。正如那些开发全新计算方法的人一样,他在硬件领域也有深厚背景,尤其是芯片设计,并且在硬件专业化,复杂问题下的数据迁移,以及核性能提升方面也很拿手。 LeCun是从贝尔实验室的研究真正开始开拓深度学习的,他的研究项目结合了先进的软硬件联合设计技术(co-design)。即使在今天,他在服务器端的机器学习和神经网络循环仍广为人知。他本周在Hot
Yann LeCun被大家誉为“卷积神经网络之父”,该技术助推了人工智能在Google、Facebook等公司的发展,在此之外,LeCun也已经不再局限于扎根算法领域。正如那些开发全新计算方法的人一样,他在硬件领域也有深厚背景,尤其是芯片设计,并且在硬件专业化,复杂问题下的数据迁移,以及核性能提升方面也很拿手。 LeCun是从贝尔实验室的研究真正开始开拓深度学习的,他的研究项目结合了先进的软硬件联合设计技术(co-design)。即使在今天,他在服务器端的机器学习和神经网络循环仍广为人知。他本周在Hot C
选自MIT News 作者:Larry Hardesty 机器之心编译 参与:路雪、刘晓坤 近日,MIT 研究人员开发了一种专用芯片,可以提高神经网络计算的速度,比之前的芯片速度提升三到七倍,同时将能耗降低 93% - 96%。这使得在智能手机本地运行神经网络,甚至在家用电器上嵌入神经网络变成可能。相关论文已投中 ISSCC。 人工智能系统近期的进展,如语音或人脸识别都受到神经网络的支持,简单信息处理器深度互联,通过分析大量训练数据来学习执行任务。 但是神经网络规模很大,计算能耗高,因此它们不适合用于手持
五大引领AI工程的JavaScript工具,为欲将LLM融入项目的开发者提供关键资源。
小模型的福音。 1 算力在制造业的落地 第一个案例就是算力发展在制造业的体现。 不论是手机还是电脑,各类电子设备都有一个非常重要的人机交互元件:屏幕。屏幕相关的产品线涵盖了TF T-LCD、AMOLED等一系列先进显示和传感器件,这些产品无一不对质量有着严苛的要求。随着产业规模的不断扩大,基于人工的缺陷检测和不良根因分析,在效率上已经难以满足进一步提升产能和品控的要求。现在基于深度学习来协助实现缺陷定位和缺陷检测等功能的工业视觉平台,能够借助大数据平台和AI算法,智能分析和快速定位不良根因。 英特尔® 至
协议:CC BY-NC-SA 4.0 自豪地采用谷歌翻译 不要担心自己的形象,只关心如何实现目标。——《原则》,生活原则 2.3.c 在线阅读 ApacheCN 面试求职交流群 724187166 ApacheCN 学习资源 目录 TensorFlow 1.x 深度学习秘籍 零、前言 一、TensorFlow 简介 二、回归 三、神经网络:感知器 四、卷积神经网络 五、高级卷积神经网络 六、循环神经网络 七、无监督学习 八、自编码器 九、强化学习 十、移动计算 十一、生成模型和 CapsNet
引子 又是好久没写博客,记得有一次看Ng大神的访谈录,如果每周读三篇论文,那么经年以后,必然成为对某个领域非常熟悉的人。 可惜,在忙忙碌碌中,我竟然做不到这一点。但是,我目前的打算是尽心尽力的去做,哪怕一周只读一篇呢。胡适先生曾说过:“怕什么真理无穷,进一步有进一步的欢喜”。然而,这其中的区别在于,我还没有达到追求真理的高度,我就是想看看这个技术是咋子回事塞。 我想,对于很多像我这样非科班出身自己学ML的人来说,肯定有很多时候感觉自己对ML的理论推导之类的事情捉襟见肘,虽然很多时候想下狠心自己去恶补一下数学
在2015 年的百度世界大会上,百度董事长兼首席执行官李彦宏宣布在最新的手机百度6.8版本中推出机器人助理——度秘(英文名:duer),并解释了推出度秘的原因、度秘背后的技术以及度秘的未来规划。百度首席科学家吴恩达则展示了百度深度学习技术的进展,包括在噪音环境下的语音识别效果,以及基于手机深度学习引擎的iOS版脸优APP。 李彦宏:度秘及其三大基石 李彦宏表示,在各种O2O服务层出不穷、360行裂变为3600行的今天,用户对服务的需求也迅速增长,而服务的搜索过程不同于单纯的信息检索,服务需求的提出是一个动态
深度神经网络(Deep Neural Networks, 简称DNN)是近年来机器学习领域中的研究热点,产生了广泛的应用。DNN具有深层结构、数千万参数需要学习,导致训练非常耗时。GPU有强大的计算能力,适合于加速深度神经网络训练。DNN的单机多GPU数据并行框架是腾讯深度学习平台的一部分,腾讯深度学习平台技术团队实现了数据并行技术加速DNN训练,提供公用算法简化实验过程。对微信语音识别应用,在模型收敛速度和模型性能上都取得了有效提升——相比单GPU 4.6倍加速比,数十亿样本的训练数天收敛,测试集字错率
为了解决现有隐私保护计算技术不适用于深度神经网络在线学习任务以及部分隐私保护计算工具的性能问题,香港科大智能网络与系统实验室iSING Lab和国内隐私计算算力提供商星云 Clustar 合作,提出了一种隐私保护在线机器学习场景下的新框架——Sphinx。 论文题目为《Sphinx: Enabling Privacy-Preserving Online Learning over the Cloud》, 作者为 Han Tian, Chaoliang Zeng, Zhenghang Ren, Di Chai
本文整理了 GitHub 上最流行的 57 款深度学习项目(按 stars 排名)。最后更新:2016.08.09 1.TensorFlow 使用数据流图计算可扩展机器学习问题 TensorFlow 是谷歌的第二代机器学习系统,按照谷歌所说,在某些基准测试中,TensorFlow 的表现比第一代的 DistBelief 快了2倍。 TensorFlow 内建深度学习的扩展支持,任何能够用计算流图形来表达的计算,都可以使用 TensorFlow。任何基于梯度的机器学习算法都能够受益于 TensorFlow 的
2016年,随着阿尔法狗击败专业人类围棋棋手,已“深度学习”为基础的人工智能技术被大众所熟知。其实“深度学习”技术已经发展了有近30年的历史了。现在的“深度学习”的实现以神经网络技术为主。神经网络通过模拟大脑生物神经网络的连接,通过多层数字神经网络的了解,来实现深度学习,神经网络最著名的就是卷积神经网络。“深度学习”中的深度就体现在多层的神经网络的连接,因为初代的机器学习技术的学习网络层数都比较浅。
深度学习是机器学习的一个分支,其特点是使用几个,有时上百个功能层。深度学习已经从能够进行线性分类的感知器发展到添加多层来近似更复杂的函数。加上卷积层使得小图像的处理性能有了提升,可以识别一些手写数字。现在,随着大型图像数据集的可用性和高性能并行计算卷积网络正在大规模图像上得到应用,从而实现了以前不实用的广泛应用。
选自hopinfirst.com 作者:James Tredwell 机器之心编译 参与:路雪、黄小天 本文介绍了适用于移动端的 10 个机器学习框架,包括针对计算机的机器学习框架和针对手机端的优化性
1.TensorFlow 使用数据流图计算可扩展机器学习问题 TensorFlow 是谷歌的第二代机器学习系统,按照谷歌所说,在某些基准测试中,TensorFlow 的表现比第一代的 DistBelief 快了2倍。 TensorFlow 内建深度学习的扩展支持,任何能够用计算流图形来表达的计算,都可以使用 TensorFlow。任何基于梯度的机器学习算法都能够受益于 TensorFlow 的自动分 化(auto-differentiation)。通过灵活的 Python 接口,要在 TensorFlow
当前养猪场进行批量养猪的过程中,养殖者需要掌握每头猪只的饮食情况、健康状态、生长状况以及情绪等信息,因此识别每头猪只的身份信息为养殖者掌握养殖场基本状况提供便利,目前大型养猪场对于猪只的身份管理没有一个准确有效的识别方法,使得在管理猪只的过程中出现混乱和错误的情况,因此,猪脸识别技术的缺乏不利于规模化的精准养猪的推广。
编者按:本文原作者为 Wired 高级作家 Cade Metz。原标题为《How AI Is Shaking Up the Chip Market》。以下为雷锋网编译,未经许可不得转载。 三星期前的一天,我从三个不同的人那里收到同一份请求。 他们提出,希望我能和一个我并不认识的人通话 1 小时,而他们将为此支付我一定的酬劳。 他们还说,非常欣赏我今年 5 月发表于的关于谷歌正着手为人工智能设计芯片的文章,所以殷切希望我能与这个人,也就是他们的一个客户详谈此事。这位客户,据他们表示,是一家大型对冲基金公司
领取专属 10元无门槛券
手把手带您无忧上云