TensorFlow程序可以通过tf.device函数来指定运行每一个操作的设备，这个设备可以是本地的CPU或者GPU，也可以是某一台远程的服务器。但在本文中只关心本地的设备。TensorFlow会给每一个可用的设备一个名称，tf.device函数可以通过设备的名称来指定执行运算的设备。比如CPU在TensorFlow中的名称为/cpu:0。在默认情况下，即使机器有多个CPU，TensorFlow也不会区分它们，所有的CPU都使用/cpu:0作为名称。而一台机器上不同GPU的名称是不同的，第n个GPU在TensorFlow中的名称为/gpu:n。比如第一个GPU的名称为/gpu:0，第二个GPU名称为/gpu:1，以此类推。
Python是当前最流行的编程语言，被广泛应用在深度学习、金融建模、科学和工程计算上。作为一门解释型语言，它运行速度慢也常常被用户诟病。著名Python发行商Anaconda公司开发的Numba库为程序员提供了Python版CPU和GPU编程工具，速度比原生Python快数十倍甚至更多。使用Numba进行GPU编程，你可以享受：
Uber近期发布了一篇文章，公开了五篇关于深度神经进化的论文，其中包括发现了遗传算法可以解决深层强化学习问题，而一些流行的方法也可替代遗传算法，如深度Q-learning和策略梯度。这项研究是Salimans等人在2017年进行的，另一种神经进化算法，即进化策略（ES）同样可以解决问题。Uber进一步阐述了以下问题：如何通过更多地探索更新智能体所带来的压力形式来改进ES；ES是如何与梯度下降联系起来的。这些研究花费巨大，通常需要720到3000个CPU，并分布在巨大，高性能的计算集群中，因此对于大多数研究人员、学生、公司和业余爱好者来说，深度神经进化研究似乎遥不可及。
计算机组成原理里面提到计算机必须具备五大基本组成部件：运算器、控制器、存储器、输入设备和输出设备，其中运算器和控制器必定存在于 CPU 中。然而，如果 CPU 中运算器数量特别少，我们的程序却需要进行大量的巨型矩阵的运算，使用 CPU 运行时间会特别长。我们先来简单分析一下为什么 CPU 运行时间会特别长，因为运算量非常大，同时 CPU 只能一次运算一条数据，虽然现在 CPU 普遍是多核，但是处理大量的数据还是显得力不从心。这个时候我们就不能使用 CPU 了，而应该使用 GPU，我们首先来看一下 GPU 究竟是个什么东西。
在《浅析GPU计算——CPU和GPU的选择》一文中，我们分析了在遇到什么瓶颈时需要考虑使用GPU去进行计算。本文将结合cuda编程来讲解实际应用例子。（转载请指明出于breaksoftware的csdn博客）
要将深度学习应用到实际问题中，一个非常大的问题在于训练深度学习模型需要的计算量太大。比如Inception-v3模型在单机上训练到78%的正确率需要将近半年的时间 ，这样的训练速度是完全无法应用到实际生产中的。为了加速训练过程，本章将介绍如何通过TensorFlow利用GPU或/和分布式计算进行模型训练。本文节选自《TensorFlow：实战Google深度学习框架》第十章。 本文将介绍如何在TensorFlow中使用单个GPU进行计算加速，也将介绍生成TensorFlow会话（tf.Session）时的一
作者：才云科技Caicloud，郑泽宇，顾思宇 要将深度学习应用到实际问题中，一个非常大的问题在于训练深度学习模型需要的计算量太大。比如Inception-v3模型在单机上训练到78%的正确率需要将近半年的时间 ，这样的训练速度是完全无法应用到实际生产中的。为了加速训练过程，本章将介绍如何通过TensorFlow利用GPU或/和分布式计算进行模型训练。本文节选自《TensorFlow：实战Google深度学习框架》第十章。 本文将介绍如何在TensorFlow中使用单个GPU进行计算加速，也将介绍生成Ten
一、传统的提高计算速度的方法 faster clocks (设置更快的时钟） more work over per clock cycle(每个时钟周期做更多的工作) more processors(更多处理器) 二、CPU & GPU CPU更加侧重执行时间，做到延时小 GPU则侧重吞吐量，能够执行大量的计算 更形象的理解就是假如我们载一群人去北京，CPU就像那种敞篷跑车一样速度贼快，但是一次只能坐两个人，而GPU就像是大巴车一样，虽然可能速度不如跑车，但是一次能载超多人。 总结起来相比于CPU，GPU有
AI 研习社：近日 Uber AI Lab 开源了一组进化算法代码，它的特点是可以高速（同时也更廉价地）进行进化策略研究。根据介绍，训练神经网络玩 Atari 游戏的时间可以从原来在 720 个 CPU 组成的集群上花费 1 个小时，到现在在一台桌面级电脑上只需要 4 个小时。
昨天，优步AI Lab开源了深度神经进化的加速代码。其博客上称，哪怕用户只有一台电脑（台式机），用这个代码也能训练出会打雅达利的AI。而且只需要4！小！时！
选自Uber AI 作者：Felipe Petroski Such、Kenneth O. Stanley、Jeff Clune 机器之心编译 参与：路、李泽南 Uber 在去年底发表的研究中发现，通过使用遗传算法高效演化 DNN，可以训练含有超过 400 万参数的深度卷积网络在像素级别上玩 Atari 游戏；这种方式在许多游戏中比现代深度强化学习算法或进化策略表现得更好，同时由于更好的并行化能达到更快的速度。不过这种方法虽好但当时对于硬件的要求很高，近日 Uber 新的开源项目解决了这一问题，其代码可以让一
近日 Uber AI Lab 开源了一组进化算法代码，它的特点是可以高速（同时也更廉价地）进行进化策略研究。根据介绍，训练神经网络玩 Atari 游戏的时间可以从原来在 720 个 CPU 组成的集群上花费 1 个小时，到现在在一台桌面级电脑上只需要 4 个小时。
本文整理自NVIDIA GTC2022讲座[SE2600] （另：本公众号没有测试PPT中代码，代码只代表原作者本人观点，欢迎大家留言讨论） 我们知道Jetson是一个被称为集成 gpu 的产品，这意味着我们的 cpu 和一个 gpu 共享一个物理统一的内存结果，这与你可能熟悉的典型独立 gpu 完全不同，独立gpu 显卡有自己的内存与cpu、内存的系统分开，所以cpu、内存和gpu内存之间有很多迁移。它也恰好是典型独立GPU 计算的最大瓶颈之一。因此，当我们在编写项目时，我们真的应该考虑到一些阴暗面，因
就其自身来说，Numpy 的速度已经较 Python 有了很大的提升。当你发现 Python 代码运行较慢，尤其出现大量的 for-loops 循环时，通常可以将数据处理移入 Numpy 并实现其向量化最高速度处理。
作者：才云科技Caicloud，郑泽宇，顾思宇 要将深度学习应用到实际问题中，一个非常大的问题在于训练深度学习模型需要的计算量太大。比如Inception-v3模型在单机上训练到78%的正确率需要将近半年的时间 ，这样的训练速度是完全无法应用到实际生产中的。为了加速训练过程，本章将介绍如何通过TensorFlow利用GPU或/和分布式计算进行模型训练。本文节选自《TensorFlow：实战Google深度学习框架》第十章。 本文将介绍如何在TensorFlow中使用单个GPU进行计算加速，也将介绍生成T
相关一些检测工具挺多的，比如powertop、powerstat、s-tui等。但如何通过代码的方式来实时检测，是个麻烦的问题。通过许久的搜索和自己的摸索，发现了可以检测CPU和GPU功耗的方法。如果有什么不对，或有更好的方法，欢迎评论留言！
从物理服务器到虚拟化系统，现在数据中心又发展成可组合的基础架构。在这种基础架构中，像存储和持久内存之类的资源已从服务器中分离出来，原先的数据处理和联网任务只在CPU上运行，现在演变为可在GPU、DPU或FPGA上运行计算。另外，软件开发模型从单台计算机上运行的程序，演变为在整个数据中心上运行的分布式代码，实现了云原生、容器化的微服务。
（ps：对于如何在Intel CPU，ARM架构CPU，以及Jetson TensorRT上部署深度学习模型，以及部署遇到的速度问题，该如何解决。请查看我的另外一篇文章。如何定制化编译Pytorch，TensorFlow，使得CNN模型在CPU，GPU，ARM架构和X86架构，都能快速运行，需要对每一个平台，有针对性的调整。如何做到最大化加速深度学习在不同平台部署性能。请看我的这篇文章。）
在 QCon Plus 大会上，Juan Fumero 谈到了 TornadoVM，一种 Java 虚拟机（JVM）高性能计算平台。Java 开发人员可以通过它在 GPU、FPGA 或多核 CPU 上自动运行程序。
作为 Python 语言的一个扩展程序库，Numpy 支持大量的维度数组与矩阵运算，为 Python 社区带来了很多帮助。借助于 Numpy，数据科学家、机器学习实践者和统计学家能够以一种简单高效的方式处理大量的矩阵数据。那么 Numpy 速度还能提升吗？本文介绍了如何利用 CuPy 库来加速 Numpy 运算速度。
数据科学家需要算力。无论您是用 pandas 处理一个大数据集，还是用 Numpy 在一个大矩阵上运行一些计算，您都需要一台强大的机器，以便在合理的时间内完成这项工作。
白嘉庆，西邮陈莉君教授门下研一学生。曾在华为西安研究所任C++开发一职，目前兴趣是学习Linux内核网络安全相关内容。
我们认为使用大型模型架构和相同数据在XLNet 和BERT之间进行公平的比较研究具有重要的科学价值。
https://docs.nvidia.com/cuda/cuda-c-best-practices-guide/index.html 来阅读原文。
图 1：在 Kaggle Notebook 中可以免费使用 CPU、GPU 和 TPU。
随着CV算法在业务场景中使用越来越多，给我们带来了新的挑战，需要提升Python推理服务的性能以降低生产环境成本。为此我们深入去研究Python GPU推理服务的工作原理，推理模型优化的方法。最终通过两项关键的技术: 1.Python的GPU与CPU进程分离，2.使用TensorRT对模型进行加速，使得线上大部分模型服务QPS提升5-10倍左右，大量节约了线上GPU推理服务的成本。
我们都知道，一般情况下，一张图像在计算机中的存储格式是三个矩阵（RGB 格式），当然也有四个矩阵（RGBA 格式）或者一个矩阵（灰度图）的情形。然而，进行数据传输的过程中如果直接从发送方把数据原封不动的传给接收方会非常浪费传输带宽，传输时延也会随之增加。在不改变通信条件的情况下，要想减少带宽占用和传输时延，只能对数据进行压缩。稍微想一下，对图像的压缩不就是对矩阵的压缩吗？矩阵压缩有很多种方法，在这里我采用 k 阶奇异值分解方法。
为了简化操作，可以在 nextjournal 上注册账户，点击「edit」即可直接运行文章中的简单代码了。
CSDN 叶庭云：https://yetingyun.blog.csdn.net/
在TensorFlow中，模型可以在本地的GPU和CPU中运行，用户可以指定模型运行的设备。通常，如果你的TensorFlow版本是GPU版本的，而且你的电脑上配置有符合条件的显卡，那么在不做任何配置的情况下，模型是默认运行在显卡下的。
作者：Slav Ivanov@blog.slavv.com 问耕 编译整理 量子位 出品 | 公众号 QbitAI Macbook这种轻薄的笔记本，是搞不了深度学习的。亚马逊P2云服务，会给堆积越来越多的账单，换个便宜的服务，训练时间又太长…… 没办法，已经十多年没用过台式机的我，只能重新着手DIY装机，搭建一套自己的深度学习系统。以下是我的系统搭建和测试过程。 硬件清单 之前，我在AWS亚马逊云服务上的花费是每月70美元（约480元人民币）。按照使用两年计算，我给这套系统的总预算是1700美元（约1165
目前市面主流用于服务器进行计算的Tesla系列GPU，主要有K80，P4，P40，P100，M40，这些卡性能指标有着不同差异导致成本上也相差很多。 鉴于AI是当下最火的技术方向，GPU加速运算在这方
在第 11 章，我们讨论了几种可以明显加速训练的技术：更好的权重初始化，批量标准化，复杂的优化器等等。 但是，即使采用了所有这些技术，在具有单个 CPU 的单台机器上训练大型神经网络可能需要几天甚至几周的时间。
如果只是通用的计算场景呢？比如处理图片中大量像素信息，我们有办法使用GPU资源吗？这正是本文要讲的，GPU通用计算，简称GPGPU。
与 import numpy as np 类似，我们可以 import jax.numpy as jnp 并将代码中的所有 np 替换为 jnp 。如果 NumPy 代码是用函数式编程风格编写的，那么新的 JAX 代码就可以直接使用。但是，如果有可用的GPU，JAX则可以直接使用。
本篇概览 作为《DL4J实战》的第四篇，今天咱们不写代码，而是为今后的实战做些准备：在DL4J框架下用GPU加速深度学习的训练过程； 如果您电脑上有NVIDIA显卡，并且成功的安装了CUDA，那么就随本文一起实际操作吧，全文由以下内容构成： 软硬件环境参考信息 DL4J的依赖库和版本 使用GPU的具体操作步骤 GPU训练和CPU训练对比 软硬件环境参考信息 众所周知，欣宸是个穷人，因此带NVIDIA显卡的电脑就是一台破旧的联想笔记本，相关信息如下： 操作系统：Ubuntu16桌面版 显卡型号：GTX950M
1 问：当下一个新的GPU架构发布时，我必须重写我的CUDA内核吗? 答复：不需要重写的，CUDA具有高层次的描述能力（抽象能力），同时CUDA编译器生成的PTX代码也不是固定于特定硬件的。这样在运
版权声明：博主原创文章，微信公众号：素质云笔记,转载请注明来源“素质云博客”，谢谢合作！！ https://blog.csdn.net/sinat_26917383/article/details/75633754
随着深度学习模型复杂度和数据集规模的增大，计算效率成为了不可忽视的问题。GPU凭借强大的并行计算能力，成为深度学习加速的标配。然而，由于服务器的显存非常有限，随着训练样本越来越大，显存连一个样本都容不下的现象频频发生。除了升级硬件（烧钱）、使用分布式训练（费力），你知道还有哪些方法吗？即使显存充足，所有运算都在GPU上执行就是最高效吗？只要掌握以下小知识，模型训练的种种问题统统搞定，省时省力省钱，重点是高效！
Macbook这种轻薄的笔记本，是搞不了深度学习的。亚马逊P2云服务，会给堆积越来越多的账单，换个便宜的服务，训练时间又太长…… 没办法，已经十多年没用过台式机的我，只能重新着手DIY装机，搭建一套自
B. C Language Extensions B.1. Function Execution Space Specifiers Function execution space specifiers denote whether a function executes on the host or on the device and whether it is callable from the host or from the device. B.1.1. __device__ The __dev
分享一篇AAAI 2021录用论文：YOLObile: Real-Time Object Detection on Mobile Devices via Compression-Compilation Co-Design作者来自于美国东北大学、匹兹堡大学和William & Mary。
来源：DeepHub IMBA本文约3300字，建议阅读10+分钟本文中，我们了解了 JAX 是什么，并了解了它的一些基本概念。 JAX 是一个由 Google 开发的用于优化科学计算Python 库： 它可以被视为 GPU 和 TPU 上运行的NumPy ， jax.numpy提供了与numpy非常相似API接口。 它与 NumPy API 非常相似，几乎任何可以用 numpy 完成的事情都可以用 jax.numpy 完成。 由于使用XLA(一种加速线性代数计算的编译器)将Python和JAX代码JI
FPS 和丢帧率可以在一定程度上作为 APP 流畅度的一项衡量标准，本文介绍利用 adb shell dumpsys gfxinfo 命令获取软件渲染加载过程的数据，进行计算从而获取测试结果。
编者按：文章来源自 Mapd，作者 Jonathan Symonds，AI 研习社编译。 █ 英伟达在 2016 年的强势崛起，GPGPU （GPU 通用计算）功不可没。 有许多原因使 2016 称得上是 GPU 之年。但事实上，除了在核心领域（深度学习、VR、自动驾驶），为什么把 GPU 用于通用计算仍然很模糊。 搞清楚 GPU 的作用，要先从 CPU 开始。大多数人对计算机 CPU 并不陌生，这可能要归功于英特尔——作为在事实上垄断了 PC、服务器平台 CPU 近十年的供应商，英特尔的巨幅广告支出，直接
GPUImage框架是一个获得BSD许可的iOS库，可让您将GPU加速滤镜和其他效果应用于图像，实时摄像机视频和电影。与Core Image（iOS 5.0的一部分）相比，GPUImage允许您编写自己的自定义过滤器，支持部署到iOS 4.0，并且具有更简单的界面。但是，它目前缺少核心图像的一些更高级的功能，例如面部检测。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
