但我们的电脑通常不能承受那么大的网络，不过你可以相对容易地在亚马逊上租用一个功能强大的计算机，比如E2服务你可以相对容易地按照小时租用在亚马逊EC2服务。...租借的机器将通过浏览器使用Jupyter Notebook ——一个网络应用程序，允许共享和编辑文档与实时代码。 Keras可以在GPU上运行cuDNN —— 深层神经网络GPU加速库。...使用Amazon EC2消除了对前期投资硬件的需求，因此您可以更快地开发和部署应用程序。 您可以使用Amazon EC2启动所需数量的虚拟服务器，配置安全性和网络以及管理存储。...您最多可以免费使用30 GB。 此外，如果您不希望您的数据在终止实例后消失，则应取消选中“终止时删除”复选框。 ? 继续 ?...如您所见，实例已启动并正在运行。 做得好！ 您刚刚启动了一个AWS实例。 ? 3) 建立 Jupyter Notebook 现在让我们用一用。通过SSH来链接. ?
我们的个人电脑一般很难胜任这样大的网络，但是你可以相对轻松地在Amazon EC2服务中租到一台强劲的电脑，并按小时支付租金。 我用的是Keras，一个神经网络的开源python库。...Jupyter Notebook是一个通过交互式代码来共享和编辑文档的web应用。 通过cuDNN，一个深度神经网络GPU加速库，Keras可以在GPU上运行。...Amazon EC2的使用消除了前期对硬件的投资要求，因此你可以更快地开发和部署应用程序。 你可以使用Amazon EC2启动大量或几个虚拟服务器，配置安全性和网络以及存储管理。...免费使用的最大容量是30 GB。此外，如果你不希望你的数据在关闭实例后消失，要取消选中“终止时删除”复选框。 继续。 这个步骤很重要，因为你不仅要使用ssh，还要通过浏览器访问你的实例。...按照说明，更改私钥的权限并将示例键入终端（或使用PuTTY连接）。在-i参数后插入私钥的路径，使用'ubuntu'替换’root’。
在 Google Colab 中改变运行时来使用 GPU 只需要几秒，如下图所示： ?...这应该可以帮你在 Google Colab 上尝试运行自己的深度学习模型。你在用 Colab 时，可以随意用我的 colab notebook来测试CPU 和 GPU支持的深度学习环境。...在我写的《Hands-on Transfer Learning with Python》第二章中详细介绍了如何在 AWS 上创建和实例化自己的虚拟机。...由于我们在原型设计和开发时广泛地使用了 Jupyter notebook，因此要为笔记本服务器设置密码，这样即便有人以某种方式得到了你的公共 IP 地址，他也无法使用你的 Jupyter notebook...假设我们用的是基于 Ubuntu 的系统，你可以查阅英伟达 CUDA 的官方文档并下载必要的安装文件。在撰写本文时，CUDA 10 已经发布了，但是它还太新。
答：在树莓派上运行TensorFlow成本是39美元；在GPU驱动的亚马逊EC2节点上运行TensorFlow的成本是1美元，每小时。这些都是可行的方案。...为了匹配主板，我在亚马逊上花50美元买了这个：Tt Core V1 Mini ITX Cube。...为了使用这台全新的设备进行深度学习，首先得安装CUDA和CudNN。...以前用Macbook，识别响应大概3-4秒，使用GPU，可以很准确的实时运行。...其实，我现在把显卡换成Titan X了，所有运行的程序并不需要重新编译。 总之这个方法还不错，机器的运行速度与用使用K80 GPU的亚马逊P2实例大致相同，后者的价格是1美元/小时。
在 Mac 上进行安装 Docker 技术原本诞生于 Linux 平台上，并使用 Linux 原生的工具如 LXC Linux 容器工具 来展现它的精妙之处。...而我在最初没有真正感受到这个概念的意义，而是想当然的认为，你需要现在你的 Mac 上制作好镜像文件并运行它，然后在你的亚马逊 EC2 云服务器上另外制作一个镜像文件并运行它。...在云服务器上运行相同的容器 现在，让我们看一下如何在云服务器上运行之前我们使用的容器。首先，你需要在 Docker Hub 注册一个账号，这一步是免费的。...，然后在一个交互式命令行内运行它，最后将宿主机 EC2 服务器的外部 8000 端口映射到容器的 5000 端口。...写在最后 当我开始着手于学习 Docker 时，我马上就尝试着去阅读 docker-compose 和 docker-machine 的文档并尝试去使用这两个工具，但过早的去研究他们其实是我犯的一个错误
最近，我已经开发了基于Ubuntu标准的云实用程序，并将它们移植到了Debian中。让我们来看看如何将Debian工具带到云端！...云镜像的基础 在IaaS（基础设施即服务）平台上启动新实例时，实例镜像处于初始未被配置状态。因此，需要一种方法在实例启动时根据使用者情况来自动配置实例。...通常，IaaS平台为此提供了一个元数据服务器，比如在Amazon EC2（亚马逊云EC2）中就有提供此类服务器。...需要的工具 [78pznx5fbs.jpg] 平台上运行实例时，尤其像Amazon EC2或OpenStack这类平台，需要根据启动的环境来配置和更新镜像。...包括扩展模板镜像磁盘，这有利于充分使用运行实例的可用磁盘。
原因何在因为你在短短几分钟内就能安装好一台Linux服务器; 因为你在决定使用哪种发行版方面有众多的选择; 因为你可能刚发现，云端Linux服务器为你提供了一种非常便捷的方式，可以处理你平常工作时可能没有时间或机会试一下的命令和应用程序...区别可能并不重要，除非你在云端安装可能需要彼此交互的多个系统。实际上，亚马逊甚至不用这些术语来描述其EC2解决方案。 那么，EC2到底是什么呢EC2是你开始迁移到云端时经常听到的术语之一。...EC2是亚马逊提供的一项服务。该首字母缩略词代表“弹性计算云”，该术语旨在表达配置、控制和扩展已安装的系统到底有多容易。...你可以使用scp或FileZilla之类的工具，上传内容。下面这段YouTube视频非常详细地介绍了整个过程，包括使用FileZilla和亚马逊EC2。...一些人不喜欢使用亚马逊的Linux AMI(由亚马逊网络服务公司为EC2提供、支持和维护的一种Linux映像)，原因在于这一种映像只在亚马逊上才有，但是你要不要避免它取决于打算将Linux云服务器派什么用
本文将介绍如何在一台云服务器上配置 Jupyter Notebook 环境，从此只要有浏览器和网络，就是可以随时随地进行数据科学开发工作，不用担心家庭环境与办公环境多次配置的问题。...购买服务器并完成配置之后，即可通过如下命令登录： ssh ubuntu@cvm-ip 安装依赖 Jupyter 是使用 Python 编写的一个软件包。...而且，我们希望在 Jupyter 中使用 Python 2 和 Python 3等多个版本，因此先安装 Python 3 和 pip 。...然后，创建一个专门的虚拟环境，并直接激活： virtualenv venv -p python3 source venv/bin/activate 在创建虚拟环境时，指定的 Python 版本为 3...notebook --config /home/ubuntu/venv/conf.py 上面定义了该服务在 runlevel 为 2、3、4、5 时启动，而在非这几个 runlevel 时停止该服务
鉴于湾区的软件工程师们主要使用Mac作为工作机器，所以我们首先看看如何在OSX上安装并运行docker。 首先，不要尝试使用brew或其他软件包管理工具来安装docker。...此外，在Docker容器中使用的Linux发行版不必与主机操作系统的发行版相匹配。你可以在CentOS主机中运行Ubuntu，反之亦然。 最后，镜像具有内置的分层机制。...这是一个强大的优化和抽象，我们将在后面讨论。 一个例子：Python Flask App 这是在docker中使用python的一个经典教程，但是我查阅了所有我能找到的文档也没有完成教程中的内容。...第一行FROM指示Docker从容器公用存储库中调出python的镜像，并使用标签（如2.7）指定镜像版本。 第二行ADD将您的代码从当前目录复制到Docker容器的/code目录中。...并在交互式shell中运行它，并将主机EC2实例上的外部端口8000映射到容器内的端口5000。
现在可以在PyCharm 2019.1中直接编辑Notebook，并提供方便的并排视图，帮助您更好地了解Notebook的源代码，同时查看旁边的输出。您可以直接从IDE运行和调试单元格。...HTML和CSS的快速文档已得到改进。快速提问：在CSS中编写’padding’属性时，首先是什么？左右，还是上下？...已经结束了对两个Python版本的支持：2.6(自2013年以来就已经结束了)和3.4(刚刚达到生命周期结束时)。如果您仍在使用这些版本，则会收到警告，指出不再支持这些版本。...你可以在官方网站上了解有关PyCharm 2019.1的更多信息。 下面是如何在Ubuntu中安装它。...卸载： 要删除PyCharm快照包，请使用Ubuntu软件或在终端中运行命令： linuxidc@linuxidc:~/www.linuxidc.com$ sudo snap remove pycharm-professional
硬件清单 之前，我在AWS亚马逊云服务上的花费是每月70美元（约480元人民币）。按照使用两年计算，我给这套系统的总预算是1700美元（约11650元）。 GPU 肯定得买Nvidia，没有其他选择。...安装Ubuntu 大部分深度学习框架都工作在Linux环境中，所以我选择安装Ubuntu。一个2GB容量的U盘就能搞定安装，如何制作？...Anaconda Anaconda是一个很棒的Python软件包管理器，我现在使用了Python 3.6版本，所以对应的使用Anaconda 3版本，安装如下： TensorFlow 最流行的深度学习框架...我们可以把Jupyter设置成自动启动，使用crontab来设置。运行crontab -e，然后把如下代码添加在最后。 测试 现在基本上准备妥当了，是时候测试一下了。...使用相同的batch在CPU上运行这个模型不可行，所以我们在GPU上微调了390个batch，在CPU上是10个batch。
硬件清单 之前，我在AWS亚马逊云服务上的花费是每月70美元（约480元人民币）。按照使用两年计算，我给这套系统的总预算是1700美元（约11650元）。 ?...安装Ubuntu 大部分深度学习框架都工作在Linux环境中，所以我选择安装Ubuntu。一个2GB容量的U盘就能搞定安装，如何制作？...Anaconda Anaconda是一个很棒的Python软件包管理器，我现在使用了Python 3.6版本，所以对应的使用Anaconda 3版本，安装如下： ?...Jupyter notebook Jupyter是一个交互式的笔记本，随着Anaconda安装，我们要配置和测试一下： ?...使用相同的batch在CPU上运行这个模型不可行，所以我们在GPU上微调了390个batch，在CPU上是10个batch。
Debian中的云工具 最近，我一直在使用Ubuntu中默认提供的云工具套件，现在我把它们移植到了Debian上，让我们来一起看看怎样把Debian和云结合起来！...云镜像的基础 当在IaaS平台新建一个实例时，它是未配置的状态，因此你需要找到一种方式让它在初始化时自动根据你的需要配置。通常，像亚马逊EC2这样的IaaS平台会为此提供一个元数据服务器。...镜像在上传的时候就已经有了预设大小，当你在平台上运行它时，你所实际请求的磁盘大小要比镜像磁盘大小更大一些。因此，你可能需要将镜像调大来使用分配给实例的全部可用磁盘空间。...所需工具 [6777hzm4ai.jpeg] 当你使用亚马逊EC2或OpenStack之类的云平台时，你需要根据你的情况对镜像进行具体的配置与更新。...这三个软件包结合使用，可以实现从启动时磁盘调整到Puppet配置处理等多种功能。 这些软件已经在Ubuntu上存在很久了，但是Debian在这方面一直很落后。 直到现在！
在不久之前发布的文章《业界 | 超越 R，Python 成为最受欢迎的机器学习语言》中，KDnuggets 与 O'Reilly 的调查结果都表明，越来越多的人开始使用 Python 进行机器学习。...在机器之心的问卷中，调查者反馈，虽然他们会使用其他编程语言，比如 R、C++，但实际运行程序的编写还是主要使用 Python，简单、开发速度快是很大的优势。...近来云计算倾向于使用 Kubernetes 和 Docker 提高资源利用率。那数据科学的工具（如 Jupyter 和 GPU 等）嵌入 Docker 和 Kubernets 会更有效吗？...然后创建一个 GCE 实例，对于该案例： 使用的系统为 Ubuntu 16.04 LTS 分配 50GB 的启动盘 至少需要一个 K80 GPU 将 jupyter 和 tensorboard添加到你创建的防火墙规则中...如上图所示，现在得到的表格和前面使用 nvidia-smi 命令，且没有在 Docker 容器里运行得到的表格是一样的。
不仅如此，同时在本文最后一节中还将给出测试进行的细节和所使用脚本的链接。...亚马逊 EC2 训练的细节（NVIDIA Tesla K80） 环境 实例类型：p2.8xlarge GPU：8x NVIDIA Tesla K80 操作系统：Ubuntu 16.04 LTS CUDA...亚马逊 EC2 分布式训练（NVIDIA Tesla K80）的细节 环境 实例类型：p2.8xlarge GPU：8x NVIDIA Tesla K80 操作系统：Ubuntu 16.04 LTS CUDA...为了简化服务器设置，EC2 实例（p2.8xlarge）运行工作服务器时同样运行参数服务器。...在博文高性能模型（链接：http://suo.im/muzYm）中详细描述了脚本中的技术，并给出了执行脚本的示例。 为了尽可能创建可重复试验的结果，每个测试运行了 5 次并取平均值。
该测试是在谷歌计算引擎（Google Compute Engine）、亚马逊弹性计算云（Amazon Elastic Compute Cloud，下为EC2）和英伟达软件堆栈（NVIDIA®DGX-1™...（NVIDIA®Tesla®K80）和亚马逊 EC2（NVIDIA®Tesla®K80）“详细讲解”部分。...）（100M/s 加速运转12小时，50M/s 恒定速度） 数据集：ImageNet数据集 测试时间：2017年5月 下表列出了每种型号所使用的批处理大小和优化程序。...每个模型使用的配置 为了简化服务器设置，亚马逊 EC2（p2.8xlarge）在运行工作服务器的同时还运行了参数服务器。...运行工作服务器时均使用了相同数量的参数服务器和工作服务器，但是以下几种情况例外： InceptionV3模型: 8个实例/ 6个参数服务器 ResNet-50模型:（批量大小为32）8个实例/ 4个参数服务器
开发人员利用 GAE 简化了 Web 应用程序的开发和部署。下图是 GAE 上的 Web 架构简图，在这个架构中应用程序可以使用自动伸缩计算的资源，同时可集成分布式缓存、任务队列、数据存储等服务。...AppEngine Memcache 在架构中是一个内存共享实例，充当缓存使用，我们可以将身份验证、会话信息等存放在这里来提升 Web 服务器性能。...在亚马逊云上，你可以在多个Version 间切换，以测试、验证版本间的不同。Version 存放在分布式对象存储区中。...在创建一个 Enviroment 时，AWS Elastic Beanstalk 规定了运行应用所需的资源，下图的资源包括负载均衡器（Elastic Load Balancer）、一个自动伸缩功能组和多个...Security Group 为运行的 EC2 实例定义了防火墙策略，在默认情况下，AEB 只运行用户访问实例的 80（HTTP）端口，你可以依据业务类型定义更多的策略。
本文将使用Python语言为您展示如何在这三个平台上执行常见的任务，并比较它们的优缺点。环境设置在开始之前，您需要在本地安装适当的Python SDK。...示例：监控和自动扩展以下是一个简单的示例，演示如何使用Python监控AWS的EC2实例，并根据负载情况自动扩展实例数量。...这样可以保护数据免受未经授权的访问，并确保数据在传输和存储过程中的机密性和完整性。合规性监控和审计：使用Python编写脚本来监控云平台的安全性和合规性，并生成审计报告以满足法规和标准的要求。...示例：数据加密和密钥管理以下是一个简单的示例，演示如何使用Python SDK在AWS上对S3存储桶中的对象进行加密，并安全地管理加密密钥。...示例：漏洞扫描和安全配置检查以下是一个简单的示例，演示如何使用Python SDK在AWS上运行漏洞扫描并检查安全配置。
最近，我根据Ubuntu提供的标准开发了一套云工具，并将它们移植到了Debian系统中。下面让我们来看看如何在云端使用debian！...云镜像基础知识 在IaaS平台上启动一个实例时，您的实例镜像是最原始的，没有经过配置的。因此，您需要有一种方法在系统启动时自动配置，这取决于您要怎么使用。...必要工具 [s58ruoi4df.jpeg] 要使用云平台，尤其是Amazon EC2或OpenStack，您需要根据启动环境来配置和更新镜像。...这也包括了扩展模板镜像磁盘以使用提供给实例运行的全部空间。...我一直在努力将这些软件包移植到Debian中，现在您可以找到这3个软件包，然后上传到Debian sid。
领取专属 10元无门槛券
手把手带您无忧上云
