有用的 Jupyter Notebooks 扩展 保存和共享你的笔记本 JupyterLab——Jupyter Notebooks 的进化 最佳实践和技巧 Jupyter Notebooks 是什么？...现在你已经知道这些笔记本是什么以及如何将其安装到你的机器上了。现在开始使用吧！ 要运行你的 Jupyter Notebooks，只需在命令行输入以下命令即可！...使用 .ipynb 文件可让其他人将你的代码复制到他们的机器上，使用 .html 文件能以网页格式打开（当你需要保存嵌入在笔记本中的图片时会很方便）。...其能让你将笔记本托管在它的服务器上并进行多用户共享。很多顶级研究项目都在使用这种方式进行协作。...在这种情况下，遵循指导原则和最佳实践是很重要的，能确保你的代码和 Jupyter Notebooks 都有适当的注释，以便与你的团队成员保持一致。
在很多情况下，在笔记本电脑或工作站上运行一个Jupyter Notebook就足够了。然而，如果您正在处理大型数据集、执行计算开销较大的数据处理或学习复杂模型，您可能需要比笔记本电脑更强大的额外功能。...如果处于这种情况，可以通过在笔记本电脑上编写一个python脚本来设置实验，在数据的一小部分上运行它来验证它是否可以运行，将它复制到远程服务器，然后从命令行执行它。...您甚至可以在笔记本中设置实验，并使用jupyter nbconvert将笔记本导出到脚本中——以编写您的“notebook.ipynb”脚本。...在我的例子中，我与其他没有在共享环境中安装Jupyter的人共享一个远程服务器。因此，我的第一步是转到我的项目文件夹，激活虚拟环境，并启动notebook服务器。...该配置指定所有发送到本地计算机上的端口8889(例如，您的笔记本电脑)的请求都要发送到远程计算机上的端口8889(用户名:password@remote_server_ip)。
数据科学的开始工作常常是原型设计、探索和研究——这些工作并不一定立即就需要特定的计算资源。这个工作往往是在笔记本电脑或个人计算机上完成的。...我看到很多数据科学家由于感受到了在远程机器上重建他们的本地环境的困难，就将自己局限在了本地计算环境内。而 Docker 能让你的环境（你的所有库和文件等等）的移植非常简单。...主机目录只有在容器运行时才声明（因为你可能在不同的计算机上运行该容器），而不会在定义镜像时声明*。目前你只指定了 Docker 容器内你想与主机容器共享的文件夹的名称。.../run_jupyter.sh”] 在上面的命令中，我运行了一个实例化一个 Jupyter Notebook 服务器的 shell 脚本。...在你的笔记本电脑上的 Docker 容器内进行本地的原型开发，然后毫不费力地将同样的计算过程无缝迁移到服务器上，同时还能保留你喜欢的本地环境配置（你的别名、vim 插件、bash 脚本、自定义提示等）。
Jupyter （我在 2017 年 10 月在 All Things Open 上首次了解到）是一款开源应用程序，它使用户能够创建包含实时代码、方程式、可视化和文本的交互式共享笔记本。...Jupyter 支持超过 40 种编程语言，包括 Python、R 和 Julia，其代码可以导出为 HTML、LaTeX、PDF、图像和视频，或者作为 IPyhton 笔记本与其他用户共享。...PIP 安装要求你的计算机上已经安装了 Python；Jupyter 推荐 Python 3。...由于 Python 3 已经安装在我的电脑上，我通过在终端（在 Linux 或 Mac 上）运行以下命令来安装 Jupyter： $ python3 -m pip install --upgrade pip...（支持的浏览器有 Google Chrome、Firefox 和 Safari） image.png 在右上角有一个标有 “New” 的下拉菜单，它使我能够根据自己的指示和代码快速创建新的笔记本。
Jupyter笔记本（或简称笔记本）是由Jupyter Notebook应用程序生成的文档，其中包含计算机代码和富文本元素（段落，方程式，图形，链接等），有助于呈现和共享可重复的研究。...在本指南的最后，您将能够使用在远程服务器上运行的Jupyter Notebook运行Python 3代码。...token=1fefa6ab49a498a3f37c959404f7baf16b9a2eda3eaa6d72 如果您在本地Debian计算机上运行Jupyter Notebook（而不是在腾讯CVM上）...这意味着8888在服务器上的第二个端口号（例如8888）上运行的任何内容都将出现在本地计算机上的第一个端口号（例如）上。...您现在应该能够使用Jupyter Notebook在Markdown中编写可重现的Python代码和注释。
在您的本地计算机上运行的现代Web浏览器，您将使用它来访问Jupyter Notebook。 此外，如果您的本地计算机运行的是Windows，则需要在其上安装PuTTY才能建立到服务器的SSH隧道。...第2步 - 运行Jupyter笔记本 必须从您的VPS运行Jupyter Notebook，以便您可以使用SSH隧道和您喜欢的Web浏览器从本地计算机连接到它。...这意味着在远程服务器上指定端口上运行的任何内容（Jupyter Notebook的默认端口8888）都将出现在本地计算机上的指定端口上（在示例命令中为8000）。...在Windows计算机上下载并安装PuTTY后（如前提条件教程中所述），打开程序并输入服务器URL或IP地址，如下所示： 接下来，单击左窗格底部的+ SSH，然后单击隧道。...此外，笔记本电脑，您可以编写和运行方程，包括其他富媒体，如图像或互动情节，他们可以以各种格式导出和共享（.ipyb，.pdf，.py）。
如果你已经完成了到这一点的所有笔记本，你已经加入了一个小但不断增长的人群，他们能够利用深度学习的力量解决实际问题。你可能不会觉得这样—事实上，你可能不会。...同步 GitHub 和你的计算机 有很多原因你可能想要将你的博客内容从 GitHub 复制到你的计算机上——你可能想要能够离线阅读或编辑你的帖子，或者也许你想要备份以防发生什么事情影响了你的 GitHub...这意味着你可以在 GitHub 上进行更改，它们会复制到你的计算机上；你也可以在你的计算机上进行更改，它们会复制到 GitHub 上。...你甚至可以让其他人访问和修改你的博客，他们的更改和你的更改将在下次同步时自动合并。 为了使这个工作起效，你需要在你的计算机上安装一个叫做GitHub 桌面的应用程序。...它可以在 Mac、Windows 和 Linux 上运行。按照安装说明进行安装，当你运行它时，它会要求你登录 GitHub 并选择要同步的存储库。点击“从互联网克隆存储库”，如图 A-14 所示。
在本节中，我们将研究克隆源文件，Docker 所需的基本镜像，安装其他必需的包，公开一个卷以便您可以共享您的工作以及公开端口以便您能够查看 Jupyter 笔记本，这是我们将用来探索机器学习的工具。...现在，在下一部分中，我们将更新容器上的包管理器，以确保我们具有git和wget更新的图形包，以便能够在笔记本中绘制图表： Docker 文件代码 现在，我们将要安装 Anaconda Python。...我们正在从互联网上下载它，然后将其作为 shell 脚本运行，它将 Python 放置在计算机上。...这样，每次运行都是一致的。 既然我们已经运行了 Docker 容器，我们将继续到下一部分，在这里我们将使用 Jupyter 笔记本设置并运行 REST 服务。...二、图片数据 在上一章中，我们准备了机器学习工具包，在其中设置了 Keras 和 Docker，以便允许我们运行 Jupyter 笔记本来处理机器学习。
正如你在本文中将会看到的，这些 Notebooks 是数据科学家手中非常灵活、可交互和强大的工具。他们甚至允许你运行除 Python 以外的其他语言，比如 R 、SQL 等。...现在我们已经了解了 Notebooks 是什么，以及如何在自己的机器上安装和设置 Notebooks。是时候开始动动手了！ 要运行 Jupyter Notebooks，只需输入以下命令就可开始使用！..."Terminal" 的工作方式与你的 Mac 电脑或 Linux 电脑上的终端完全相同（或者 Windows 上的 cmd ）。它在你的Web浏览器中支持终端会话。...最常用的是 .ipynb 文件，这样其他人就可以在自己的机器上复制代码；或者保存为 .html 文件， 这样会打开一个网页（当你想要保存嵌入在 Notebook 中的图像时，这会派上用场）。...在这种情况下，遵循指导方针和最佳实践非常重要，这样可以确保你的代码和 Jupyter Notebooks 被正确标注，以便与你的团队成员保持一致。
https://github.com/microsoft/recommenders/ 推荐者 此存储库提供了构建推荐系统的示例和最佳实践，作为Jupyter笔记本提供。...提供了几种最先进算法的实现，以便在您自己的应用程序中进行自学习和自定义。 入门 有关在本地，Spark或Azure Databricks上设置计算机的更多详细信息，请参阅设置指南。...要在本地计算机上进行设置： 1.使用Python> = 3.6安装Anaconda。Miniconda是一个快速入门的方式。...笔记本服务器 cd notebooks jupyter notebook 6.在00_quick_start文件夹下运行SAR Python CPU MovieLens笔记本。...注 - 交替最小二乘（ALS）笔记本需要运行PySpark环境。请按照设置指南中的步骤在PySpark环境中运行这些笔记本。 算法 下表列出了存储库中当前可用的推荐算法。
因此，Jupyter Notebook 在数据科学领域大受欢迎。 但它也有一些缺陷。作为一种新工具，DeepNote 能够以更好、更快的方式弥补这些缺陷，所以比现有工具都更适合使用。...在谷歌的套件中和同事合作，不再需要同步进行，也无需为合并而烦心。此外，你还能知道同事们的当前进展，更加便于分工。 DeepNote 可以立即进行实时协作——它支持在共享计算环境中无缝合作。...这虽然带来了改变命名空间的问题，但我觉得，这总比共享 Jupyter notebook 强——它需要重新运行才能获得给定状态。 ? DeepNote 的实时协作。...在云计算设置中，这个比例更接近 90%，还有 10% 的时间损失在为笔记本配置正确的算力上。 ? 轻松查看并选择笔记本在何种硬件上运行（https://docs.deepnote.com/）。...这可以在创建笔记本和写后台更新时用到。 除了源码控制，DeepNote 笔记本还可以连接云计算数据存储，比如 S3、GCS 以及常用的数据库引擎。 ? 正式连接到不同的云基础架构。
什么是Google Colaboratory Colab是一种托管的笔记本电脑服务，不需要安装即可使用，并提供对计算资源的免费访问，包括GPU和TPU。...它基于Jupyter Notebook，并提供了一个可在浏览器中运行的交互式编程环境。 Colab 提供了一个完全托管的环境，用户可以在其中编写和执行 Python 代码，而无需在本地安装任何软件。...用户可以通过浏览器访问 Colab，无论是在个人电脑、平板电脑还是手机上。此外，Colab 还提供了免费的GPU和TPU加速器，使用户能够在大规模数据集上训练深度学习模型。...Colab 还支持与其他用户的协作。用户可以共享 Colab 笔记本，允许他人查看和编辑代码。这使得团队可以方便地在项目中进行协作和交流。...访问Google Colaboratory 在浏览器中，搜索https://colab.google/。选择Open Colab。 3. 创建新的笔记本 4.
Jupyter笔记本（或简称笔记本）是由Jupyter Notebook应用程序生成的文档，其中包含计算机代码和富文本元素（段落，方程式，图形，链接等），有助于呈现和共享可重复的研究。...在本指南结束时，您将能够使用在本地计算机或远程服务器上运行的Jupyter Notebook运行Python 3代码。...接下来的两个小节描述了如何从1）Mac或Linux和2）Windows创建SSH隧道。请参阅本地计算机的小节。...这意味着8888在服务器上的第二个端口号（例如）上运行的任何内容都将出现在8888本地计算机上的第一个端口号（例如）上。...您现在应该能够使用Jupyter Notebook在Markdown中编写可重现的Python代码和注释。
使用Google Colab设置Python Google Colab是一个免费的基于Jupyter Notebook的云端环境，可以让您轻松编写、运行和共享Python代码，无需任何设置或安装。...访问https://colab.research.google.com/ 创建一个新的笔记本：点击左上角菜单中的"文件"，选择"新建笔记本"来创建一个新的Jupyter Notebook。...许多流行的库，如NumPy、Pandas和Matplotlib，已经预先安装在Google Colab中 共享您的笔记本：要与他人共享您的笔记本，点击右上角的"共享"按钮。...您可以通过电子邮件邀请他人，或生成具有不同访问权限的可共享链接。 探索教程和示例：Google Colab提供了各种预构建的笔记本，帮助您学习Python和探索各种库和概念。...Numpy在科学计算、数据分析和机器学习应用中被广泛使用。 主要特点 数组（ndarray）：Numpy的基础多维数组对象。它允许在大型数组上进行快速操作，并提供了一种方便的存储和操作数据的方式。
除了高性能计算 (HPC) 项目的一小群研究人员能够将开发的代码放在超级计算机上运行之外，绝大多数人都只能依靠自己专用的计算机进行开发。...您在具有大型数据集的大型模型上进行训练，但仅在一台计算机上运行使您无法在合理的时间内获得结果。 这两个原因往往会让您希望在集群上运行机器学习训练。...要解决第二个难题，您可以将单个模型分布在集群上以实现更快的训练。 这两种解决方案都要求您能够在集群上以一致的方式成功复现开发训练设置。...我是否使用了正确的硬件库 和硬件库版本？ 当运行环境大同小异时，为什么我的训练代码在自己的计算机上可以正常工作，而在同事的计算机上就会崩溃？ 我今天更新了驱动程序，现在训练变慢/出错了。这是为什么？...您可以获得一个可在集群上扩展的可执行的机器学习软件单元。根据您对训练代码的组织方式，您可以允许脚本执行多种训练变体，以运行超参数搜索实验。 共享您的开发容器也非常轻松。
他们在个人计算机上使用Excel常常面临内存不够用的问题，现在他们可以使用Jupyter这一由伯克利大学开发的有着3500万用户的开源工具。...一个可规模量化的计算机，在云上存储，可以获取任何数据资源，能够实现可视化，网络缓冲，不需要软件安装和维护。目前最流行的分析工具的基础服务器叫Jupyter hub。...重要的是它的主界面看起来就像是Windows或mac或一般的计算机桌面，不同之处在于这窗口能够像计算机程序一样获取巨大的云平台资源。...所以人们提供的是标准的竖井应用，很像70年代的文字处理器应用，而不是分析计算环境要做的任务，它是否提供了云计算中的通用计算机的等价品，在共享存储上有许多应用程序运行，这是第三代。...这就是21世纪的数据分析环境，我也乐于向大家分享，感谢Kris的邀请。 ——Rick McGeer 数据分析不仅在美国，在整个世界也是一个大的主题。能够以最佳方式处理数据的人，也能够建立起更好的经济。
简介 Parsl是一个基于Python的开源（https://github.com/Parsl/parsl）并行编程库，使用户能够并行化 Python 程序并在各类计算资源（例如个人电脑、集群和超算集群...Parsl 与 Jupyter notebook无缝协作，允许笔记本中的应用程序并行执行并在远程资源上执行。 一次编写，随处运行。从笔记本电脑到超级计算机Parsl 脚本独立于执行环境。...可以在一个或多个执行资源上执行单个脚本，而无需修改脚本。 Parsl已应用于多个科学领域的工作流中，在多个大型超算集群部署和验证，如美国国家能源研究科学计算中心(NESRC)等。...Parsl 程序提交要在分布在远程计算机上的工作线程上运行的任务。这些任务的说明包含在用户使用 Python 函数定义的“应用程序”中。...每台远程计算机（例如，超级计算机上的节点）都有一个管理工作线程的“执行器”。Parsl 可用的远程资源由“提供者”获取， 它将执行器放置在具有“启动器”的系统上。
数据科学家被称为21世纪最性感的工作。大多数公司在他们的流程和核心任务中采用了一些数据科学的方式自动或手动分析他们的客户群。...不幸的是，对于软件工程师来说，这些notebook和凌乱的脚本就像劣质原型设计，将其转化为能够在生产环境稳定运行的东西还需要很多时间。那么如何弥补这一问题呢？...进行代码管理 版本控制系统，记录一个文件或一组文件随时间的变化的每一个节点，以便以后可以查看特定节点的内容。...除了在多人开发时需要版本控制外，推荐单独工作时也要使用，将代码将存储在项目库中，不仅可以规范代码操作，在需要共享给其他项目成员时可以方便进行访问，如果在某人的笔记本电脑上不仅共享麻烦，还很有可能会丢失。...针对这个问题我们可以对运行环境进行容器化，将整个运行环境打包成容器，部署的时候将部署完整的虚拟化环境，例如本篇文章的作者Valohai 公司的Jupyhai可以将本地 Jupyter notebook运行在
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
