如何用 pipenv 克隆 Python 教程代码运行环境?(含视频讲解)

咱们的 Python 教程代码已经可以免安装在线运行了。但如果你希望在本地克隆运行环境,请参考本文的步骤说明。

疑惑

这些日子,我用课余时间,忙着把自己知识星球的分享文章转移到语雀平台,以便于订阅用户阅读和获得即时推送。目前该分享空间已经初具规模。

回过头来一看,专栏和微信公众号后台,积攒了不少用户的提问。

例如这位用户问:

为什么我在binder上新建的文件再次打开后就丢失了?

问题来自于我的《如何用iPad运行Python代码?》一文。

咱们用 mybinder ,是为了给读者们提供一个一致性的代码运行环境。

你可以免安装,运行样例代码。可以修改代码重新运行,甚至可以上传数据文件,做自己的分析。

我需要补充说明一个重要事项—— mybinder 为咱们提供的 Python 运行环境资源,是共享的,并非永久独占空间。

每个同学,打开相同的一个链接后,mybinder 都开启一个独立的环境,大家互不干扰。

但是,Python 环境的运行,是需要后台的资源支持的。

你每打开一个 mybinder 的链接,后台都要给你提供对应的 CPU、内存、硬盘等一系列资源。

如果这些资源被大量用户长期占用,平台无法承受。新的用户也就无法再加入使用了。

mybinder 平台和用户的约定,是如果你超过十分钟“不活跃”(inactivity),系统就会关闭你的会话(session),以回收资源,服务更多有需要的用户。

你运行结束关闭浏览器,超过10分钟,再用该链接重新访问,所做的改动自然就都不见了。

也正因如此,我才在教程的末尾,为你提供了源代码的 github repo 地址。

你可以选择在自己的机器上,克隆教程 Python 运行环境。

哪些情况下,你会需要在本地克隆 Python 运行环境呢?

如果你的数据比较大,或者安全性要求较高,上传到云端不方便;

如果你怕因为网络稳定性的原因,导致代码运行中途网络出现问题,前功尽弃;

如果你运行的深度学习模型,需要 GPU 或者大容量内存的支持……

遇到上述情况,不要紧。

下面我给你介绍如何使用 pipenv ,方便地克隆教程指定的 Python 运行环境,在本地运行 Jupyter Notebook。

流程

咱们以《如何用 Python 和 API 收集与分析网络数据?》这篇文章为例。

文章结尾部分,我给你提供了对应的 github repo 的代码地址(http://t.cn/R3usEti)。

你也可以直接通过这个链接(http://t.cn/R3usDi9),直接下载包含源代码与运行环境的压缩包。

解压之后,你会看到目录中包含以下配置相关文件:

  • environment.yml
  • postBuild
  • Pipfile

其中 environment.ymlpostBuild 是为 mybinder 使用的。本地克隆运行环境的时候,你可以忽略它们。

请注意其中的 Pipenv 文件。

我们打开 Pipenv 文件,看看内容:

[[source]]
url = "https://pypi.org/simple"
verify_ssl = true
name = "pypi"

[packages]
ipykernel = "*"
plotnine = "*"
requests = "*"

[dev-packages]

[requires]
python_version = "3.6"

其中 requires 区域,说明了本教程使用的环境,是 Python 3.6 版本。

packages 区域,告诉 pipenv ,需要给我们准备的软件包都有哪些。

下面我们看看如何用 pipenv 克隆运行环境。

你需要检查是否已经安装了 Anaconda 3。

如果你还没有安装,请参考我之前为你制作的这篇教程 《如何安装Python运行环境Anaconda?(视频教程)》把它安装好,并且学习如何在终端进入解压后的压缩包。

我把后续的详细操作步骤,录了一段视频,你可以直接点开这个链接(http://t.cn/R1cWIWr),播放该视频。

视频内容

如果你之前有安装经验,也可以根据下面的文字说明操作。

之后,执行以下语句:

pip install pipenv

这会为我们安装 pipenv 工具,以便处理 Pipfile。

第二步,执行:

pipenv install --skip-lock

这个命令,可以让 Python 根据我们目前的 Pipenv 配置,自动构建环境,并且从网上把所有需要用到的依赖软件包,都弄下来,安装好。

第三步,执行:

pipenv run python -m ipykernel install --user --name=wangshuyi

这条命令,帮你给 Jupyter Notebook ,安装一个核心组块,把你刚才安装的这些软件包信息,都放在这个组块里。

为了便于在系列教程中重复使用代码,我给这个组块命名为 wangshuyi。

对于一般的教程源代码,上述步骤就可以了。但是因为《如何用 Python 和 API 收集与分析网络数据?》这篇文章,涉及到绘图,而且里面出现中文显示。

我们需要进行一些处理,以便让程序顺利运行,保证中文字符正常显示。

方法是执行下面这条语句:

pipenv run python handle_matplotlib_chinese.py

最后一步,开启 Jupyter Notebook :

jupyter notebook

这时候,你就可以看到熟悉的 Jupyter Notebook 界面了。

注意这个示例代码中,需要你输入自己的 AppCode,所以你需要把其中的“Your AppCode here”字样,替换为你自己的 AppCode值。否则下面的运行会报错。

替换之后,点击菜单栏中的“Cell”,选择“Run All”,看能否正常运行全部代码,并且显示分析结果图形。

如果一切正常,意味着你的 Python 运行环境克隆工作顺利完成。

祝贺你!

背景

有读者留言询问,为什么用了两套不同的虚拟软件包管理工具。

因为很遗憾,本文写作时, mybinder 还不支持 Pipfile 配置文件。

其实,我们这里用到的 Pipfile ,不是 pipenv 这个软件专用的配置文件格式。

它是未来 Python 软件包管理工具 pip 的官方指定配置文件格式。

在未来,如果你用 pip 安装软件,就要跟 Pipfile 打交道。

不过,Python 开源社区的很多举动,进展都很缓慢。

例如 Python 3,已经出来这么久了, Python 2 还没有退休呢。

pip 这种底层的包管理方式,哪是一两天就能发生根本改变的?

pipenv 出现,是因为人们不想等了。

现在,就是现在,我们要用最符合人性的 Python 软件包管理工具。

使用 pipenv,好处有很多。

仅举一例,用 pipenv ,你可以用一条命令,查看当前项目软件包之间的依赖关系。

感觉怎么样?

如果你对 pipenv 感兴趣,想了解它的特性、演进过程,请点击这个链接(http://t.cn/R1cYQSU),查看 PyCon 2018 大会上 Kenneth Reitz 的讲解。

Kenneth Reitz 是谁?

如果你读过我的《如何用 Python 和 API 收集与分析网络数据?》一文,你已经用过他的作品了。

对,“给人用的” (for humans) HTTP 工具,requests,就是他写的。

讨论

你更喜欢在 mybinder 直接在线运行 Python 教程代码,还是喜欢在本地克隆一个完整的运行环境呢?为什么?欢迎留言,把你的经验和思考分享给大家,我们一起交流讨论。

如果你对我的文章感兴趣,欢迎点赞,并且微信关注和置顶我的公众号“玉树芝兰”(nkwangshuyi)。

如果本文可能对你身边的亲友有帮助,也欢迎你把本文通过微博或朋友圈分享给他们。让他们一起参与到我们的讨论中来。

延伸阅读


原文发布于微信公众号 - 玉树芝兰(nkwangshuyi)

原文发表时间:2018-05-28

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏磨磨谈

如何测量Ceph OSD内存占用

这个工具我第一次看到是在填坑群里面看到,是由研发-北京-蓝星同学分享的,看到比较有趣,就写一篇相关的记录下用法

18920
来自专栏Golang语言社区

Golang适合高并发场景的原因分析

典型的两个现实案例: 我们先看两个用Go做消息推送的案例实际处理能力。 360消息推送的数据: 16台机器,标配:24个硬件线程,64GB内存 Linux K...

59470
来自专栏IT米粉

Redis常见的应用场景解析

缓存是Redis最常见的应用场景,之所有这么使用,主要是因为Redis读写性能优异。而且逐渐有取代memcached,成为首选服务端缓存的组件。而且,Redis...

83980
来自专栏芋道源码1024

小谈 Java 单元测试

总之有无数种理由不想写UT,作为工作不到三年的菜鸟深有体会。之前在点评工作的时候,团队的“UT”都集中于RPC的服务端。为啥带双引号? 因为RPC的服务端没有页...

16830
来自专栏PPV课数据科学社区

【学习】深度解析LinkedIn大数据平台(一)

我在六年前的一个令人兴奋的时刻加入到LinkedIn公司。从那个时候开始我们就破解单一的、集中式数据库的限制,并且启动到特殊的分布式系统套件的转换。这是一件令人...

37240
来自专栏鸿的学习笔记

简单聊聊分布式系统的一致性问题

记得有人说过,分布式系统的所有问题归根结底都是一致性问题。前面文章提到的数据复制,分区以及事务面临的问题都是如何保证数据一致。而分布式系统不同于单机,它不...

9210
来自专栏IT米粉

Redis常见的应用场景解析

Redis是一个key-value存储系统,现在在各种系统中的使用越来越多,大部分情况下是因为其高性能的特性,被当做缓存使用,这里介绍下Redis经常遇到的使用...

39360
来自专栏大数据文摘

技术连载:LinkedIn大数据后台如何运作-1

178110
来自专栏cloudskyme

众推平台架构——分布式爬虫

分布式爬虫架构 经过新一轮的投票,项目的范围已经基本确定。 ? 大家决定 全力以付,集中攻克“分布式爬虫”。 分布式爬虫架构1 使用队列,即生产者,消费都模式。...

36860
来自专栏互联网技术栈

Zookeeper 使用场景

10220

扫码关注云+社区

领取腾讯云代金券