前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Jupyter Notebooks数据科学最佳实践指南

Jupyter Notebooks数据科学最佳实践指南

作者头像
AI研习社
发布2019-05-12 12:04:37
1.1K0
发布2019-05-12 12:04:37
举报
文章被收录于专栏:AI研习社AI研习社

本文为 AI 研习社编译的技术博客,原标题 : Bringing the best out of Jupyter Notebooks for Data Science 作者 | Parul Pandey 翻译 | 孙稚昊2 校对 | 邓普斯•杰弗 审核 | 酱番梨 整理 | 立鱼王 原文链接: https://towardsdatascience.com/bringing-the-best-out-of-jupyter-notebooks-for-data-science-f0871519ca29 注:本文的相关链接请访问文末二维码

照片由 Aaron Burden 在Unsplash上提供

让我们重新审视Jupyter notebook是什么和能解决什么问题

Netflix 致力于为1亿3千万用户提供个性化内容。Netflix的数据科学家和工程师的一个与数据有效交互的工具是Jupyter notebook。Notebook 提供了可合作,可延伸,可扩展,和可复现的数据科学。对于我们来说,Jupyter notebook 是快速制作原型和探索分析的首选。然后,有很多我们没有注意到的东西。许多Jupyter的功能都没被发现,并未被充分使用。然后来看看Jupyter Notebook的许多好功能,它们能提高我们的效率。

内容列表

1. 执行Shell命令

2. Jupyter 主题

3. Notebook 插件

4. Jupyter 组件

5. Qgrid

6. 幻灯片展示

7. 插入URL, PDF 和 Youtube 视频

1.执行命令行命令

Notebook是新的命令行窗口。

命令行是用文本和电脑交互的手段。最有名的Unix 命令行是 Bash (Bourne Again Shell )。Bash 是大部分现有的Unix系统和Windows的类似Unix 工具里面的默认命令行。

现在,当我们使用python解释器时,我们需要不停地在命令行和IDE 之间切换,当我们需要使用命令行工具时。不过,Jupyter Notebook给了我们在notebook中运行shell命令的能力,在指令前多放一个!就行了。任何命令行的指令都可以在IPython 中运行,只要前面多一个!。

代码语言:javascript
复制
In [1]: !ls
example.jpeg list tmp

In [2]: !pwd
/home/Parul/Desktop/Hello World Folder'

In [3]: !echo "Hello World"
Hello World

我们可以像下面这样把值传入和传出shell 命令:

代码语言:javascript
复制
In [4]: files= !ls

In [5]: print(files)
['example.jpeg', 'list', 'tmp']

In [6]: directory = !pwd

In [7]: print(directory)
['/Users/Parul/Desktop/Hello World Folder']

In [8]: type(directory)
IPython.utils.text.SList

注意,返回结果的数据类型并不是list。

2. Jupyter 主题

改变你的Jupyter notebook的主题!

如果你厌倦顶着Jupyter notebook的白背景,这些主题会很适合你。有的主题可以突出现实代码。你可以在这里找到Jupyter 的主题。我们来看看。

安装:

代码语言:javascript
复制
pip install jupyterthemes

列出所有主题

现在,可用的主题包括 chesterish, grade3, gruvboxd, gruvboxl monokai, oceans16, onedork, solarizedd ,solarizedl。

代码语言:javascript
复制
# selecting a particular theme

jt -t <name of the theme>
# reverting to original Theme
jt -r
jt -t <name of the theme>
# reverting to original Theme
jt -r

每次更换主题后,你都需要刷新jupyter notebook页面来使主题生效。

同样的指令也可以在Jupyter notebook内执行,只要在前面加上!

左:原本| 中间: Chesterish主题 | 右:solarizedl 主题

3. Notebook 插件

拓展可能性

Notebook 插件可以让你用与众不同的方式使用Jupyter Notebooks. Notebook 插件 (也叫nbextensions)是在Notebook前端加载的Javascript 模块。这些插件可以修改用户体验和界面。

安装

用conda安装:

代码语言:javascript
复制
conda install -c conda-forge jupyter_nbextensions_configurator

或者用pip安装:

代码语言:javascript
复制
pip install jupyter_contrib_nbextensions && jupyter contrib nbextension install

#incase you get permission errors on MacOS,

pip install jupyter_contrib_nbextensions && jupyter contrib nbextension install --user

现在启动一个Jupyter notebook,你可以看到NBextension 标签,里面有很多选项。点击一个,你就可以看到神奇的事情。

以防你找不到这个标签,另一个小的nbextension选项在菜单的编辑 标签下。

让我们来看看几个有用的插件。

1. Hinterland

Hinterland 可以让你在每敲一次键盘时都弹出代码补全,而不是以前那样要按一次tab键。这使得Jupyter Notebook 的自动补全和主流IDE, 比如PyCharm相同。

2. 代码片段

这个插件在工具栏中增加了一个下拉框,它让你很容易地在代码单元格中插入代码片段。

3. 分割Notebook单元格

这个插件可以把一个单元格分割成左右相连的两个。

4. 内容表格

这个插件会收集所有的标题,并把他们在一个浮动的窗口中展示,作为一个左边框或者一个导航栏。这个插件还是可拖拽,,可缩小且可取消。

5. 标题

可折叠标题使得notebook拥有可以折叠的部分,用标题分割开。如果你有大量混乱的代码,你可以把他们折叠起来,以防不停地向下滑。

6. Autopep8

Autopep8 可以一键重新格式化/美化代码内容。如果你对不停按空格来美化代码感到厌烦,autopep8是你的救星。

4.Jupyter 组件

让Notebook更具交互性

组件是python里面的事件性类,它们可以在浏览器中显示,经常可以用来做一些控制,比如滑动条,文本框等等。组件可以用来给Notebook制造交互性界面。

安装

代码语言:javascript
复制
# pip
pip install ipywidgets
jupyter nbextension enable --py widgetsnbextension

# Conda
conda install -c conda-forge ipywidgets

#Installing ipywidgets with conda automatically enables the extension

让我们来看看一些组件。完整的细节在这个Gtihub项目中。

交互

交互函数(ipywidgets.interact)可以自动地创建一个用户界面(UI)来控制对代码和数据的探索。它是最简单的IPython组件。

代码语言:javascript
复制
# Start with some imports!

from ipywidgets import interact
import ipywidgets as widgets

1.基本组件

代码语言:javascript
复制
def f(x):
    return x
    
# Generate a slider 
interact(f, x=10,);
代码语言:javascript
复制
# Booleans generate check-boxes
interact(f, x=True);
代码语言:javascript
复制
# Strings generate text areas
interact(f, x='Hi there!');

2. 高级组件

这里有一些有用的高级组件

播放组件

播放组件用来播放一些动画,通过以一定速度来遍历一列数据。滑动组件的值与播放器相关。

代码语言:javascript
复制
play = widgets.Play(
    # interval=10,
    value=50,
    min=0,
    max=100,
    step=1,
    description="Press play",
    disabled=False
)
slider = widgets.IntSlider()
widgets.jslink((play, 'value'), (slider, 'value'))
widgets.HBox([play, slider])

日期选择器

日期选择组件在Chrome 和IE Edge 浏览器中有效。不过现在在Firefox 或者Safari中无效,因为他们不支持HTML 日期输入选项。

代码语言:javascript
复制
description='Pick a Date',
    disabled=False
)

颜色选择器

代码语言:javascript
复制
widgets.ColorPicker(
    concise=False,
    description='Pick a color',
    value='blue',
    disabled=False
)

菜单

代码语言:javascript
复制
tab_contents = ['P0', 'P1', 'P2', 'P3', 'P4']
children = [widgets.Text(description=name) for name in tab_contents]
tab = widgets.Tab()
tab.children = children
for i in range(len(children)):
    tab.set_title(i, str(i))
tab

5. Qgrid

让数据格更具交互性

Qgrid也是一个Jupyter notebook的组件但主要用在数据格上。它用 SlickGrid 来在Jupyter notebook中生成pandas的DataFrame。这让你可以很直观地通过滑动,排序和过滤来探索数据,还有通过双击单元格来编辑Dataframe中的一条数据。这个Gtihub项目包含更多细节和例子。

安装

用pip来安装:

代码语言:javascript
复制
pip install qgrid
jupyter nbextension enable --py --sys-prefix qgrid

# only required if you have not enabled the ipywidgets nbextension yet
jupyter nbextension enable --py --sys-prefix widgetsnbextension

用conda 来安装:

代码语言:javascript
复制
# only required if you have not added conda-forge to your channels yet
conda config --add channels conda-forge

conda install qgrid

6.幻灯片显示

代码是交流的有效工具。

Notebook是用来教授和编写可解释代码的有效工具。然而,当我们想要展示我们的作品时,我们要么展示整个notebook (全部的代码),或者借助powerpoint。不必再这样了。Jupyter notebooks 很容易被转化成幻灯片,我们可以很简单地选择哪些要展示,哪些藏起来。

有两种方式把notebook转化为幻灯片:

1. Jupyter Notebook的内置幻灯片选项

打开新的notebook,并打开菜单 View ->Cell Toolbar -> Slidesshow。一个浅灰色的选项在每个单元格上方显示,你可以自定义为幻灯片。

现在进入notebook所在的文件夹,并输入下面的代码

代码语言:javascript
复制
jupyter nbconvert *.ipynb --to slides --post serve

幻灯片在8000端口展示。还有一个.html 文件在同目录下生成,你可以在里面看到幻灯片。

改成黑色背景看起来更适于教课。让我们采用 “onedork”主题,然后再把notebook转化为幻灯片。

这些幻灯片有一个缺点:你可以看到代码,但你不能编辑。RISE插件能解决这个问题。

2. 使用 RISE 插件

RISE 是Reveal.js的缩写-- Jupyter/IPython幻灯片展示插件。它利用 reveal.js来运行幻灯片展示。这很有用,因为它让我们可以不用退出幻灯片模式就运行代码。

安装

  1. 使用conda (推荐):
代码语言:javascript
复制
conda install -c damianavila82 rise

2. 用pip (不推荐)

代码语言:javascript
复制
pip install RISE

然后下面两部来把JS和CSS安装到合适的地方:

代码语言:javascript
复制
jupyter-nbextension install rise --py --sys-prefix

#enable the nbextension:
jupyter-nbextension enable rise --py --sys-prefix

让我们用RISE来运行可交互的幻灯片模式。我们重新打开之前的Jupyter notebook。现在我们看到了一个新的插件叫“进入/退出RISE幻灯片”

点击它,然后就好啦,欢迎进入可交互幻灯片。

看这篇文档来获取更多信息。

6. 插入链接,PDF文档,和YouTube视频

就在这里展示!

如果你用了IPython的 display 模块来在Jupyter Notebook中展示页面内容,你就没必要打开链接了。

链接

代码语言:javascript
复制
#Note that http urls will not be displayed. Only https are allowed inside the Iframe

from IPython.display import IFrame
IFrame('https://en.wikipedia.org/wiki/HTTPS', width=800, height=450)

PDF 文档

代码语言:javascript
复制
from IPython.display import IFrame
IFrame(', width=800, height=450)

Youtube 视频

代码语言:javascript
复制
from IPython.display import YouTubeVideo

YouTubeVideo('mJeNghZXtMo', width=800, height=300)

结论

这些都是我从Jupyter Notebooks 中找到的一些有用且值得分享的功能。有些对你来说很浅显,有的可能很陌生。来试试看他们吧。希望它们能节省你的时间,并给你更好的体验。另外,欢迎在下面评论留言。

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2019-03-04,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 AI研习社 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 1.执行命令行命令
  • 2. Jupyter 主题
  • 3. Notebook 插件
  • 4.Jupyter 组件
  • 5. Qgrid
  • 6.幻灯片显示
  • 6. 插入链接,PDF文档,和YouTube视频
  • 结论
相关产品与服务
命令行工具
腾讯云命令行工具 TCCLI 是管理腾讯云资源的统一工具。使用腾讯云命令行工具,您可以快速调用腾讯云 API 来管理您的腾讯云资源。此外,您还可以基于腾讯云的命令行工具来做自动化和脚本处理,以更多样的方式进行组合和重用。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档