独家 | 2种数据科学编程中的思维模式,了解一下(附代码)

作者:Srini Kadamati

翻译:梁傅淇

校对:丁楠雅

本文约2500字,建议阅读10分钟。

本文以具体的例子阐释了如何最优化原型思维模式及生产流思维模式的应用。

数据科学的完整流程一般包含以下几个组成部分:

  • 数据收集
  • 数据清洗
  • 数据探索和可视化
  • 统计或预测建模

虽然这些组成部分有助于我们理解数据科学的不同阶段,但对于编程工作流并无助益。

通常而言,在同一个文件中覆盖完整的流程将会导致Jupyter Notebook、脚本变成一团乱麻。此外,大多数的数据科学问题都要求我们在数据收集、数据清洗、数据探索、数据可视化和统计/预测建模中切换。

但是还存在更好的方法来组织我们的代码!在这篇博客中,我将介绍大多数人在做数据科学编程工作的时候切换的两套思维模式:原型思维模式和生产流思维模式

原型思维模式强调

生产流思维模式强调

某部分代码的迭代速度

整体工作流程的迭代速度

更少的抽象(直接修改代码和数据类型)

更多的抽象(修改参数)

代码更松散(模块化程度低)

代码更结构化(模块化程度高)

帮助人们更了解代码和数据

帮助电脑更自动地运行代码

我个人使用JupyteLab来进行整个流程的操作(包括写原型代码和生产流代码)。我建议至少使用JupyteLab来写原型代码:

JupyteLab: http://jupyterlab.readthedocs.io/en/stable/getting_started/installation.html

借贷俱乐部数据

为了更好地理解原型和生产流两种思维模式,我们来处理一些真实的数据。我们将使用个人对个人的借贷网站——借贷俱乐部上面的借贷数据。跟银行不同,借贷俱乐部自身并不借钱,而是为贷款人提供一个市场以贷款给因不同的原因(比如维修、婚礼)需要借款的个人。

借贷俱乐部网站: https://www.dataquest.io/blog/programming-best-practices-for-data-science/www.lendingclub.com

我们可以使用这个数据来建立一个模型,判断一个给定的贷款申请是否会成功。这篇博客中,我们不会深入到建立机器学习模型工作流。

借贷俱乐部提供关于成功的贷款(被借贷俱乐部和联合贷款人通过的贷款)和失败的贷款(被借贷俱乐部和联合贷款人拒绝的贷款,款项并没有转手)的详尽历史数据。打开他们的数据下载页,选择2007-2011年,并下载数据:

数据下载页: https://www.lendingclub.com/info/download-data.action

原型思维模式

在原型思维模式中,我们比较关心快速迭代,并尝试了解数据中包含的特征和事实。创建一个Jupyter Notebook,并增加一个Cell来解释:

  • 你为了更好地了解借贷俱乐部而做的所有调查
  • 有关你下载的数据集的所有信息

首先,让我们将csv文件读入pandas:

import pandas as pd loans_2007 = pd.read_csv('LoanStats3a.csv') loans_2007.head(2)

我们得到两部分输出,首先是一条警告信息:

/home/srinify/anaconda3/envs/dq2/lib/python3.6/site-packages/IPython/core/interactiveshell.py:2785: DtypeWarning: Columns (0,1,2,3,4,7,13,18,24,25,27,28,29,30,31,32,34,36,37,38,39,40,41,42,43,44,46,47,49,50,51,53,54,55,56,57,58,59,60,61,62,63,64,65,66,67,68,69,70,71,72,73,74,75,76,77,78,79,80,81,82,83,84,85,86,87,88,89,90,91,92,93,94,95,96,97,98,99,100,101,102,103,104,105,106,107,108,109,110,111,112,113,114,115,116,117,118,119,120,121,123,124,125,126,127,128,129,130,131,132,133,134,135,136,142,143,144) have mixed types. Specify dtype option on import or set low_memory=False. interactivity=interactivity, compiler=compiler, result=result)

然后是数据框的前5行,这里我们就不展示了(太长了)。

警告信息让我们了解到如果我们在使用pandas.read_csv()的时候将low_memory参数设为False的话,数据框里的每一列的类型将会被更好地记录。

第二个输出的问题就更大了,因为数据框记录数据的方式存在着问题。JupyterLab有一个内建的终端,所以我们可以打开终端并使用bash命令head来查看原始文件的头两行数据。

head -2 LoanStats3a.csv

原始的csv文件第二行包含了我们所期望的列名,看起来像是第一行数据导致了数据框的格式问题:

Notes offered by Prospectus https://www.lendingclub.com/info/prospectus.action

增加一个Cell来说明你的观察,并增加一个code cell来处理观察到的问题。

import pandas as pd loans_2007 = pd.read_csv('LoanStats3a.csv', skiprows=1, low_memory=False)

在借贷俱乐部下载页查看数据字典以了解哪些列没有包含对特征有用的信息。Desc和url列很明显就没有太大的用处。

loans_2007 = loans_2007.drop(['desc', 'url'],axis=1)

然后就是将超过一半以上都缺失值的列去掉,使用一个cell来探索哪一列符合这个标准,再使用另一个cell来删除这些列。

loans_2007.isnull().sum()/len(loans_2007) loans_2007 = loans_2007.dropna(thresh=half_count, axis=1)

因为我们使用Jupyter Notebook来记录我们的想法和代码,所以实际上我们是依赖于环境(通过IPython内核)来记录状态的变化。这让我们能够自由地移动cell,重复运行同一段代码,等等。

通常而言,原型思维模式专注于:

  • 可理解性
    • 使用Markdown cell来记录我们的观察和假设
    • 使用一小段代码来进行真实的逻辑操作
    • 使用大量的可视化和计数
  • 抽象最小化
    • 大部分的代码都不在函数中(更为面向对象)

我们会花时间来探索数据并且写下我们采取哪些步骤来清洗数据,然后就切换到工作流模式,并且将代码写得更强壮一些。

生产流模式

在生产流模式,我们会专注于写代码来统一处理更多的情况。比如,我们想要可以清洗来自借贷俱乐部的所有数据集的代码,那么最好的办法就是概括我们的代码,并且将它转化为数据管道。数据管道是采用函数式编程

的原则来设计的,数据在函数中被修改,并在不同的函数之间传递:

函数式编程教程: https://www.dataquest.io/blog/introduction-functional-programming-python/

这里是数据管道的第一个版本,使用一个单独的函数来封装数据清洗代码。

import pandas as pd def import_clean(file_list): frames = [] for file in file_list: loans = pd.read_csv(file, skiprows=1, low_memory=False) loans = loans.drop(['desc', 'url'], axis=1) half_count = len(loans)/2 loans = loans.dropna(thresh=half_count, axis=1) loans = loans.drop_duplicates() # Drop first group of features loans = loans.drop(["funded_amnt", "funded_amnt_inv", "grade", "sub_grade", "emp_title", "issue_d"], axis=1) # Drop second group of features loans = loans.drop(["zip_code", "out_prncp", "out_prncp_inv", "total_pymnt", "total_pymnt_inv", "total_rec_prncp"], axis=1) # Drop third group of features loans = loans.drop(["total_rec_int", "total_rec_late_fee", "recoveries", "collection_recovery_fee", "last_pymnt_d", "last_pymnt_amnt"], axis=1) frames.append(loans) return frames frames = import_clean(['LoanStats3a.csv'])

在上面的代码中,我们将之前的代码抽象为一个函数。函数的输入是一个文件名的列表,输出是一个数据框的列表。

普遍来说,生产流思维模式专注于:

  • 适合的抽象程度
    • 代码应该被泛化以匹配的类似的数据源
    • 代码不应该太过泛化以至于难以理解
  • 管道稳定性
    • 可依赖程度应该和代码运行的频率相匹配(每天?每周?每月?)

在不同的思维模式中切换

假设我们在运行函数处理所有来自借贷俱乐部的数据集的时候报错了,部分潜在的原因如下:

  • 不同的文件当中列名存在差异
  • 超过50%缺失值的列存在差异
  • 数据框读入文件时,列的类型存在差异

在这种情况下,我们就要切换回原型模式并且探索更多。如果我们确定我们的数据管道需要更为弹性化并且能够处理数据特定的变体时,我们可以将我们的探索和管道的逻辑再结合到一起。

以下是我们调整函数以适应不同的删除阈值的示例:

import pandas as pd def import_clean(file_list, threshold=0.5): frames = [] for file in file_list: loans = pd.read_csv(file, skiprows=1, low_memory=False) loans = loans.drop(['desc', 'url'], axis=1) threshold_count = len(loans)*threshold loans = loans.dropna(thresh=half_count, axis=1) loans = loans.drop_duplicates() # Drop first group of features loans = loans.drop(["funded_amnt", "funded_amnt_inv", "grade", "sub_grade", "emp_title", "issue_d"], axis=1) # Drop second group of features loans = loans.drop(["zip_code", "out_prncp", "out_prncp_inv", "total_pymnt", "total_pymnt_inv", "total_rec_prncp"], axis=1) # Drop third group of features loans = loans.drop(["total_rec_int", "total_rec_late_fee", "recoveries", "collection_recovery_fee", "last_pymnt_d", "last_pymnt_amnt"], axis=1) frames.append(loans) return frames frames = import_clean(['LoanStats3a.csv'], threshold=0.7)

默认值是0.5,如果需要的话,我们也可以改为0.7。

这是一些将管道改得更为弹性的方式,按推荐程度降序排列:

  • 使用可选参数、位置参数和必需参数
  • 在函数中使用if / then语句以及使用布尔输入值作为函数的输入
  • 使用新的数据结构(字典,列表等)来表示特定数据集的自定义操作

这个管道可以扩展到数据科学工作流程的所有阶段。这是一些伪代码,可以总揽它的结构。

import pandas as pd def import_clean(file_list, threshold=0.5): ## Code def visualize(df_list): # Find the most important features and generate pairwise scatter plots # Display visualizations and write to file. plt.savefig("scatter_plots.png") def combine(df_list): # Combine dataframes and generate train and test sets # Drop features all dataframes don't share # Return both train and test dataframes return train,test def train(train_df): # Train model return model def validate(train_df, test-df): # K-fold cross validation # Return metrics dictionary return metrics_dict frames = import_clean(['LoanStats3a.csv', 'LoanStats2012.csv'], threshold=0.7) visualize(frames) train_df, test_df = combine(frames) model = train(train_df) metrics = test(train_df, test_df) print(metrics)

下一步

如果你对加深理解和练习感兴趣的话,我推荐:

  • 了解如何将你的管道转化为作为一个模块或者从命令行中单独运行的脚本: https://docs.python.org/3/library/main.html
  • 了解如何使用Luigi来构建更复杂的、能够在云上面运行的管道 https://marcobonzanini.com/2015/10/24/building-data-pipelines-with-python-and-luigi/
  • 了解更多有关数据工程的信息: https://www.dataquest.io/blog/tag/data-engineering/

原文标题:

Programming Best Practices For Data Science

原文链接:

https://www.kdnuggets.com/2018/08/programming-best-practices-data-science.html

译者简介

梁傅淇,软件工程本科在读,主修大数据分析,喜好搜索、收集各类信息。希望能在THU数据派平台认识更多对数据分析感兴趣的朋友,一起研究如何从数据挖掘出有用的模型和信息。

转载须知

如需转载,请在开篇显著位置注明作者和出处(转自:数据派ID:datapi),并在文章结尾放置数据派醒目二维码。有原创标识文章,请发送【文章名称-待授权公众号名称及ID】至联系邮箱,申请白名单授权并按要求编辑。

发布后请将链接反馈至联系邮箱(见下方)。未经许可的转载以及改编者,我们将依法追究其法律责任。

原文发布于微信公众号 - 数据派THU(DatapiTHU)

原文发表时间:2018-10-11

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Java学习网

编程能力七段论

编程能力七段论 前言   程序员的编程技能随着经验的积累,会逐步提高。我认为编程能力可以分为一些层次。   下面通过两个维度展开编程能力层次模型的讨论。   一...

36450
来自专栏架构专栏

Java程序员年薪40W,他1年走了别人5年的路(技术提炼建议收藏)

介绍一下,这一次笔者笔下的这位大牛,lison,复旦大学工程硕士,专注技术十年,产品控、代码控,拥有丰富的项目经验,主持研发了多个成功上线的大型互联网项目。热爱...

18810
来自专栏java达人

通过人工智能编写自修改/自完善的程序

作者:Kory Becker 译者: Mr派 来源:http://www.primaryobjects.com/2013/01/27/using-artific...

23780
来自专栏PPV课数据科学社区

【每日一课】Python入门训练营第一周任务第三节视频

Python入门训练营在线试听第一章第三节:02_Python环境安装(2) 《Python入门(初级)学习班第一期》第一周任务 请大家在学习完第一周的课程后,...

41860
来自专栏程序人生 阅读快乐

流畅的Python

流畅的Python》一书致力于帮助Python开发人员挖掘这门语言及相关程序库的优秀特性,避免重复劳动,同时写出简洁、流畅、易读、易维护,并且具有地道Pytho...

32610
来自专栏NetCore

一个让人遗忘的角落--Exception(一)

很诱人的标题,今天不是给大家介绍,而是跟大家讨论些问题。 在做开发的这几年中,大大小小的项目也经历了很多,但无论那个项目中,都没有真正的对Exception进...

20890
来自专栏大数据钻研

证明你是坏程序员的7个迹象

你是一个好程序员还是坏程序员? 下面这七种迹象表明,你可能正在往坏的方向发展。 1)开始编码之前没有计划 说到这一点,我自己其实也并没有做到,我总是喜欢直接编码...

29460
来自专栏CDA数据分析师

分享 | 8条数据清洗经验,收藏备用!

文 | Philip Guo 来自Chaoslog 平时习惯了在某些特定的数据集合上做实验,简单的tokenization、预处理等步骤就足够了。但是在数据...

26650
来自专栏喔家ArchiSelf

IOT语义交互性之交叉

这个系列文章描述了一个单一的语义数据模型来支持物联网和建筑、企业和消费者的数据转换。 这种模型必须简单可扩展, 以便能够在各行业领域之间实现插件化和互操作性。 ...

10420
来自专栏人工智能LeadAI

数据清洗经验

平时习惯了在某些特定的数据集合上做实验,简单的tokenization、预处理等步骤就足够了。但是在数据越来越大的年代,数据清洗越来越重要,也越来越复杂。看到P...

41040

扫码关注云+社区

领取腾讯云代金券