python数据处理，pandas使用方式的变局
前段时间在公司技术分享会上，同事介绍了目前市面上关于自动生成 pandas 代码的工具库。我们也尝试把这些工具库引入到工作流程中。经过一段时间的实践，最终还是觉得不适合，不再使用这些工具库。
今天就来给大家说一下其中的缘由，以及有什么其他可能的解决方案。
操作生成代码
pandas 可以说是办公自动化的神器，毕竟大部分的任务都需要处理结构化数据。目前python生态中，已经有好几款能通过操作界面，自动生成 pandas 代码的工具库。
比如 Mito :
比如 pandas gui:
比如 dtale :
他们可以通过你的手工操作，把操作过程中的代码生成出来。
听起来很不错吧。以后就不用自己写 pandas 就能轻松得到自动化处理脚本。事实却并非如此。
其实，自动生成代码这件事情，实现并不难。我并不是在说大话，因为以前我也制作过这种工具。但是最终因为发现了工具的瓶颈，而没有更新下去。当初我发现的那些工具瓶颈，恰恰是我们公司放弃这些工具库的主要原因。
工程化更重要
当初我之所以制作自动化生成pandas工具，主要是因为我会经常到 kaggle 上找一些数据做数据探索。
数据探索是一件非常"反代码"的事情，这是因为在你拿到数据之后，此时你并不知道下一步该怎么处理它。所以通常情况下，我会选择使用 excel 的透视表完成这项任务。但是往往需要把最终的探索过程自动化。这就迫使我使用pandas做数据探索。
我会经常写出类似下面的代码结构：
其实那时候我已经积累了不少常用的pandas自定义功能模块。但是，这种模式不方便分享。毕竟数据处理的常用功能其实非常多，套路和技巧如果都制作成模块，在公司团队协作上，学习成本很高。
那么，有没有其他的工具可以解决？期间我尝试过一些 BI 工具的使用。比如 power bi 的数据处理工具 power query。它可以解决一部分的问题，但远远没达到 pandas 的灵活。另一个让我印象深刻的工具就要数 tabluea 的数据工具 —— prep
本质上它与 power query 大同小异，不过它可以让流程可视化。下面是 prep 的工作界面：
每次操作都能生成在流程图上体现，并且每一个节点都可以查看它的输入数据和输出结果。
那时候我一下子明白了，为什么不管怎么规范和模块化pandas代码，总是感觉很难管理。
我们需要的并不是自动生成pandas代码，而是生成能体现流程的代码信息。
其实这也是我学习pandas的方法论，集中精力学习少数核心的方法，更重要的是学会数据流的思维。比如在我编写的pandas专栏中，就有一个案例讲解如何编排你的pandas代码：
说回现有的一些自动生成代码的工具库，它们无一例外只是生成一大串密密麻麻的代码。你无法从中得知操作意图。过几天再看这些代码，你都无从下手。
有人会说，你可以自己定义函数，封装工具生成出来的代码。其实我们公司一开始也是这么干，但实际情况是，我们经常因为需求变化，而去改动里面的逻辑。此时因为工具无法再次重现你的操作步骤。你只能默默手工把代码实现一遍。
总的来说，这些工具的缺点是：
- 没有可视化操作流程节点
- 生成的代码没有函数化
- 无法自定义功能
由此可以得知它的应用场景是一些非常简单或无须长期维护代码的任务。
既然上面说的 tableau prep 这么好，为什么不直接用它？因为它是收费的。并且它也无法做到自定义功能。
难道就不能破局吗？其实我从未放弃。
一切皆有可能
现在我们来推敲一下，目前有没有足够的工具实现"假想"。
要做可视化操作工具，首当其冲就是要制作操作界面。目前 python 已经有了许多 web ui 框架，其中本人觉得最灵活最有潜力的就是 nicegui 。我也已经推出了一系列相关的实战示例视频，其实我之所以学习 nicegui，正是希望为 pandas 以及 pybi-next 打造各种辅助工具。
用 nicegui 做一个大概的功能界面非常容易：
该怎么样设计每一个功能的结构？比如，要实现上图功能区中的筛选功能，我们可以把每个功能视为一个函数：
想办法让函数的各个参数映射成一个界面组件：
这是一个在 juperter notebook 的一个界面组件库给到我的启发。利用装饰器，函数定义的参数类型等信息，可以自动根据函数创建对应的可视化界面。
在导出代码的时候，我们无须把函数里面的散乱的代码输出，而是直接输出函数定义，以及函数的调用即可。
也就是说，假如用户在界面上操作了两次筛选功能，生成的代码是这样子：
这就解决了输出代码过于散乱的问题。
不仅如此，使用者同样可以通过这种方式轻易制作自定义的功能。
那么，怎么可以制作出类似 tableau prep 的操作流程界面？由于 nicegui 本身的灵活性，我们可以充分利用前端强大的资源，在我之前的文章中，就介绍过关于这方面的实现。
只要整体机制能跑通，剩下的只是实现细节而已。接下来，我也会把制作过程涉及到的一些有用的python知识分享出来。
不要忘记一键三连。你的点赞、收藏、关注，是我创作的动力。