Pandas实现分列功能(Pandas读书笔记1)

最近发现自己特愿意扯和分享内容本身无关的事情,下述内容纯闲扯:

pandas应该怎么分享困扰了我好久,但是看我公众号的朋友更困惑的是这个人为啥要分享pandas,分享这个东西有什么用呢?所以我决定先分享pandas能做什么,然后再从基础概念开始分享全面的知识点。我希望我的文章能成为某些朋友的中文API,将来应用遇到困难直接查询我的文章即可!

首先介绍什么是pandas

panda我们很熟悉!蠢萌蠢萌,让人想抱起来捏两下的国宝!

pandas是什么啦!遥记英文老师曾讲S是复数的意思!

那pandas就是!!!!

好吧!pandas的主人貌似是熊猫爱好者,或者最初是用来分析熊猫行为的!

不管怎样,Pandas是基于NumPy 的一种工具,该工具是为了解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型,提供了高效地操作大型数据集所需的工具。pandas提供了大量能使我们快速便捷地处理数据的函数和方法。你很快就会发现,它是使Python成为强大而高效的数据分析环境的重要因素之一。

这段话来自百度百科!

反正就是用于数据分析、数据处理很牛啦!具体有多牛呢!以后我们慢慢来体会!

今天先和大家分享一个Python的小应用!按照某列拆分数据并分别存储至不同文件!

大家可以先下载一下这个文件实验一下!

链接:https://pan.baidu.com/s/1kW0nJoF 密码:56xd

友情提醒!文件有43MB,手机党慎点!

我的文件行数有多少呢?

我们打开看一下!

也许我的个人电脑差一点吧!打开文件用了1分钟,我不太舍得让大家盯着圆圈看一分钟,所以还是略过打开的截图了!

我自己一行一行的数,数了四个小时,一共有57万多行!

如何按照K列镇区的非重复值拆分为独立文件呢!

方法一:勤劳小蜜蜂!

刚刚演示了普通劳动人民是如何按照某列拆分一列的!考虑K列有三十多种可能,勤劳如我也没有操作完!你们感兴趣可以弄一下!

方法二、Excel达人!

Excel强如我的!肯定不会手动筛选然后粘贴了!VBA一串代码搞定!

还是直接用强大如我的阿凯的Excel插件解决问题吧!

然后我就经历了漫长的等待-----未响应-----重新启动从零开始!!

我恨你拿五十多万行的数据欺负我!!

有本事你拿五百万行的数据哇!!!

反正我的插件都解决不了!

方法三、pandas出马!

逼得我非要用pandas!看看Python处理能用多久搞定!

基本上运行完代码后,打开目标文件夹就会发现会有源源不断的新文件生成!其实小编的电脑还是比较差的,台式机基本上打开文件夹就看到里面全是文件了!各位自己试试哦!

我把代码放到下面,简单做下解释!

import pandas as pd #导入pandas包

cf=open(r"D:\按照某列拆分文件测试.csv",encoding='gb18030',errors='ignore') #r代表文本没有转义字符,第一段输入的是打开文件的路径及文件名,encoding后面接的参数是代表使用什么编码gb18030比gb2312更为强大!error代码代表略过有错误的行

df= pd.read_csv(cf) #读取文件

list_township = df['镇区'].drop_duplicates() #删除镇区重复项drop_duplicates()为pandas自带方法!很方便

for township in list_township: #循环遍历列表,前面基础课程分享过

save = df.loc[df["镇区"] == township] #将镇区列等于镇区某个关键字的筛选出来赋值给save变量,中括号内是判断条件,df.loc[]代表将符合筛选条件的筛选出来

save.to_csv('D:/拆分后数据/'+ str(township) + '.csv',index=False,sep=',') #存储至新的文件夹,并且按照筛选条件命名文件

知道有的朋友看到这些代码很头疼!如果不理解没有关系!

本期只是解释小编为什么分享pandas,代码只是顺便分享的!

后续我们从pandas最基础的知识开始分享!

如果你有用Excel处理大数据的需求,学习pandas准没有错!

期待您与我共同成长、共同学习进步!

原文发布于微信公众号 - 阿凯的Excel(akexcel)

原文发表时间:2018-01-27

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏张善友的专栏

MindTouch简介和技术架构

摘要: 介绍MindTouch公司的企业级协作平台和平台架构。本文主要内容翻译自于【3】,也是协作吧!!的第一篇作品,希望大家多提意见。 正文: MindTou...

1917
来自专栏小巫技术博客

Android Junit单元测试-声明套件类

734
来自专栏我思故我在

ABP框架 - N层架构

1103
来自专栏程序员与猫

单元测试之道

标签: 单元测试 前言 系列 1. 前言 在一个项目当中,开发者常常要做大量的测试工作,如单元测试,集成测试,回归测试,压力测试 .etc。当然,依据项目情况大...

1666
来自专栏何俊林

微信小程序—仿芒果TV(已开源)

前言:1月9号(今天)是小程序上线的日子,各厂小程序,纷纷在线上发布,便用极其便捷,下面我体验的腾讯视频,及大众点评的小程序。 腾讯视频 ? 大众点评 ? 很...

2325
来自专栏CodingToDie

Python学习(一):概述

第1 章 概述 Table of Contents 应用范围 优缺点 安装 运行第一个程序 参考 工欲利其器 必先知其器 应用范围 Python是著名的“龟叔”...

2706
来自专栏申龙斌的程序人生

零基础学编程027:站在巨人的肩膀上

在《零基础学编程021:获取股票实时行情数据》这一节里,我们利用urllib抓取新浪财经中的股票数据,可以取出谷歌股票的开盘价,回顾一下代码: import u...

3236
来自专栏诸葛青云的专栏

两个小巧好用的C语言编辑器

近期有一些新关注的伙伴在后台经常留言刚入门 C语言 我该选择什么 C语言 编辑器好呢?都说欲善其事必先利其器,网络上也有很多不同类型的编辑器,让人很难进行抉择!...

820
来自专栏云时之间

简单爬虫(一):实现百度音乐下载

现在我们听歌往往会集中在一个平台,但是往往很多歌曲只在一个平台独占,我们听自己几首想听的歌曲往往要在几个平台跳来跳去,正好现在在使用爬虫,在学着解析网页的时候,...

34813
来自专栏web前端教室

[先行者计划]:《Vuex相关概念的讲解和介绍》-- 课堂笔记节选

vuex是什么东西? 官网对Vuex的定义,"Vuex 是一个专为 Vue.js 应用程序开发的状态管理模式。" 恩,从这句话可以看出,它应该是一种编写js的思...

1678

扫码关注云+社区