数据处理过程中，经常会遇到数据有缺失值的情况，本文介绍如何用Pandas处理数据中的缺失值。 一、什么是缺失值 对数据而言，缺失值分为两种，一种是Pandas中的空值，另一种是自定义的缺失值。 1....空值(np.nan、None、pd.NaT)既不是空字符串""，也不是空格" "。...而不管是空字符串还是空格，其数据类型都是字符串，Pandas判断的结果不是空值。 2. 自定义缺失值有很多不同的形式，如上面刚说的空字符串和空格(当然，一般不用这两个，因为看起来不够直观)。...replace(to_replace=None, value=None): 替换Series或DataFrame中的指定值，一般传入两个参数，to_replace为被替换的值，value为替换后的值。...将how参数修改为all，则只有一行(或列)数据中全部都是空值才会删除该行(或列)。 thresh: 表示删除空值的界限，传入一个整数。
，”，就根据“，”来分拆到多个列，比如：“埃摩森猎头圈”微信公众号，界面新闻，36氪，新浪科技，天风证券研究所； 如果单元格内容中有空格，就根据空格来分拆到多个列，比如：“ckdd 微软亚洲研究员 联讯证券...”； 单元格分拆完成后，把所有分拆出去的单元格内容追加到A列当前内容的后面； 然后对A列数据进行分类汇总，汇总方式为计数，分类汇总结果保存到Excel文件：F:\AI自媒体内容\AI行业数据分析\AI行业数据来源...DataFrame 用于存储拆分后的内容 split_df = pd.DataFrame(split_data) # 将拆分后的内容合并回第一列 http://logging.info("合并拆分后的内容到第一列...") df[first_column_name] = split_df.apply(lambda x: ', '.join(x.dropna()), axis=1) # 拆分后的内容追加到第一列当前内容的后面...http://logging.info("将拆分后的内容追加到第一列当前内容的后面") df_expanded = pd.DataFrame() df_expanded[first_column_name
这里要注意的是，字符串里的字符数量必须与 DataFrame 的列数一致。 3. 重命名列 ? 用点（.）选择 pandas 里的列写起来比较容易，但列名里有空格，就没法这样操作了。...用多个文件建立 DataFrame ~ 按列 上个技巧按行合并数据集，但是如果多个文件包含不同的列，该怎么办？ 本例将 drinks 数据集分为了两个 CSV 文件，每个文件都包含 3 列。 ?...把 DataFrame 分割为两个随机子集 把 DataFrame 分为两个随机子集，一个占 75% 的数据量，另一个是剩下的 25%。 以 Movies 为例，该数据有 979 条记录。 ?...把字符串分割为多列 创建一个 DataFrame 示例。 ? 把姓名列分为姓与名两列，用 str.split() 方法，按空格分割，并用 expand 关键字，生成一个新的 DataFrame。 ?...年龄列有 1 位小数，票价列有 4 位小数，如何将这两列显示的小数位数标准化？ 用以下代码让这两列只显示 2 位小数。 ? 第一个参数是要设置的选项名称，第二个参数是 Python 的字符串格式。
日期功能 本节将提到“日期”，但时间戳的处理方式类似。 我们可以将日期功能分为两部分：解析和输出。在Excel电子表格中，日期值通常会自动解析，但如果您需要，还有一个 DATEVALUE 函数。...在 Pandas 中，您需要在从 CSV 读取时或在 DataFrame 中读取一次时，将纯文本显式转换为日期时间对象。 解析后，Excel电子表格以默认格式显示日期，但格式可以更改。...查找字符串长度 在电子表格中，可以使用 LEN 函数找到文本中的字符数。这可以与 TRIM 函数一起使用以删除额外的空格。...=LEN(TRIM(A2)) 您可以使用 Series.str.len() 找到字符串的长度。在 Python 3 中，所有字符串都是 Unicode 字符串。len 包括尾随空格。...在 Pandas 中提取单词最简单的方法是用空格分割字符串，然后按索引引用单词。请注意，如果您需要，还有更强大的方法。
01 字符串接口——str 在Pandas中，当一列数据类型均为字符串类型时，则可对该列执行属性接口操作，即通过调用.str属性可调用一系列的字符串方法函数，其中这里的字符串方法不仅涵盖了Python中内置的字符串通用方法...两种方法均实现了两个数字的提取，进而可以完成上下限的均值计算。 ? 最后是提取下属信息，注意到这里的下属由一个字符串组成，且下属之间由空格间隔。...针对这一需求，也可轻松实现两种解决方案，其中之一是进行拆分然后获取拆分后列表的长度、第二种是直接对字符串中空格进行计数，而后+1即为总的部下人数。两种方案结果是一致的： ?...03 小结 一门编程语言中的基本数据类型无非就是数值型、字符串型、时间型以及布尔型，Pandas为了应对各种数据格式的向量化操作，针对字符串和时间格式数据专门提供了str和dt两个属性接口（数值型数据天然支持向量化操作...---- 至此，Pandas应用小技巧系列文章已经推出了大部分，后续将视情整理一篇合集，敬请期待。
我们需要做的就是，将每一个经纬度数据提取出来，分别存储到Excel的两列中，同时多添加一列，表示行号，总共就是3列。 原始数据截图： 我处理后截图： 我的测试 直接先上完整代码吧！...由于每一行数据都在(( ))双括号中，我们需要先提取其中的字符串，然后按照，逗号切分，再按照空格切分，得到每个经纬度数据的列表。同时使用+加号拼接列表，就得到了每行数据，都是3个数据组成的列表嵌套。...① 取出其中一条数据 x = df["列一"][0] x 结果如下： ② 切片+切分字符串 y = x[10:-3].split(",") y 结果如下： 注意到上述结果中，存在一些空格，我们后续需要使用...，最终生成后，却有800w条，Excel是打不开的。...列表、元组前面加星号，作用是将列表解开成两个独立的参数，传入函数，字典前面加两个星号，是将字典解开成独立的元素作为形参。
把这些列名变短会让你的工作更加轻松： ? 有一点需要注意的是，在这里我故意让所有列的标签都没有空格和横线。后面你将会看到，如果我们这样命名变量，Pandas会将它们存成什么类型。...注意到当我们提取了一列，Pandas将返回一个series，而不是一个dataframe。是否还记得，你可以将dataframe视作series的字典。...所以，如果我们取出了某一列，我们获得的自然是一个series。 还记得我所说的命名列标签的注意事项吗？不使用空格和横线等可以让我们以访问类属性相同的方法来访问列，即使用点运算符。 ?...[string method]，你不能直接在字符串上直接调用字符串方法。这一语句返回1990年代的所有条目。 ? 索引 前几部分为我们展示了如何通过列操作来获得数据。...Pandas对此给出了两个非常有用的函数，apply和applymap。 ? 这会创建一个名为‘year‘的新列。这一列是由’water_year’列所导出的。它获取的是主年份。
每种方法都有其优点和缺点，因此应根据具体情况使用不同的方法。 点符号 可以键入“df.国家”以获得“国家”列，这是一种快速而简单的获取列的方法。但是，如果列名包含空格，那么这种方法行不通。...方括号内的列名是字符串，因此我们必须在其两侧使用引号。尽管它需要比点符号更多的输入，但这种方法在任何情况下都能工作。因为我们用引号将字符串（列名）括起来，所以这里也允许使用带空格的名称。...图5 获取多列 方括号表示法使获得多列变得容易。语法类似，但我们将字符串列表传递到方括号中。...图9 要获得第2行和第4行，以及其中的用户姓名、性别和年龄列，可以将行和列作为两个列表传递，如下图所示。 图10 记住，df[['用户姓名'，'年龄'，'性别']]返回一个只有三列的新数据框架。...图11 试着获取第3行Harry Poter的国家的名字。 图12 要获得第2行和第4行，以及其中的用户姓名、性别和年龄列，可以将行和列作为两个列表传递到参数“row”和“column”位置。
Python可以读取任何格式的文本数据。一般分为三个步骤：定义数据文件、创建文件对象、读取文件内容。 定义数据文件 语法 将文件赋值给一个文件对象，为了后续操作更加便捷，减少代码冗余。...2、Python基于文件对象分为3种方法 hon基于文件对象分为3种方法 Methods Describe Return read 读取文件中的全部数据，直到到达定义的size字节数上限 内容字符串，所有行合并为一个字符串...{‘foo’ : [1, 3]} -> 将1,3列合并，并给合并后的列起名为"foo" 2、常见问题 路径内有中文csv >>> import pandas as pd >>> #df=pd.read_csv.../test.csv', index_col=0) ---- 坑2：原本日期格式的列，保存到csv文件后仍为日期格式。但再次读取文件时将以字符串的格式读取到DataFrame。...delimiter : str, optional 字符串, 选填, 默认空格, 用来分隔多个列的分隔符, 如逗号、TAB符。
，这就形成了粘包问题；如果一次请求发送的数据量比较大，超过了缓冲区大小，TCP就会将其拆分为多次发送，这就是拆包，也就是将一个大的包拆分为多个小包进行发送。...； B包比较大，因而将其拆分为两个包B_1和B_2进行发送，而这里由于拆分后的B_2比较小，其又与A包合并在一起发送。...将消息分为头部和消息体，在头部中保存有当前整个消息的长度，只有在读取到足够长度的消息之后才算是读到了一个完整的消息； 通过自定义协议进行粘包和拆包的处理。...最后由EchoServerHandler处理最终得到的数据，处理完成后，将处理得到的数据交由FixedLengthFrameEncoder处理，该编码器是我们自定义的实现，主要作用是将长度不足20的消息进行空格补全...，对于入站消息，需要对其进行粘包和拆包处理，然后将其转码为字符串，对于出站消息，则需要将长度不足20的消息进行空格补全。
日期调整前（为求简便这里用已经剔除分秒，剔除的办法后面在格式一致化的空格分割再详细说） #数据类型转换:字符串转换为日期 #errors='coerce' 如果原始数据不符合日期的格式，转换后的值为空值...修改后 四、选择部分子集 这是一个8列*541909行的数据集。 ? ? #选择子集，选择其中一列 subDataDF1=DataDF["InvoiceDate"] ?...空格分割 #定义函数：分割InvoiceDate，获取InvoiceDate #输入：timeColSer InvoiceDate这一列，是个Series数据类型 #输出：分割后的时间，返回也是个Series...值 2）在pandas中，将缺失值表示为NA，表示不可用not available。...是浮点类型 两个都用作空值 ?
周末看了「凹凸玩数据」交流群内Huang Supreme的分享，有一篇写到了日常拆表操作挺有意思的。...因为平时经常要拆成工作簿，拆完还要发给不同的对象，工作又使用outlook发邮件，所以本文调用outlook账号进行邮件的发送作为示例，如果想调用其他邮箱可参见文末参考链接，你也可以举一反三。...huang的拆表代码是我能找到的最简洁的了，ta首先用 ExcelWriter 生成一个拆完表后的容纳工作簿，然后调用了 For 循环对某一列进行遍历，area_list 取自表格的某一列，这一列有多少种因子...最后通过循环每一个因子生成一个表，写入之前建好的工作簿中直至循环结束。 小提示：python对空格敏感，不信你把writer.save和上一行对齐看看效果是什么样的。 ? （大表） ?...建一个附件和收件人的索引，用之前给文件命名的变量j ，索引到收件人'Rec'列中'店铺'列等于 j的行。 最后构建邮件发送的函数，包括收件人、抄送人、附件、正文等，从拆分到邮件整个过程不超过1分钟。
这种方式很好，但如果你还想把列名变为非数值型的，你可以强制地将一串字符赋值给columns参数： ? 你可以想到，你传递的字符串的长度必须与列数相同。 3....更改列名 让我们来看一下刚才我们创建的示例DataFrame: ? 我更喜欢在选取pandas列的时候使用点（.），但是这对那么列名中含有空格的列不会生效。让我们来修复这个问题。...将DataFrame划分为两个随机的子集 假设你想要将一个DataFrame划分为两部分，随机地将75%的行给一个DataFrame，剩下的25%的行给另一个DataFrame。...将一个字符串划分成多个列 我们先创建另一个新的示例DataFrame: ? 如果我们需要将“name”这一列划分为三个独立的列，用来表示first, middle, last name呢？...注意到，Age列保留到小数点后1位，Fare列保留到小数点后4位。如果你想要标准化，将显示结果保留到小数点后2位呢？ 你可以使用set_option()函数： ?
3 len() 计算字符串的长度。 4 strip() 删除Series / index中每个字符串两侧的空格（包括换行符）。 5 split(' ') 用给定的字符串格式分割每个字符串。...16 swapcase 将字符串大写的变为小写的，将小写的变为大写的 17 islower() 检查Series / Index中每个字符串中的所有字符是否小写。...下面我们就来看一下具体的例子： 1）lower() 将字符串中的字符均转换成小写字母 import numpy as np import pandas as pd # 处理文本数据 s =...中括号里面是先行后列，以逗号分割，行和列分别是行标签和列标签。...中括号里面也是先行后列，行列标签用逗号分割，与loc不同的之处是，.iloc 是根据行数与列数来索引的。
删除前后空格 使用strip()函数删除前后空格. 1 import pandas as pd 2 df = pd.DataFrame({"ID": ["A1000","A1001","A1002"],...],"Surname": [" Zhao ","Qian"," Sun " ]}) 3 #将ID列的类型转化为字符串的格式 4 df["ID"].astype(str) ?...: [" Zhao ","Qian"," Sun " ]}) 3 #需要将ID列的类型转换为字符串, 否则无法使用slice()函数 4 df["ID"]= df["ID"].astype(str) 5...字段的拆分 使用split()函数进行字段的拆分, split(pat=None, n = -1, expand=True)函数包含三个参数: 第一个参数则是分隔的字符串, 默认是以空格分隔 第二个参数则是分隔符使用的次数...12.记录的合并 使用concat()函数可以将两个或者多个数据表的记录合并一起, 用法: pandas.concat([df1, df2, df3.....]) 1 import pandas as
本文将介绍一种简单的、可复用性高的基于pandas的方法，可以快速地将json数据转化为结构化数据，以供分析和建模使用。...用人话来说，json就是一种长得像嵌套字典的字符串。 数据被“{}”和“[]”层层包裹，需要“拆包”才能拿到我们需要的数据。...首先，导入需要用到的库： import pandas as pd import json 然后，读取要解析的文件： with open("/Users/test.json",'r') as load_f...=[] else np.nan for j in df[i]] df[i]=list1 return df 每次调用json_parse函数和list_parse函数都可以“拆一层”，重复调用这两个函数...总结一下，解析json的整体思路就是 ①将json读入python转化为dict格式 ②遍历dict中的每一个key，将key作为列名，对应的value作为值 ③完成②以后，删除原始列，只保留拆开后的列
abcdefgh')) 你可以想到，你传递的字符串的长度必须与列数相同。...3更改列名 我们来看一下刚才我们创建的示例DataFrame: df 我更喜欢在选取pandas列的时候使用点（.），但是这对那么列名中含有空格的列不会生效。让我们来修复这个问题。...将DataFrame划分为两个随机的子集 假设你想要将一个DataFrame划分为两部分，随机地将75%的行给一个DataFrame，剩下的25%的行给另一个DataFrame。...将DataFrame划分为两个随机的子集 假设你想要将一个DataFrame划分为两部分，随机地将75%的行给一个DataFrame，剩下的25%的行给另一个DataFrame。...如果你想要标准化，将显示结果保留到小数点后2位呢？
领取专属 10元无门槛券
手把手带您无忧上云
