本文就给大家介绍几个我用到的办公室自动化技巧: 1、Word文档doc转docx 去年想参赛一个数据比赛, 里面的数据都是doc格式, 想用python-docx 读取word文件中的数据, 但是python-docx...i行,第2列的地址(列索引为1)转换为经纬度,并将经度赋值给第i行,第3列(列索引为2) data.iloc[i,3] = getlnglat(data.iloc[i,1])[1] #...只能转docx文件,转doc文件会报错, 工具包安装 pip install docx2pdf 6.1 导入工具包 # 安装工具包: # 导入工具包 from docx2pdf import convert..._cells cells_lis = [[cell.text for cell in cells]] import pandas as pd import numpy as np datai = pd.DataFrame...data1 = pd.DataFrame(lis1,columns=['日期','品类','数量','价格','金额']) data1 7.4 批量读取 import pandas as pd import
脏数据的清洗 比如在使用Oracle等数据库导出csv file时,字段间的分隔符为英文逗号,字段用英文双引号引起来,我们通常使用大数据工具将这些数据加载成表格的形式,pandas ,spark中都叫做...x utf-8 * 在Linux中专门提供了一种工具convmv进行文件名编码的转换,可以将文件名从GBK转换成UTF-8编码,或者从UTF-8转换到GBK。...下面看一下convmv的具体用法: convmv -f 源编码 -t 新编码 [选项] 文件名 #将目录下所有文件名由gbk转换为utf-8 convmv -f GBK -t UTF-8 -r --nosmart...('%Y-%m-%d %H:%M:%S')) #如果本来这一列是数据而写了其他汉字,则把这一条替换为0,或者抛弃?...) 转换为pandas 的dataframe 之后只要通过引入matplotlib, 就能完成一个简单的可视化demo 了。
使用skiprows和header之类的函数,我们可以操纵导入的DataFrame的行为。 ? 6、导入特定列 使用usecols参数,可以指定是否在DataFrame中导入特定的列。 ?...三、分割:即Excel过滤器 描述性报告是关于数据子集和聚合的,当需要初步了解数据时,通常使用过滤器来查看较小的数据集或特定的列,以便更好的理解数据。...4、将总列添加到已存在的数据集 ? 5、特定列的总和,使用loc函数 ? 或者,我们可以用以下方法: ? 6、用drop函数删除行 ? 7、计算每列的总和 ?...以上,我们使用的方法包括: Sum_Total:计算列的总和 T_Sum:将系列输出转换为DataFrame并进行转置 Re-index:添加缺少的列 Row_Total:将T_Sum附加到现有的DataFrame...简单的数据透视表,显示SepalWidth的总和,行列中的SepalLength和列标签中的名称。 现在让我们试着复杂化一些: ? 用fill_value参数将空白替换为0: ?
0,大于80,替换为90 print(b) 指定轴求和 np.sum(参数1: 数组; 参数2: axis=0/1,0表示列1表示行) 指定轴最大值np.max(参数1: 数组;...△ n.transpose()对换数组的维度,矩阵的转置 △ ndarray.T 与上类似,用于矩阵的转置 △ n.concatenate((a1, a2, ...), axis)沿指定轴连接同形数组...会滚动到特定位置。...dataframe 横向 pd.concat([a,a],axis=1) 纵向 pd.concat([a,a],axis=0) 数据去重 import pandas as pd df = pd.DataFrame...:点到选中的行Ctrl+Shift+- #将代码块合并:使用Shift选中需要合并的框,Shift+m #在代码块前增加新代码块,按a;在代码块后增加新代码块,按b; #删除代码块,按dd #运行当前代码块
pandas核心数据结构有两种,即一维的series和二维的dataframe,二者可以分别看做是在numpy一维数组和二维数组的基础上增加了相应的标签信息。...例如,当标签列类型(可通过df.index.dtype查看)为时间类型时,若使用无法隐式转换为时间的字符串作为索引切片,则引发报错 ? 切片形式返回行查询,且为范围查询 ?...由于该方法默认是按行进行检测,如果存在某个需要需要按列删除,则可以先转置再执行该方法 异常值,判断异常值的标准依赖具体分析数据,所以这里仅给出两种处理异常值的可选方法 删除,drop,接受参数在特定轴线执行删除一条或多条记录...3 数据转换 前文提到,在处理特定值时可用replace对每个元素执行相同的操作,然而replace一般仅能用于简单的替换操作,所以pandas还提供了更为强大的数据转换方法 map,适用于series...仍然考虑前述学生成绩表的例子,但是再增加一列班级信息,需求是统计各班级每门课程的平均分。
要使用新版 Pandas,用户可以用 pip 轻松升级。截至本文撰写时,Pandas 1.0 仍是候选版本,这意味着安装时需要明确指定版本号。...不过,Pandas 推荐用户合理使用这些数据类型,在未来的版本中也将改善特定类型运算的性能,比如正则表达式匹配(Regex Match)。...默认情况下,Pandas 不会自动将你的数据强制转换为这些类型。但你可以修改参数来使用新的数据类型。...不过最值得注意的是,从 DataFrameGroupBy 对象中选择列时,输入 key 列表或 key 元组的方法已被弃用。现在要用 item 列表,而非键列表。...另外,在将分类数据转换为整数时,也会产生错误的输出。特别是对于 NaN 值,其输出往往是错误的。因此,新版 Pandas 修复了这个 bug。
使用pd.util.testing随机建立DataFrame 当你想要随意初始化一个DataFrame并测试pandas功能时,pd.util.testing就显得十分好用: ?...前面说过很多pandas函数预设的axis参数为0,代表着以行(row)为单位做特定的操作,在pd.concat的例子中则是将2个同样格式的DataFrames依照axis=0串接起来。...完整显示所有列 有时候一个DataFrame 里头的栏位太多, pandas 会自动省略某些中间栏位以保持页面整洁: ?...另外注意刚刚设定的max_colwidth是会被套用到所有DataFrame的。因此这个DataFrame的Name栏位显示的宽度还跟上个DataFrame相同:都被缩减了。...为特定DataFrame加点样式 pd.set_option函数在你想要把某些显示设定套用到所有 DataFrames时很好用,不过很多时候你会想要让不同DataFrame有不同的显示设定或样式(styling
利用to_json函数将所有具有复杂数据类型的列转换为JSON字符串。因为Arrow可以轻松处理字符串,所以可以使用pandas_udf装饰器。...这意味着在UDF中将这些列转换为JSON,返回Pandas数据帧,并最终将Spark数据帧中的相应列从JSON转换为复杂类型 [2enpwvagkq.png] 5.实现 将实现分为三种不同的功能: 1)...Spark数据帧转换为一个新的数据帧,其中所有具有复杂类型的列都被JSON字符串替换。...带有这种装饰器的函数接受cols_in和cols_out参数,这些参数指定哪些列需要转换为JSON,哪些列需要转换为JSON。只有在传递了这些信息之后,才能得到定义的实际UDF。...return pdf 只是为了演示,现在按 df_json 的 vals 列分组,并在每个组上应用的规范化 UDF。
现在增加这样一个层面: 现在有一个四维空间,其中 年形成一个(几乎连续的)维度 城市名称沿第二条放置 沿着第三条的州名,以及 特定的城市属性("人口"、"密度"、"面积" 等)作为第四维度上的 "刻度线...这意味着你不能用它来实现df[:, 'population'],而不需要转置DataFrame(除非所有列都是相同的类型,否则会丢失类型)。...为列增加层次的一个常见方法是将现有的层次从索引中 "unstacking"出来: tack, unstack Pandas的stack与NumPy的stack非常不同。...)将一个特定的级别src移动到指定的位置dst(在纯Pandas中不能轻易完成): 除了上面提到的参数外,本节的所有函数都有以下参数: axis=None,其中None表示DataFrame的 "列"...将MultiIndex转换为flat的索引并将其恢复 方便的查询方法只解决了处理行中MultiIndex的复杂性。
如果传递了索引和/或列,你将保证结果 DataFrame 的索引和/或列。因此,一个 Series 字典加上一个特定索引将丢弃所有与传递索引不匹配的数据。...和Series之间进行操作时,默认行为是将Series的索引与DataFrame的列对齐,从而以行方式进行广播。...如果传递了索引和/或列,则保证了结果 DataFrame 的索引和/或列。因此,字典的 Series 加上特定索引将丢弃所有与传递索引不匹配的数据。...和Series之间进行操作时,默认行为是将Series的索引与DataFrame的列进行对齐,因此以行方式进行广播。...如果有任何嵌套的字典,这些将首先转换为 Series。如果未传递任何列,则列将是字典键的有序列表。
欢迎大家点个赞、转个发~ 经过了几天的整理,内容已经是比较全面了,大家想要获取的。 规则照旧,文末获取PDF版本,那咱们开始吧~ 50个超强Pandas操作 1....选择特定行和列 df.loc[index, 'ColumnName'] 使用方式: 通过索引标签和列名选择DataFrame中的特定元素。 示例: 选择索引为1的行的“Name”列的值。...示例: 将“Name”列转换为大写。 df['Name'].str.upper() 25....示例: 将“Status”列中的“Active”替换为“ActiveStatus”。 df.replace({'Active': 'ActiveStatus'}) 42....right')) 使用方式: 在使用merge时,处理两个DataFrame中相同列名的情况。
选自 Medium 作者:George Seif 机器之心编译 参与:思源 本文转自机器之心,转载需授权 Pandas 是一个 Python 软件库,它提供了大量能使我们快速便捷地处理数据的函数和方法...(7)列出所有列的名字 df.columns 基本数据处理 (8)删除缺失数据 df.dropna(axis=0, how='any') 返回一个 DataFrame,其中删除了包含任何 NaN 值的给定轴...(12)将目标类型转换为浮点型 pd.to_numeric(df["feature_name"], errors='coerce') 将目标类型转化为数值从而进一步执行计算,在这个案例中为字符串。...(13)将 DataFrame 转换为 NumPy 数组 df.as_matrix() (14)取 DataFrame 的前面「n」行 df.head(n) (15)通过特征名取数据 df.loc[feature_name...,并仅显示值等于 5 的行: df[df["size"] == 5] (23)选定特定的值 以下代码将选定「size」列、第一行的值: df.loc([0], ['size']) 原文链接: https
先看一个非常简单的例子: a = [['a', '1.2', '4.2'], ['b', '70', '0.03'], ['x', '5', '0']] df = pd.DataFrame(a) 有什么方法可以将列转换为适当的类型...例如,上面的例子,如何将列2和3转为浮点数?有没有办法将数据转换为DataFrame格式时指定类型?或者是创建DataFrame,然后通过某种方法更改每列的类型?...DataFrame 如果想要将这个操作应用到多个列,依次处理每一列是非常繁琐的,所以可以使用DataFrame.apply处理每一列。...软转换——类型自动推断 版本0.21.0引入了infer_objects()方法,用于将具有对象数据类型的DataFrame的列转换为更具体的类型。...astype强制转换 如果试图强制将两列转换为整数类型,可以使用df.astype(int)。 示例如下: ? ?
简化将数据转换为 DataFrame 对象的过程,而这些数据基本是 Python 和 NumPy 数据结构中不规则、不同索引的数据; 基于标签的智能切片、索引以及面向大型数据集的子设定; 更加直观地合并以及连接数据集...用于将一个 Series 中的每个值替换为另一个值,该值可能来自一个函数、也可能来自于一个 dict 或 Series。...Isin () 有助于选择特定列中具有特定(或多个)值的行。...当一个数据帧分配给另一个数据帧时,如果对其中一个数据帧进行更改,另一个数据帧的值也将发生更改。为了防止这类问题,可以使用 copy () 函数。...这个函数的参数可设置为包含所有拥有特定数据类型的列,亦或者设置为排除具有特定数据类型的列。
当我们必须处理可能有多个列和行的大型DataFrames时,能够以可读格式显示数据是很重要的。这在调试代码时非常有用。...默认情况下,当打印出DataFrame且具有相当多的列时,仅列的子集显示到标准输出。显示的列甚至可以多行打印出来。...在今天的文章中,我们将探讨如何配置所需的pandas选项,这些选项将使我们能够“漂亮地打印” pandas DataFrames。...就个人而言,我使用超宽显示器,可以在必要时打印出相当多的列。...如何打印所有行 现在,如果您的DataFrame包含的行数超过一定数目,那么将仅显示一些记录(来自df的头部和尾部): import pandas as pd import numpy as np
: 对象可以显式地对齐至一组标签内,或者用户可以简单地选择忽略标签,使Series、 DataFrame等自动对齐数据; 灵活的分组功能,对数据集执行拆分-应用-合并等操作,对数据进行聚合和转换; 简化将数据转换为...用于将一个Series中的每个值替换为另一个值,该值可能来自一个函数、也可能来自于一个dict或Series。...Isin()有助于选择特定列中具有特定(或多个)值的行。...当一个数据帧分配给另一个数据帧时,如果对其中一个数据帧进行更改,另一个数据帧的值也将发生更改。为了防止这类问题,可以使用copy ()函数。...这个函数的参数可设置为包含所有拥有特定数据类型的列,亦或者设置为排除具有特定数据类型的列。
数据分析函数 df #任何pandas DataFrame对象 s #任何pandas series对象 从各种不同的来源和格式导入数据 pd.read_csv(filename) # 从CSV...) # 所有列的唯一值和计数 数据选取 使用这些命令选择数据的特定子集。...# 用均值替换所有空值(均值可以用统计模块中的几乎所有函数替换 ) s.astype(float) # 将系列的数据类型转换为float s.replace...how='inner') # SQL样式将列 df1 与 df2 行所在的列col 具有相同值的列连接起来。'...,替换指定的位置的字符 df["电话号码"].str.slice_replace(4,8,"*"*4) 11.replace 将指定位置的字符,替换为给定的字符串 df["身高"].str.replace
数据分析函数 df #任何pandas DataFrame对象 s #任何pandas series对象 从各种不同的来源和格式导入数据 pd.read_csv(filename) # 从CSV文件...) # 所有列的唯一值和计数 数据选取 使用这些命令选择数据的特定子集。...# 用均值替换所有空值(均值可以用统计模块中的几乎所有函数替换 ) s.astype(float) # 将系列的数据类型转换为float s.replace...how='inner') # SQL样式将列 df1 与 df2 行所在的列col 具有相同值的列连接起来。'...,替换指定的位置的字符 df["电话号码"].str.slice_replace(4,8,"*"*4) 11.replace 将指定位置的字符,替换为给定的字符串 df["身高"].str.replace
领取专属 10元无门槛券
手把手带您无忧上云