首页
学习
活动
专区
圈层
工具
发布

Python中的DataFrame模块学

本文是基于Windows系统环境,学习和测试DataFrame模块:   Windows 10   PyCharm 2018.3.5 for Windows (exe)   python 3.6.8...初始化DataFrame   创建一个空的DataFrame变量   import pandas as pd   import numpy as np   data = pd.DataFrame()   ...('user.csv')   print (data)   将DataFrame数据写入csv文件   to_csv()函数的参数配置参考官网pandas.DataFrame.to_csv   import...异常处理   过滤所有包含NaN的行   dropna()函数的参数配置参考官网pandas.DataFrame.dropna   from numpy import nan as NaN   import...'表示去除行 1 or 'columns'表示去除列   # how: 'any'表示行或列只要含有NaN就去除,'all'表示行或列全都含有NaN才去除   # thresh: 整数n,表示每行或列中至少有

3.5K10

(六)Python:Pandas中的DataFrame

的Series集合 创建         DataFrame与Series相比,除了可以每一个键对应许多值之外,还增加了列索引(columns)这一内容,具体内容如下所示: 自动生成行索引         ..., 'pay': [4000, 5000, 6000]} # 以name和pay为列索引,创建DataFrame frame = pd.DataFrame(data) #自定义行索引 print(frame...admin  2 3  admin  3 另一种删除方法     name  a 1  admin  1 3  admin  3 (1)添加列         添加列可直接赋值,例如给 aDF 中添加...,但这种方式是直接对原始数据操作,不是很安全,pandas 中可利用 drop()方法删除指定轴上的数据,drop()方法返回一个新的对象,不会直接修改原始数据。...对象的修改和删除还有很多方法,在此不一一列举,有兴趣的同学可以自己去找一下 统计功能  DataFrame对象成员找最低工资和高工资人群信息          DataFrame有非常强大的统计功能,它有大量的函数可以使用

7K20
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Python之Pandas中Series、DataFrame实践

    Python之Pandas中Series、DataFrame实践 1. pandas的数据结构Series 1.1 Series是一种类似于一维数组的对象,它由一组数据(各种NumPy数据类型)以及一组与之相关的数据标签...dataframe中的数据是以一个或者多个二位块存放的(而不是列表、字典或者别的一维数据结构)。 3.索引对象 pandas的索引对象负责管理轴标签和其他元素(比如轴名称等)。...4. pandas的主要Index对象 Index 最泛化的Index对象,将轴标签表示为一个由Python对象组成的NumPy数组 Int64Index 针对整数的特殊Index MultiIndex...操作Series和DataFrame中的数据的基本手段 5.1 重新索引 reindex 5.2 丢弃指定轴上的项 drop 5.3 索引、选取和过滤(.ix) 5.4 算数运算和数据对齐 DataFrame...层次化索引 层次化索引(hierarchical indexing)是pandas的一项重要功能,它使你能在一个轴上拥有多个(两个以上)索引级别。抽象点说,它是你能以低维度形式处理高维度数据。

    5.4K50

    业界使用最多的Python中Dataframe的重塑变形

    pivot pivot函数用于从给定的表中创建出新的派生表 pivot有三个参数: 索引 列 值 def pivot_simple(index, columns, values): """...===== color black blue red item Item1 None 2 1 Item2 4 None 3 将上述数据中的...因此,必须确保我们指定的列和行没有重复的数据,才可以用pivot函数 pivot_table方法实现了类似pivot方法的功能 它可以在指定的列和行有重复的情况下使用 我们可以使用均值、中值或其他的聚合函数来计算重复条目中的单个值...], aggfunc={"mt_income":[np.sum],"impression":[np.sum]}) stack/unstack 事实上,变换一个表只是堆叠DataFrame的一种特殊情况...假设我们有一个在行列上有多个索引的DataFrame。

    2.9K10

    python下的Pandas中DataFrame基本操作(二),DataFrame、dict、array构造简析

    DataFrame简介:   DataFrame是一个表格型的数据结构,它含有一组有序的列,每列可以是不同的值类型(数值、字符串、布尔值等)。...跟其他类似的数据结构相比(如R的data.frame),DataFrame中面向行和面向列的操作基本上是平衡的。...其实,DataFrame中的数据是以一个或多个二维块存放的(而不是列表、字典或别的一维数据结构)。...导入基本python库: import numpy as np import pandas as pd DataFrame构造:   1:直接传入一个由等长列表或NumPy数组组成的字典; dict...参考资料:《利用Python进行数据分析》 在一个空的dataframe中插入数据 def test(): LIST=[1,2,3,4] empty = pd.DataFrame(columns

    6.3K30

    python下的Pandas中DataFrame基本操作(一),基本函数整理

    pandas作者Wes McKinney 在【PYTHON FOR DATA ANALYSIS】中对pandas的方方面面都有了一个权威简明的入门级的介绍,但在实际使用过程中,我发现书中的内容还只是冰山一角...谈到pandas数据的行更新、表合并等操作,一般用到的方法有concat、join、merge。但这三种方法对于很多新手来说,都不太好分清使用的场合与用途。...DataFrame.ndim 返回数据框的纬度 DataFrame.size 返回数据框元素的个数 DataFrame.shape 返回数据框的形状 DataFrame.memory_usage([index...() 以布尔的方式返回空值 DataFrame.notnull() 以布尔的方式返回非空值 索引和迭代 方法 描述 DataFrame.head([n]) 返回前n行数据 DataFrame.at 快速标签常量访问器...DataFrame.isin(values) 是否包含数据框中的元素 DataFrame.where(cond[, other, inplace, …]) 条件筛选 DataFrame.mask(cond

    12K80

    访问和提取DataFrame中的元素

    访问元素和提取子集是数据框的基本操作,在pandas中,提供了多种方式。...对于一个数据框而言,既有从0开始的整数下标索引,也有行列的标签索引 >>> df = pd.DataFrame(np.random.randn(4, 4), index=['r1', 'r2', 'r3...0.117015 r3 -0.640207 -0.105941 -0.139368 -1.159992 r4 -2.254314 -1.228511 -2.080118 -0.212526 利用这两种索引,可以灵活的访问数据框中的元素...-1.416611 r3 -0.640207 r4 -2.254314 对于标签,支持切片操作,和python内置的切片规则不一样,loc的切片包含了终止点,用法如下 >>> df.loc['r1':...>>> df.iat[0, 0] -0.22001819046457136 pandas中访问元素的具体方法还有很多,熟练使用行列标签,位置索引,布尔数组这三种基本的访问方式,就已经能够满足日常开发的需求了

    5.9K10

    基于canvas和ol的点标注的避让实现

    概述 在做地图的时候,点的标注展示是一个非常常见的功能,但是十几种点在某些区域比较密集是非常常见的,但是业务表达中却需要将之展示出来。基于此需求,本文结合canvas和ol做一简单的实现。...效果 实现: 密集区点的标注通过牵引线的方式引出展示; 地图放大的时候更新展示; 思路 实现代码 const points = [ { "properties": {"name":"测试名称应该...canvasWidth canvas.height = canvasHeight const context = canvas.getContext('2d'); // 数据聚类处理,根据上下和左右的距离进行判断...res[key]) res[key] = [] res[key].push(d) } return res } // 绘制两边为圆的矩形 function drawRoundRect...ctx.fillText(text, px - 7, py) } // 绘制矩形 drawRoundRect(ctx, x, y, width, height) // 绘制左边的图标

    81220

    CASIA: 支持检测、分割、关键点的标注工具

    CASIA标注工具是由我独立开发的,下载地址在:https://github.com/msnh2012/CasiaLabeler 软件介绍 CasiaLabeler是一款非常轻量的标注软件,支持win10...符合该格式的标注文档,同样可导入本软件。 如果想要COCO,Labelme等支持的格式,用python转换一下就行啦~ 6. 支持平台 支持windows10和ubuntu1804+. 7....特殊说明 工程路径中不能带有空格!...2.矩形标注 ? 3.带角度标注 ? 4.多边形标注 ? 5.直线标注 ? 6.关键点标注 ? 7.曲线标注 ? 8.贝塞尔区域标注 ? 9.视频操作 ? 10.设置相关 ?...如有BUG,可以在issue里面进行评论,虽然我也不一定会立即修复BUG(只有晚上才有时间啦~),不过有时间的了还是会修复的。欢迎来Github点Star。

    2.6K20

    SparkMLLib中基于DataFrame的TF-IDF

    一 简介 假如给你一篇文章,让你找出其关键词,那么估计大部分人想到的都是统计这个文章中单词出现的频率,频率最高的那个往往就是该文档的关键词。...所以,排在最前面的几个词,就是这篇文章的关键词。 再啰嗦的概述一下: TF-IDF是一种统计方法,用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。...二 TF-IDF统计方法 本节中会出现的符号解释: TF(t,d):表示文档d中单词t出现的频率 DF(t,D):文档集D中包含单词t的文档总数。...log表示对得到的值取对数。 TF-IDF 数学表达式 可以看到,TF-IDF与一个词在文档中的出现次数成正比,与该词在整个语言中的出现次数成反比。...三 Spark MLlib中的TF-IDF 在MLlib中,是将TF和IDF分开,使它们更灵活。 TF: HashingTF与CountVectorizer这两个都可以用来生成词频向量。

    2.5K70
    领券