首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    python数据科学系列:pandas入门详细教程

    切片形式访问时按行进行查询,又区分数字切片和标签切片两种情况:当输入数字索引切片时,类似于普通列表切片;当输入标签切片时,执行范围查询(即无需切片首末值存在于标签列中),包含两端标签结果,无匹配行时返回为空...isin/notin,条件范围查询,即根据特定列值是否存在于指定列表返回相应的结果 where,仍然是执行条件查询,但会返回全部结果,只是将不满足匹配条件的结果赋值为NaN或其他指定值,可用于筛选或屏蔽值...loc和iloc应该理解为是series和dataframe的属性而非函数,应用loc和iloc进行数据访问就是根据属性值访问的过程 另外,在pandas早些版本中,还存在loc和iloc的兼容结构,即...例如,如下示例中执行一个dataframe和series相乘,虽然二者维度不等、大小不等、标签顺序也不一致,但仍能按标签匹配得到预期结果 ?...两种数据结构作图,区别仅在于series是绘制单个图形,而dataframe则是绘制一组图形,且在dataframe绘图结果中以列名为标签自动添加legend。

    15K20

    Pandas知识点-添加操作append

    append()方法通过添加的方式实现了合并的功能,这种合并功能是按行(纵向)进行合并的,合并结果的行数是所有DataFrame的行数之和。 二填充不存在的列 ---- ?...如果调用append()的DataFrame和传入append()的DataFrame中有不同的列,则添加后会在不存在的列填充空值,这样即使两个DataFrame有不同的列也不影响添加操作。...合并时根据指定的连接列(或行索引)和连接方式来匹配两个DataFrame的行。可以在结果中设置相同列名的后缀和显示连接列是否在两个DataFrame中都存在。...合并时根据指定的连接列(或行索引)和连接方式来匹配两个DataFrame的行,也可以设置相同列名的后缀,所以有时候join()和merge()可以相互转换。...联合操作是将一个DataFrame中的部分数据用另一个DataFrame中的数据替换或补充,通过一个函数来定义联合时取数据的规则。在联合过程中还可以对空值进行填充。

    4.9K30

    Pandas知识点-合并操作merge

    合并时,先找到两个DataFrame中的连接列key,然后将第一个DataFrame中key列的每个值依次与第二个DataFrame中的key列进行匹配,匹配到一次结果中就会有一行数据。...on参数指定的列必须在两个被合并DataFrame中都有,否则会报错。 on参数也可以指定多列,合并时按多个列进行连接。 ? 在合并时,只有多个列的值同时相等,两个DataFrame才会匹配上。...上面的例子中,用于连接的列是key1,key2,k0,k0在两个DataFrame中都有,匹配到一次,k1,k1匹配到两次,k2,k2和k2,k3等都没有匹配成功,所以结果为三行(默认合并方式为inner...如果left_on和right_on指定不同的列,可能因为连接列的值匹配不上,结果是一个空DataFrame,将连接方式改成outer后才能得到非空的DataFrame。 ?...默认为None,merge()方法自动根据两个DataFrame的连接列采用适合的对应方式。 one_to_one: 检查两个DataFrame中的连接列,值必须唯一。

    4.4K30

    Python 数据处理:Pandas库的使用

    下表对DataFrame进行了总结: 类型 描述 df[val] 从DataFrame选取单列或一组列;在特殊情况下比较便利:布尔型数组(过滤行)、切片(行切片)、或布尔型DataFrame(根据条件设置值...) ---- 2.7 在算术方法中填充值 在对不同索引的对象进行算术运算时,你可能希望当一个对象中某个轴标签在另一个对象中找不到时填充一个特殊值(比如0): import pandas as pd...和Series之间的算术运算会将Series的索引匹配到DataFrame的列,然后沿着行一直向下广播: print(frame - series) 如果某个索引值在DataFrame的列或Series...在本例中,我们的目的是匹配DataFrame的行索引(axis='index' or axis=0)并进行广播。...时,你可能希望根据一个或多个列中的值进行排序。

    22.8K10

    可自动构造机器学习特征的Python库

    另一方面,「聚合」是跨表实现的,并使用一对多的关联来对观测值分组,然后计算统计量。...这个过程包括根据不同客户对贷款表进行分组并计算聚合后的统计量,然后将结果整合到客户数据中。以下是我们在 Python 中使用 Pandas 库执行此操作。...在将该数据框添加到实体集中后,我们检查整个实体集: ? 列的数据类型已根据我们指定的修正方案被正确推断出来。接下来,我们需要指定实体集中表是如何关联的。...当我们执行聚合操作的时候,我们根据父变量对子表进行分组,并计算每个父亲的儿子的统计量。 为了形式化特征工具中的关联规则,我们仅需指定连接两张表的变量。...一个例子就是根据 client_id 对 loan 表分组并找到每个客户的最大贷款额。 转换:对一张表中一或多列完成的操作。一个例子就是取一张表中两列之间的差值或者取一列的绝对值。

    1.9K30

    Python数据分析-pandas库入门

    使用 NumPy 函数或类似 NumPy 的运算(如根据布尔型数组进行过滤、标量乘法、应用数学函数等)都会保留索引值的链接,代码示例: obj2*2 np.exp(obj2) 还可以将 Series...() 如果指定了列序列,则 DataFrame 的列就会按照指定顺序进行排列,代码示例: pd.DataFrame(data,columns=['state','year','pop']) 如果传入的列在数据中找不到...其长度必须跟DataFrame的长度相匹配。...作为 del 的例子,这里先添加一个新的布尔值的列,state 是否为 ‘Ohio’,代码示例: frame2['eastern'] = frame2.state=='Ohio' frame2 DataFrame...另一种常见的数据形式是嵌套字典,如果嵌套字典传给 DataFrame,pandas 就会被解释为:外层字典的键作为列,内层键则作为行索引,代码示例: #DataFrame另一种常见的数据形式是嵌套字典

    3.7K20

    资源 | Feature Tools:可自动构造机器学习特征的Python库

    另一方面,「聚合」是跨表实现的,并使用一对多的关联来对观测值分组,然后计算统计量。...这个过程包括根据不同客户对贷款表进行分组并计算聚合后的统计量,然后将结果整合到客户数据中。以下是我们在 Python 中使用 Pandas 库执行此操作。...在将该数据框添加到实体集中后,我们检查整个实体集: ? 列的数据类型已根据我们指定的修正方案被正确推断出来。接下来,我们需要指定实体集中表是如何关联的。...当我们执行聚合操作的时候,我们根据父变量对子表进行分组,并计算每个父亲的儿子的统计量。 为了形式化特征工具中的关联规则,我们仅需指定连接两张表的变量。...一个例子就是根据 client_id 对 loan 表分组并找到每个客户的最大贷款额。 转换:对一张表中一或多列完成的操作。一个例子就是取一张表中两列之间的差值或者取一列的绝对值。

    2.2K20

    手把手教你做一个“渣”数据师,用Python代替老情人Excel

    8、筛选不在列表或Excel中的值 ? 9、用多个条件筛选多列数据 输入应为列一个表,此方法相当于excel中的高级过滤器功能: ? 10、根据数字条件过滤 ?...11、在Excel中复制自定义的筛选器 ? 12、合并两个过滤器的计算结果 ? 13、包含Excel中的功能 ? 14、从DataFrame获取特定的值 ?...五、数据计算 1、计算某一特定列的值 输出结果是一个系列。称为单列数据透视表: ? 2、计数 统计每列或每行的非NA单元格的数量: ? 3、求和 按行或列求和数据: ? 为每行添加总列: ?...以上,我们使用的方法包括: Sum_Total:计算列的总和 T_Sum:将系列输出转换为DataFrame并进行转置 Re-index:添加缺少的列 Row_Total:将T_Sum附加到现有的DataFrame...有四种合并选项: left——使用左侧DataFrame中的共享列并匹配右侧DataFrame,N/A为NaN; right——使用右侧DataFrame中的共享列并匹配左侧DataFrame,N/A为

    8.4K30

    通宵翻译Pandas官方文档,写了这份Excel万字肝货操作!

    列操作 在电子表格中,公式通常在单个单元格中创建,然后拖入其他单元格以计算其他列的公式。在 Pandas 中,您可以直接对整列进行操作。...If/then逻辑 假设我们想要根据 total_bill 是小于还是大于 10 美元,来创建一个具有低值和高值的列。 在Excel电子表格中,可以使用条件公式进行逻辑比较。...列的选择 在Excel电子表格中,您可以通过以下方式选择所需的列: 隐藏列; 删除列; 引用从一个工作表到另一个工作表的范围; 由于Excel电子表格列通常在标题行中命名,因此重命名列只需更改第一个单元格中的文本即可...: 与 VLOOKUP 相比,merge 有许多优点: 查找值不需要是查找表的第一列; 如果匹配多行,则每个匹配都会有一行,而不仅仅是第一行; 它将包括查找表中的所有列,而不仅仅是单个指定的列; 它支持更复杂的连接操作...查找和替换 Excel 查找对话框将您带到匹配的单元格。在 Pandas 中,这个操作一般是通过条件表达式一次对整个列或 DataFrame 完成。

    19.6K20

    整理了 25 个 Pandas 实用技巧,拿走不谢!

    上述三个函数的结果都一样,可以更改列名使得列名中不含有空格: ? 最后,如果你需要在列名中添加前缀或者后缀,你可以使用add_prefix()函数: ?...你将会注意到有些值是缺失的。 为了找出每一列中有多少值是缺失的,你可以使用isna()函数,然后再使用sum(): ?...将聚合结果与DataFrame进行组合 让我们再看一眼orders这个DataFrame: ? 如果我们想要增加新的一列,用于展示每个订单的总价格呢?...让我们回到stocks这个DataFrame: ? 我们可以创建一个格式化字符串的字典,用于对每一列进行格式化。然后将其传递给DataFrame的style.format()函数: ?...我们现在隐藏了索引,将Close列中的最小值高亮成红色,将Close列中的最大值高亮成浅绿色。 这里有另一个DataFrame格式化的例子: ?

    3.2K10

    PySpark︱DataFrame操作指南:增删改查合并统计与数据处理

    functions **另一种方式通过另一个已有变量:** **修改原有df[“xx”]列的所有值:** **修改列的类型(类型投射):** 修改列名 --- 2.3 过滤数据--- 3、-------...(参考:王强的知乎回复) python中的list不能直接添加到dataframe中,需要先将list转为新的dataframe,然后新的dataframe和老的dataframe进行join操作,...,然后生成多行,这时可以使用explode方法   下面代码中,根据c3字段中的空格将字段内容进行分割,分割的内容存储在新的字段c3_中,如下所示 jdbcDF.explode( "c3" , "c3...; Pyspark DataFrame的数据反映比较缓慢,没有Pandas那么及时反映; Pyspark DataFrame的数据框是不可变的,不能任意添加列,只能通过合并进行; pandas比Pyspark...使用的逻辑是merge两张表,然后把匹配到的删除即可。

    30.5K10

    Python自动化办公之Word批量转成自定义格式的Excel

    比对切割得到的第一个元素,如果它在匹配的字符串中,就获取它在列表中的索引,并把获取到的结果添加到列表index_list中,这就知道了每道题的开头在l中的哪个位置了 if first_str...,并把获取到的结果添加到列表index_list中,这就知道了每道题的开头在l中的哪个位置了 if first_str == patch_str:...但是,它从txt读取出来的格式是全部内容都视为1列的,而txt中的每一段,在它这里就是每一行(注意是每一段对应一行,而不是每一行对应每一行) 预览一下:结果显示800行,1列。...然后再遍历源数据列表,对列表的每个元素按“.”号切割,切割后拿到它的第一个元素,拿这个元素跟pacth_lis进行匹配,如果它是在patch_list中的,就代表它是每道题的开头。...接着在真正的数据提取环节,根据这个进行判断,如果判断到它值是Fales,那么就在每一轮遍历提取数据的最后一次遍历,一次性在它后面的缺失数据的列加上空字符串,作为占位用,这样最后得到的列表长度就都一样了,

    1.7K40
    领券