首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

11,二维dataframe —— 类SQL操作

〇,pandas简介 pandas是python数据分析领域最为经典的库之一,基于numpy构建。 pandas中常用的数据结构有: 1,Series:一维数组,有index。...你发现 pandas库的名字和这三种数据结构名字的关系了吗?本节和接下来的几节我们介绍DataFrame。DataFrame是python在数据分析领域使用最广泛的数据结构。...你可以像操作excel表一样操作DataFrame:插入行和,排序,筛选…… 你可以像操作SQL数据表一样操作DataFrame:查询,分组,连接…… 本节我们介绍DataFrame的类SQL操作。...常用的有:布尔索引,query,filter 相关方法 1,利用布尔索引 ? ? ? ? 2,利用query ? ? 3,利用filter ?...left:左连接,以左表索引或key列为,查找右表信息,未找到置nan。 right:右连接,以右表索引或key列为,查找左表信息, 未找到置nan。 1,使用 concat 函数合并 ?

79820

高效的10个Pandas函数,你都用过吗?

Query Query是pandas的过滤查询函数,使用布尔表达式来查询DataFrame的,就是说按照的规则进行过滤操作。...用法: pandas.DataFrame.query(self, expr, inplace = False, **kwargs) 参数作用: expr:要评估的查询字符串; inplace=False...Isin Isin也是一种过滤方法,用于查看某中是否包含某个字符串,返回值为布尔Series,来表明每一行的情况。...: 两人并列第 1 名,下一个人是第 3 名 method=dense: 两人并列第1名,下一个人是第 2 名 method=first: 相同值会按照其在序列中的相对位置定值 ascending:正和倒...[int或string, 可选]:如果列为MultiIndex, 它将使用此级别来融化 例如有一串数据,表示不同城市和每天的人口流动: import pandas as pd df1 = pd.DataFrame

4.1K20

Python数据处理从零开始----第二章(pandas)(十一)通过属性对进行筛选

本文主要目的是通过属性进行列挑选,比如在同一个数据框中,有的是整数类的,有的字符串列的,有的是数字类的,有的布尔类型的。...假如我们需要挑选或者删除属性为整数类的,就可能需要用到pandas.DataFrame.select_dtypes函数功能 该函数的主要格式是:DataFrame.select_dtypes(include...返回: subset:DataFrame,包含或者排除dtypes的的子集 笔记 要选取所有数字类的,请使用np.number或'number' 要选取字符串,必须使用‘object’ 要选择日期时间...,请使用np.datetime64,'datetime'或'datetime64' 要选取所有属性为‘类’的,请使用“category” 实例 新建数据集 import pandas as pd import...a列为‘integer’数字类型, b列为‘bool’布尔类型, c列为‘数字’类型, d列为‘category’分类类型, e列为‘object’字符串类型 挑选数据框子集 df.select_dtypes

1.6K20

Python-科学计算-pandas-08-字符串操作1

系统:Windows 7 语言版本:Anaconda3-4.3.0.1-Windows-x86_64 编辑器:pycharm-community-2016.3.2 pandas:0.19.2 这个系列讲讲...Python的科学计算版块 今天讲讲pandas模块: 对的每一个元素进行同样的字符串操作 今天讲其中的3个操作: 切片,字符串替换,字符串连接 Part 1:目标 ?...已知Df某都是字符串,每一个字符串都有一个文件与其对应,目标在于获取每一个文件的名称 存在以下规律: 字符串的最后一个字符是D或者F 其中D表示该字符串是一个txt文本文件的名称 其中F表示该字符串是一个...pdf文本文件的名称 这些文件的名称最终组成是: FINAL_元素.文件类型 实现方法: 提取该每个元素的最后一位字符 根据规则进行替换,获取文件类型 字符串连接,加上常量 FINAL_ 和 ....综上,整体效果是按整体进行字符串操作,无需遍历循环,大大减少代码量

1.1K20

Python-科学计算-pandas-09-df字符串操作2

系统:Windows 7 语言版本:Anaconda3-4.3.0.1-Windows-x86_64 编辑器:pycharm-community-2016.3.2 pandas:0.19.2 这个系列讲讲...Python的科学计算版块 今天讲讲pandas模块: 对的每一个元素进行同样的字符串操作 今天讲其中的1个操作: split Part 1:目标 已知Df某都是字符串,每一个字符串都有一个文件与其对应...后的文件类型 组合两者 加入到原来的Df中 修改前后文件名 Part 2:代码 import pandas as pd dict_1 = {"file_name": ["P10-CD1.txt",...的每个元素实行split("-")操作,理论上生成一个列表,expand=True表示将生成列表结果分为多个 se_1 = df_2["文件名"] + "." + df_3["文件类型"],实现两个Df...之间对应每个元素的字符串连接操作,生成一个Series对象 df_1["new_file_name"] = se_1,df_1新增一new_file_name 本文为原创作品

47210

pandas操作excel全总结

DataFrame是一个类似表格的二维数据结构,索引包括索引和行索引,每可以是不同的值类型(数值、字符串布尔值等)。DataFrame的每一行和每一都是一个Series。...index_col ,指定索引对应的列为数据框的行标签,默认 Pandas 会从 0、1、2、3 做自然排序分配给各条记录。...通过names=['a','b','c']可以自己设置标题 import pandas as pd result = pd.read_excel('test1.xlsx') print(result)...# 指定第一列为行索引 result = pd.read_excel('test1.xlsx',index_col=0) print(result) # 默认读取第一个sheet,读取第2个sheet...1]) # 删除行 df.drop_duplicates() # 删除重复值 df.fillna('missing')# 使用字符串填补 df.replace('old', 'new') # old替换成

20.9K43

Pandas 25 式

目录 查看 pandas 及其支持项的版本 创建 DataFrame 重命名列 反转行 反转列 按数据类型选择字符串转换为数值 优化 DataFrame 大小 用多个文件建立 DataFrame...操控缺失值 把字符串分割为多 把 Series 里的列表转换为 DataFrame 用多个函数聚合 用一个 DataFrame 合并聚合的输出结果 选择行与 重塑多重索引 Series 创建透视表...这里要注意的是,字符串里的字符数量必须与 DataFrame 的数一致。 3. 重命名列 ? 用点(.)选择 pandas 里的写起来比较容易,但列名里有空格,就没法这样操作了。...这样,行就已经反转过来了,索引也重置为默认索引。 5. 反转列 与反转行类似,还可以用 loc 从左到右反转列。 ?...现在年龄与票价列为 2 位小数了。 注意:这种操作不改变底层数据,只改变数据的显示形式。 还可以用以下代码重置数据显示选项。

8.4K00

数据分析篇 | PyCon 大咖亲传 pandas 25 式,长文建议收藏

目录 查看 pandas 及其支持项的版本 创建 DataFrame 重命名列 反转行 反转列 按数据类型选择字符串转换为数值 优化 DataFrame 大小 用多个文件建立 DataFrame...操控缺失值 把字符串分割为多 把 Series 里的列表转换为 DataFrame 用多个函数聚合 用一个 DataFrame 合并聚合的输出结果 选择行与 重塑多重索引 Series 创建透视表...这里要注意的是,字符串里的字符数量必须与 DataFrame 的数一致。 3. 重命名列 ? 用点(.)选择 pandas 里的写起来比较容易,但列名里有空格,就没法这样操作了。...这样,行就已经反转过来了,索引也重置为默认索引。 5. 反转列 与反转行类似,还可以用 loc 从左到右反转列。 ?...现在年龄与票价列为 2 位小数了。 注意:这种操作不改变底层数据,只改变数据的显示形式。 还可以用以下代码重置数据显示选项。

7.1K20

Pandas Cookbook》第05章 布尔索引1. 计算布尔值统计信息2. 构建多个布尔条件3. 用布尔索引过滤4. 用标签索引代替布尔索引5. 用唯一和有序索引选取6. 观察股价7. 翻译SQ

---- 第01章 Pandas基础 第02章 DataFrame运算 第03章 数据分析入门 第04章 选取数据子集 第05章 布尔索引 第06章 索引对齐 第07章 分组聚合、过滤、转换...构建多个布尔条件 In[11]: movie = pd.read_csv('data/movie.csv', index_col='movie_title') movie.head(...# 创建多个布尔条件 In[12]: criteria1 = movie.imdb_score > 8 criteria2 = movie.content_rating == 'PG...使用查询方法提高布尔索引的可读性 # 读取employee数据,确定选取的部门和 In[65]: employee = pd.read_csv('data/employee.csv')...# 布尔索引也可以用来选取 In[96]: criteria_col = movie.dtypes == np.int64 criteria_col.head() Out[96]:

2.1K20

Pandas知识点-逻辑运算

Pandas中,将Series与数值进行比较,会得到一个与自身形状相同且全为布尔值的Series,每个位置的布尔值对应该位置的比较结果。...在复杂的逻辑关系中,需要使用复合逻辑运算,用逻辑运算符来连接多个逻辑语句,复合逻辑运算包含:逻辑与、逻辑或、逻辑非。 2. 逻辑与 ?...Python中的逻辑运算关键字(and,or,not)除了可以连接布尔表达式,还可以连接其他的表达式,如字符串等。...(and和or可以不计算出右边表达式的布尔值就做出判断,也可以将其中一个表达式作为返回值。另外,Python可以将其他值作为布尔判断条件,如非空字符串表示真。)...在查询字符串中,进行条件判断不是用来判断,而是直接用索引来判断。当多个条件并列时,因为逻辑运算符的优先级高于比较运算符的优先级,每一个逻辑语句的括号也可以省略。

1.8K40

Pandas 中三个对转换的小操作

前言 本文主要介绍三个对转换的小操作: split 按分隔符将分割成多个 astype 转换列为其它类型 将对应列上的字符转换为大写或小写 创建 DataFrame 首先,导入 Pandas 模块...import pandas as pd mydict = { "dev_id": ["001", "002", "003", "004"], "name": ["John Hunter...split 按分隔符将分割成多个 现在我们想要将 name 划分成两个,其中一个列为 first_name,另外一个列为 last_name。...= -1,则会返回 I, am, KangChen. n = 1,则会返回 I, am KangChen. n = 2,则会但会 I, am, KangChen. expand = True 将分割的字符串转换为单独的...astype 转换列为其它类型 我们可以使用 astype() 将 age 转换为字符串类型,将 salary 转换为浮点型。

1.1K20

Python 数据处理:Pandas库的使用

仅由一组数据即可产生最简单的Series: import pandas as pd obj = pd.Series([4,7,-5,3]) print(obj) Series的字符串表现形式为:索引在左边...每可以是不同的值类型(数值、字符串布尔值等)。...作为del的例子,先添加一个新的布尔值的,state是否为'Ohio': import pandas as pd data = {'state': ['Ohio', 'Ohio', 'Ohio',...下表对DataFrame进行了总结: 类型 描述 df[val] 从DataFrame选取单列或一组;在特殊情况下比较便利:布尔型数组(过滤行)、切片(行切片)、或布尔型DataFrame(根据条件设置值...将一个或多个的名字传递给sort_values的by选项即可达到该目的: import pandas as pd frame = pd.DataFrame({'b': [4, 7, -3, 2],

22.7K10

Pandas最详细教程来了!

都可以是不同的数据类型(数值、字符串布尔值等)。 DataFrame既有行索引也有索引,这两种索引在DataFrame的实现上,本质上是一样的。...其他的频率参数见下文 tz:字符串/None | 本地化索引的时区名称 normalize:布尔值 | 将start和end规范化为午夜;默认为False name:字符串 | 生成的索引名称 date_range...▲图3-11 有了df,我们就可以使用多个基于DataFrame的内建方法了,下面来看看相关的示例。...▲图3-14 根据索引(日期)排序(这里是倒),代码如下: df.sort_index(ascending=False) 运行结果如图3-15所示。 ?...这时传给df的既不是标签,也不是绝对位置,而是布尔数组(Boolean Array)。下面来看一下示例。 例如,寻找A中值大于0的行。

3.2K11

扫码

添加站长 进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

    运营活动

    活动名称
    广告关闭
    领券