首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

用Python进行数据分析的10个小技巧

Pandas中的Profiling功能简单通过一代码就能显示大量信息,且在交互式HTML报告中也是如此。...接下来看一个使用print和pprint显示输出的示例。 让你的笔记脱颖而出 我们可以在您的Jupyter notebook中使用警示框/注释框突出显示重要内容或其他需要突出的内容。...自动评论代码 Ctrl / Cmd + /自动注释单元格中的选定,再次命中组合将取消注释相同的代码删除容易恢复难 你有没有意外删除过Jupyter notebook中的单元格?...如果答案是肯定的,那么可以掌握这个撤消删除操作的快捷方式。 如果您删除单元格内容,可以通过按CTRL / CMD + Z轻松恢复它。...如果需要恢复整个已删除单元格,请按ESC + Z或EDIT>撤消删除单元格。 结论 在本文中,我列出了使用Python和Jupyter notebook时收集的一些小提示。

1.7K30

通宵翻译Pandas官方文档,写了这份Excel万字肝货操作!

Pandas 中,如果未指定索引,则默认使用 RangeIndex(第一 = 0,第二 = 1,依此类推),类似于电子表格中的标题/数字。...If/then逻辑 假设我们想要根据 total_bill 是小于还是大于 10 美元,创建一个具有低值和高值的列。 在Excel电子表格中,可以使用条件公式进行逻辑比较。...列的选择 在Excel电子表格中,您可以通过以下方式选择所需的列: 隐藏列; 删除列; 引用从一个工作表到另一个工作表的范围; 由于Excel电子表格列通常在标题中命名,因此重命名列只需更改第一个单元格中的文本即可...不仅仅是第一; 它将包括查找表中的所有列,不仅仅是单个指定的列; 它支持更复杂的连接操作; 其他注意事项 1....这可以通过创建一个系列并将其分配给所需的单元格实现。

19.5K20
您找到你想要的搜索结果了吗?
是的
没有找到

用过Excel,就会获取pandas数据框架中的值、和列

df.columns 提供列(标题)名称的列表。 df.shape 显示数据框架的维度,在本例中为45列。 图3 使用pandas获取列 有几种方法可以在pandas中获取列。...每种方法都有其优点和缺点,因此应根据具体情况使用不同的方法。 点符号 可以键入“df.国家”以获得“国家”列,这是一种快速简单的获取列的方法。但是,如果列名包含空格,那么这种方法行不通。...请注意双方括号: dataframe[[列名1,列名2,列名3,…]] 图6 使用pandas获取 可以使用.loc[]获取。请注意此处是方括号,不是圆括号()。...获取1 图7 获取多行 我们必须使用索引/切片获取多行。在pandas中,这类似于如何索引/切片Python列表。...要获取前三,可以执行以下操作: 图8 使用pandas获取单元格值 要获取单个单元格值,我们需要使用和列的交集。

18.9K60

《Python for Excel》读书笔记连载17:使用读写器包进行Excel文件操作(上)

我建议根据表8-1选择所需的包,然后直接跳到相应的部分,不是按顺序阅读。...对于主要包含数据和公式的格式化单元格的简单Excel文件来说,这是非常强大的,但是当电子表格中有图表和其他更高级的内容时,这又是有限的,因为OpenPyXL将更改它们或完全删除它们。...例如,从v3.0.5版本起,OpenPyXL将重命名图表并删除标题。...和pyxlsb不同,xlrd使用值返回单元格区域的尺寸,不是使用sheet.nrows和sheet.ncols的使用区域。...例如,当删除内容(通过单击delete键)不是删除本身(通过右键单击并选择delete)时,可能会发生这种情况。

3.7K20

15个能使你工作效率翻倍的Jupyter Notebook的小技巧

技巧7-使用多行光标 假设您有多行代码,如下所示,并且希望删除每行代码中的所有数字。不要逐行删除每个数字,你可以一次全部删除! ? 按住Alt键并选择整个单元格内容。...对我来说,一些有用的是可折叠标题、代码折叠、草稿和拼写检查器。 技巧10-显示函数和方法的帮助文档 如果忘记了特定方法的参数,请使用Shift+Tab获取该方法的文档。 ?...技巧11-扩展Pandas中显示的列和行数 Pandas表中显示的和列数量有限,可以根据自己的喜好进行自定义。 在这里,我将和列的最大输出设置为500。...技巧15-组织分析记录 使用标记单元格,可以轻松地记录工作。如下图所示,您可以使用“#”符号创建字体层次结构组织笔记本。 ? 一旦执行上述操作,层次结构就是这样的。 ?...如果您创建这些不同的标题,并将其与技巧9中提到的可折叠标题扩展相结合,则隐藏大量单元格以及快速导航和移动各节将非常有用。

2.7K20

用Python手撕一个批量填充数据到excel表格的工具,解放双手!

当数据列标题单元格坐标选择错误时,可以通过删除元素按钮删除列表中的错误数据。...列表推导式中,第一个for循环取出单元格对象,第二个循环把对象内容转换为字符串格式,通过正则表达式取出单元格坐标,最后通过if判断单元格内容是否为None,是的话就传入列表中,需要注意的是:如果是合并单元格的...else: print('文件不存在,请重新选择文件') sg.popup('文件不存在,请重新选择文件') 继续选择按钮只要实现的是:获取用户在选择或输入数据列标题框和选择或输入单元格坐标框一次次输入的内容...删除元素按钮只要用python自带函数remove删除列表中的元素,为了防止元素不存在导致报错,这里加一个条件判断: if event == '删除元素': if values['value']...没录到鼠标,后面选择完单元格坐标后,是点击了继续,选择完成后是点击了开始填充;如果你选择错误标题单元格坐标,可以点击删除元素按钮删除;打开表格时有点卡,后面出现的两个弹窗直接点击“是”和“关闭”即可:

1.7K30

Python与Excel协同应用初学者指南

数据可能位于Excel文件中,也可能使用.csv、.txt、.JSON等文件扩展名保存。数据可以是定性的,也可以是定量的。根据计划解决的问题类型,数据类型可能会有所不同。...电子表格数据的最佳实践 在开始用Python加载、读取和分析Excel数据之前,最好查看示例数据,并了解以下几点是否与计划使用的文件一致: 电子表格的第一通常是为标题保留的,标题描述了每列数据所代表的内容...可以使用sheet.cell()函数检索单元格值,只需传递row和column参数并添加属性.value,如下所示: 图13 要连续提取值,不是手动选择和列索引,可以在range()函数的帮助下使用...注意:要了解更多关于openpyxl的信息,比如如何更改单元格样式,或者该软件包如何与NumPy和Pandas配合使用,查看以下内容。...图21 xlrd提供了一些函数,可以使用这些函数仅检索或筛选特定的工作表,不是整个工作簿。

17.3K20

使用Python将PDF转换为Excel

从PDF复制表格并将其直接粘贴到Excel是很困难的,在大多数情况下,我们从PDF文件中复制的是文本,不是格式化的Excel表格。...接着,将干净的字符串值赋值回数据框架的标题(列)。 步骤3:删除NaN值 接下来,我们将清除由函数tabula.read_pdf()创建的NaN值,以便在特定单元格为空时使用。...在进行数据分析时,这些值会给我们带来麻烦,因此大多数情况下,我们会删除它们。浏览一下表,我们似乎可以删除包含NaN值的不会丢失任何数据点。...幸运的是,pandas提供了一种方便的方法删除具有NaN值的。...它简单强大,并且你可以控制要提取、保留和更改的内容。 注:本文学习整理自pythoninoffice.com。 欢迎在下面留言,完善本文内容,让更多的人学到更完美的知识。

3.7K20

使用R或者Python编程语言完成Excel的基础操作

条件格式:学习如何使用条件格式突出显示满足特定条件的单元格。 图表:学习如何根据数据创建图表,如柱状图、折线图、饼图等。 数据排序和筛选:掌握如何对数据进行排序和筛选,以查找和组织信息。...输入数据:直接在单元格中输入数据。 2. 删除数据 删除或列:右键点击行号或列标,选择“删除”。 清除内容:选中单元格,按Delete键或右键选择“清除内容”。 3....条件格式 数据条:根据单元格的值显示条形图。 色阶:根据单元格的值变化显示颜色的深浅。 图标集:在单元格中显示图标,以直观地表示数据的大小。 公式和函数 数组公式:对一系列数据进行复杂的计算。...更多数据 ] 增加列 # 假设我们要基于已有的列增加一个新列 'Total',为 'Sales' 和 'Customers' 之和 for row in data[1:]: # 跳过标题...in data1] # common_index 是共同列的索引 data2_common = {row[common_index]: row for row in data2[1:]} # 假设标题已被跳过

12510

如何使用Selenium Python爬取动态表格中的复杂元素和交互操作

特点Selenium可以处理JavaScript生成的动态内容传统的爬虫工具如requests或BeautifulSoup无法做到。...Selenium可以通过定位元素的方法,如id,class,xpath等,精确地获取表格中的数据。...cells = row.find_elements_by_tag_name('td') # 如果单元格数量大于0,则说明是数据不是标题或空行 if len(cells) >...判断行类型:对于每一,通过find_elements_by_tag_name('td')方法找到中的所有单元格,然后判断单元格数量是否大于0,以确定该行是否是数据不是标题或空行。...解析数据并存储:如果是数据,代码创建一个空字典record,并将每个单元格的文本和对应的列名作为键值对存入字典。

99520

10个小技巧:快速用Python进行数据分析

Pandas中的Profiling功能简单通过一代码就能显示大量信息,且在交互式HTML报告中也是如此。 对于给定的数据集,Pandas中的profiling包计算了以下统计信息: ?...Pandas实现交互式作图 Pandas有一个内置的.plot()函数作为DataFrame类的一部分。但是,使用此功能呈现的可视化不是交互式的,这使得它没那么吸引人。...接下来看一个使用print和pprint显示输出的示例。 ? ? 让你的笔记脱颖而出 我们可以在您的Jupyter notebook中使用警示框/注释框突出显示重要内容或其他需要突出的内容。...自动评论代码 Ctrl / Cmd + /自动注释单元格中的选定,再次命中组合将取消注释相同的代码。 ? 删除容易恢复难 你有没有意外删除过Jupyter notebook中的单元格?...如果答案是肯定的,那么可以掌握这个撤消删除操作的快捷方式。 如果您删除单元格内容,可以通过按CTRL / CMD + Z轻松恢复它。

1.3K21

收藏 | 10个可以快速用Python进行数据分析的小技巧

Pandas中的Profiling功能简单通过一代码就能显示大量信息,且在交互式HTML报告中也是如此。 对于给定的数据集,Pandas中的profiling包计算了以下统计信息: ?...Pandas实现交互式作图 Pandas有一个内置的.plot()函数作为DataFrame类的一部分。但是,使用此功能呈现的可视化不是交互式的,这使得它没那么吸引人。...接下来看一个使用print和pprint显示输出的示例。 ? ? 让你的笔记脱颖而出 我们可以在您的Jupyter notebook中使用警示框/注释框突出显示重要内容或其他需要突出的内容。...自动评论代码 Ctrl / Cmd + /自动注释单元格中的选定,再次命中组合将取消注释相同的代码。 ? 删除容易恢复难 你有没有意外删除过Jupyter notebook中的单元格?...如果答案是肯定的,那么可以掌握这个撤消删除操作的快捷方式。 如果您删除单元格内容,可以通过按CTRL / CMD + Z轻松恢复它。

1.4K50

10个可以快速用Python进行数据分析的小技巧

Pandas中的Profiling功能简单通过一代码就能显示大量信息,且在交互式HTML报告中也是如此。 对于给定的数据集,Pandas中的profiling包计算了以下统计信息: ?...Pandas实现交互式作图 Pandas有一个内置的.plot()函数作为DataFrame类的一部分。但是,使用此功能呈现的可视化不是交互式的,这使得它没那么吸引人。...接下来看一个使用print和pprint显示输出的示例。 ? ? 让你的笔记脱颖而出 我们可以在您的Jupyter notebook中使用警示框/注释框突出显示重要内容或其他需要突出的内容。...自动评论代码 Ctrl / Cmd + /自动注释单元格中的选定,再次命中组合将取消注释相同的代码。 ? 删除容易恢复难 你有没有意外删除过Jupyter notebook中的单元格?...如果答案是肯定的,那么可以掌握这个撤消删除操作的快捷方式。 如果您删除单元格内容,可以通过按CTRL / CMD + Z轻松恢复它。

1.8K20

飞速搞定数据分析与处理-day6-pandas入门教程(数据清洗)

清理空的值 空值 当你分析数据时,空的单元格有可能给你一个错误的结果。 ---- 删除 处理空单元格的一种方法是删除包含空单元格。...替换空值 另一种处理空单元格的方法是插入一个新的值。这样,你就不必因为一些空单元格删除整个。...处理空值的一个方法是简单地删除整个。 移除 在上面的例子中,转换的结果给了我们一个NaT值,这可以作为一个NULL值来处理,我们可以通过使用dropna()方法删除该行。..."或 "错误的格式",它可以只是错误的,比如有人登记了 "199 "不是 "1.99"。...在我们的例子中,这很可能是一个打字错误,数值应该是 "45 "不是 "450",我们可以在第7插入 "45": df.loc[7, 'Duration'] = 45 对于小的数据集,你也许可以一个一个地替换错误的数据

18840

《Python for Excel》读书笔记连载12:使用pandas进行数据分析之理解数据

进行数据分析之核心数据结构——数据框架和系列 10.使用pandas进行数据分析之数据操作 11.使用pandas进行数据分析之组合数据 有兴趣的朋友,也可以到知识星球完美Excel社群查阅完整的内容和其他更丰富资源...描述性统计 描述性统计(descriptivestatistics)允许使用定量度量汇总数据集。例如,数据点的数量是一个简单的描述性统计,平均值,如均值、中位数或众数是其他流行的例子。...,因此在包含空单元格的区域内使用Excel的AVERAGE公式将获得与应用于具有相同数字和NaN值(不是单元格)的系列的mean方法相同的结果。...在数据框架的所有中获取统计信息有时不够好,你需要更细粒度的信息,例如,每个类别的均值,这是下面的内容。 分组 再次使用我们的示例数据框架df,让我们找出每个大陆的平均分数。...,不是mean,如果想使用自己的函数,使用agg方法。

4.2K30

Python替代Excel Vba系列(三):pandas处理不规范数据

---- 这是典型的报表输出格式,其中有合并单元格内容把科目和人名回到一起去。由于案例原有的需求比较繁琐,本文核心是处理数据,因此简化了需求。...会导致内容包含了前2。...---- ---- 我们来看看数据: 注意看左上角有3个 nan ,是因为表格的标题行前3列是空的。 由于前2列有合并单元格,出现了很多 nan。 此外注意看第3列,把课时序号显示成小数。...---- 处理标题 pandas 的 DataFrame 最大的好处是,我们可以使用列名字操作数据,这样子就无需担心列的位置变化。因此需要把标题处理好。...如下是一个 DataFrame 的组成部分: 红框中的是 DataFrame 的值部分(values) 上方深蓝色框中是 DataFrame 的列索引(columns),注意,为什么方框不是

5K30

Python-操作Excel表-openpyxl模块使用

主要功能和特点如下: 读取、修改、写入Excel文件,支持格式如xlsx、xlsm等 支持 Excel 2003 以上格式 可以很方便地遍历工作表中的和列 获取单元格对象后,可以修改单元格的值、样式、...wb.save():保存工作簿到文件 工作表操作 ws = wb[sheetname]:根据名称获取工作表 ws.title:获取或设置工作表标题 ws.max_row:工作表总行数 ws.max_column...:工作表总列数 ws.cell(row,column):获取单元格 ws.append():在表尾追加行 ws.insert_rows():在指定位置插入行 ws.delete_rows():删除指定...:设置数字格式 cell.hyperlink:为单元格设置超链接 数据操作 ws.iter_rows():迭代工作表 ws.iter_cols():迭代工作表列 ws.rows:以生成器方式返回所有...# 保存Excel文件 wb.save('demo.xlsx') 这个简单的示例做了以下操作: 创建新的工作簿 修改默认工作表的标题 创建新的工作表 在两个工作表的A1单元格写入数据 保存工作簿为Excel

57650

对比Excel,一文掌握Pandas表格条件格式(可视化)

本来这周不是加班周,但是毕竟项目赶进度,还是需要加班着,咱们更文又变得慢了起来。...突出显示单元格 在Excel条件格式中,突出显示单元格规则提供的是大于、小于、等于以及重复值等内置样式,不过在Pandas中这些需要通过函数方法实现,我们放在后续介绍。...我们就可以得到想要的效果: 同样的道理,我们可以根据需求高亮列或的最大值、最小值等 2.3....其他 还有一些小操作,比如添加标题、隐藏索引、隐藏指定列等等 添加标题 隐藏索引 隐藏指定列 设置属性 如果一些单元格属性和单元格值无关,我们可以通过df.style.set_properties...截图 导出html 以上就是本次全部内容,大家感兴趣的话可以自己演示一遍熟悉熟悉,又或者想想日常工作中的一些条件格式需求,然后通过Pandas演示出来效果看看。

5K20

针对SAS用户:Python数据分析库pandas

这有点类似于在SAS日志中使用PUT检查变量值。 下面显示了size、shape和ndim属性(分别对应于,单元格个数、/列、维数)。 ?...为了识别缺失值,下面的SAS示例使用PROC格式填充缺失和非缺失值。缺失值对于数值默认用(.)表示,字符串变量用空白(‘ ‘)表示。因此,两种类型都需要用户定义的格式。...为了说明.fillna()方法,请考虑用以下内容创建DataFrame。 ? ? ? ? 默认情况下,.dropna()方法删除其中找到任何空值的整个或列。 ? ?...thresh参数允许您指定要为或列保留的最小非空值。在这种情况下,"d"被删除,因为它只包含3个非空值。 ? ? 可以插入或替换缺失值,不是删除和列。....在删除缺失之前,计算在事故DataFrame中丢失的记录部分,创建于上面的df。 ? DataFrame中的24个记录将被删除

12.1K20
领券