类似一维数组（ndarray）的对象，由一组数据（各种NumPy数据类型）以及与之相关的数据标签（索引）组成，用于存储一行或一列数据。
导读：Pandas是日常数据分析师使用最多的分析和处理库之一，其中提供了大量方便实用的数据结构和方法。但在使用初期，很多人会不知道：
取数后的分析结果若想定时发送给相关人员，可参考【干货】用Python每天定时发送监控邮件。
pandas基于numpy进行开发，是python数据分析的核心包，针对结构化数据，提供了一系列灵活且强大的数据分析功能。在pandas中，提供了以下两种基本的数据结构
作为一个初学者，我发现自己学了很多，却没有好好总结一下。正好看到一位大佬 Yong Cui 总结的文章，我就按照他的方法，给大家分享用于Pandas中合并数据的 5 个最常用的函数。这样大家以后就可以了解它们的差异，并正确使用它们了。
访问元素和提取子集是数据框的基本操作，在pandas中，提供了多种方式。对于一个数据框而言，既有从0开始的整数下标索引，也有行列的标签索引
HDF5（Hierarchical Data Formal）是用于存储大规模数值数据的较为理想的存储格式。
HDF5（Hierarchical Data Formal）是用于存储大规模数值数据的较为理想的存储格式，文件后缀名为h5，存储读取速度非常快，且可在文件内部按照明确的层次存储数据，同一个HDF5可以看做一个高度整合的文件夹，其内部可存放不同类型的数据。在Python中操纵HDF5文件的方式主要有两种，一是利用pandas中内建的一系列HDF5文件操作相关的方法来将pandas中的数据结构保存在HDF5文件中，二是利用h5py模块来完成从Python原生数据结构向HDF5格式的保存，本文就将针对pandas中读写HDF5文件的方法进行介绍。
笔者最近发现一款将pandas数据框快速转化为描述性数据分析报告的package——pandas_profiling。一行代码即可生成内容丰富的EDA内容，两行代码即可将报告以.html格式保存。笔者当初也是从数据分析做起的，所以深知这个工具对于数据分析的朋友而言极为方便，在此特地分享给大家。
Pandas是Python数据分析处理的核心第三方库，它使用二维数组形式，类似Excel表格，并封装了很多实用的函数方法，让你可以轻松地对数据集进行各种操作。
Pandas对于日常数据分析和处理来说是最常用的工具（没有之一），笔者之前也总结分享了很多相关用法和技巧。与之不同，今天本文来介绍几个已经在函数文档中列入"deprecated"的函数/属性，可能在不久的未来版本中这些用法将正式与我们告别，以此权当留念。
这是一个关于在线音乐零售平台的用户消费分析案例，在网上到处可见，听闻不少培训机构也用于数据分析案例。我大概看了一些其他的文章，基本是千篇一律。
在日常办公工作中，我们可能会碰到多个或者几百上千个数据结构都相同 sheet工作表需要你进行合并汇总。而excel和python都能进行工作表的合并，那你知道他们两个的操作谁更为好用的吗？今天就分别介绍excel和python合并工作表的方法，看看合并工作表那家强！
with语句在语句结束时自动关闭文件对象。 使用csv模块reader函数创建文件读取对象filereader，读取输入文件中的行。 使用csv模块的writer函数创建文件写入对象filewriter，将数据写入输出文件。 函数的第二个参数（delimiter=','）是默认分隔符，如果输入和输出文件都用逗号分隔，就不需要此参数。 使用filewriter对象的writerow函数来将每行中的列表值写入输出文件。
KNN是我们最常见的聚类算法，但是因为神经网络技术的发展出现了很多神经网络架构的聚类算法，例如 一种称为HNSW的ANN算法与sklearn的KNN相比，具有380倍的速度，同时提供了99.3％的相同结果。
当大家谈到数据分析时，提及最多的语言就是Python和SQL。Python之所以适合数据分析，是因为它有很多第三方强大的库来协助，pandas就是其中之一。pandas的文档中是这样描述的：
作者：xiaoyu 知乎：https://zhuanlan.zhihu.com/pypcfx 介绍：一个半路转行的数据挖掘工程师
Pandas作为大数据分析最流行的框架之一。用好Pandas就像大数据工程师用好SQL用好Excel一样重要。如果你打算学习 Python 中的数据分析、机器学习或数据科学工具，大概率绕不开Pandas库。Pandas 是一个用于 Python 数据操作和分析的开源库。
每个机器学习项目都有自己独特的形式。对于每个项目，都可以遵循一组预定义的步骤。尽管没有严格的流程，但是可以提出一个通用模板。
一个数据分析师，最怕的一件事情莫过于在没有数据的情况下，让你去做一个详细的数据分析报告。确实，巧妇难为无米之炊，数据是数据分析、数据挖掘乃至数据可视化最最基础的元素。
就在几天前，pandas发布了其1.3版本，在这次新的版本中添加了诸多实用的新特性，今天的文章我们就一起来get其中主要的一些内容更新~
Pandas是一个用于数据操作和分析的Python库。它建立在 numpy 库之上，提供数据帧的有效实现。数据帧是一种二维数据结构。在数据帧中，数据以表格形式在行和列中对齐。它类似于电子表格或SQL表或R中的data.frame。最常用的熊猫对象是数据帧。大多数情况下，数据是从其他数据源（如csv，excel，SQL等）导入到pandas数据帧中的。在本教程中，我们将学习如何创建一个空数据帧，以及如何在 Pandas 中向其追加行和列。
作为一个在进入数据分析领域之前干过开发的攻城狮，我看到我的同行以及新手在使用 Pandas 时会犯很多低级错误。
Attitude is a little thing that makes a big difference.
这篇主要比较R语言的data.talbe和python的pandas操作数据框的形式， 学习两者的异同点， 加深理解两者的使用方法。
将两个结构相同的数据框合并成一个数据框。 函数concat([dataFrame1, dataFrame2, ...])
数据框（Dataframe）作为一种十分标准的数据结构，是数据分析中最常用的数据结构，在Python和R中各有对数据框的不同定义和操作。 Python 本文涉及Python数据框，为了更好的视觉效果，使用jupyter notebook作为演示的编辑器;Python中的数据框相关功能集成在数据分析相关包pandas中，下面对一些常用的关于数据框的知识进行说明： 1.数据框的创建 import pandas as pd from numpy import random a = [i for i in rang
pandas作为数据分析的利器，提供了数据读取，数据清洗，数据整形等一系列功能。当需要对多个数据集合并处理时，我们就需要对多个数据框进行连接操作，在pandas中，提供了以下多种实现方式
能把学习的编程技能用在实际工作中，提升效率、解决痛点、释放生产力，个人觉得是学习编程技能ROI最高的回报，而非都要挤破头成为数据科学家、算法工程师，毕竟这些职业的门槛一直都在，但让工作更轻松却是任何一个职业都有的真实诉求。
上一篇分享了一个从时间处理上的加速方法「使用 Datetime 提速 50 倍运行速度！」，本篇分享一个更常用的加速骚操作。
本号之前已经分享过关于如何使用 Python 中的数据处理分析包 pandas 处理 Excel 的数据，本文继续分享一个小案例，此案例源于上周末帮朋友做的一个需求，并且是以 vba 编写解决，后来我用 Python 再解决一次，通过本文作简单分享。
python处理excel的库很多，例如xlrd/xlwt/openpyxl/xlsxwriter等。每个库都有一定的局限性,pandas处理excel是基于这些库的，所以集大成者。 个人还是比较喜欢用pandas, 开箱即用。
这篇万字长文，是黄同学辛苦为大家辛苦翻译排版。希望大家一定从头到尾学习，否则，可能会找不到操作的数据源。
*从本篇开始所有文章的数据和代码都已上传至我的github仓库：https://github.com/CNFeffery/DataScienceStudyNotes
在Excel中，可以通过功能区或者快捷菜单中的命令或快捷键插入列，对于Python来说，插入列也很容易。
一些小提示和小技巧可能是非常有用的，特别是在编程领域。有时候使用一点点黑客技术，既可以节省时间，还可能挽救“生命”。
在之前的办公自动化系列文章中，我已经对Python操作Excel的几个常用库openpyxl、xlrd/xlwt、xlwings、xlsxwriter等进行了详细的讲解。
使用xlrd和xlwt扩展包，确定工作簿中工作表的数量、名称和每个工作表中行列的数量。 1excel_introspect_workbook.py
数据分析的本质是为了解决问题，以逻辑梳理为主，分析人员会将大部分精力集中在问题拆解、思路透视上面，技术上的消耗总希望越少越好，而且分析的过程往往存在比较频繁的沟通交互，几乎没有时间百度技术细节。
数据经过采集后通常会被存储到Word、Excel、JSON等文件或数据库中，从而为后期的预处理工作做好数据储备。数据获取是数据预处理的第一步操作，主要是从不同的渠道中读取数据。Pandas支持CSV、TXT、Excel、JSON这几种格式文件、HTML表格的读取操作，另外Python可借助第三方库实现Word与PDF文件的读取操作。本章主要为大家介绍如何从多个渠道中获取数据，为预处理做好数据准备。
今天我将介绍Python自带的一个文件操作模块-glob模块。涉及的内容主要如下：
数据分析中需要的数据往往来自不同的途径，这些数据的格式、特点、质量千差万别，给数据分析或挖掘增加了难度。为提高数据分析的效率，多个数据源的数据需要合并到一个数据源，形成一致的数据存储，这一过程就是数据集成。
DataFrame DataFrame 是一个表格或者类似二维数组的结构，它的各行表示一个实例，各列表示一个变量。 一. DataFrame数据流编程 二. 数据读取 readr/httr/DBI 1
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
