作为程序员，你的电脑里、书架上，一定少不了 Python 的资料和课程。免费的电子书，花钱买的课，实体书籍... 现在想一下，你真正从中学到多少： 正则会用了吗？ __getitem__用过吗？...callable对象怎么实现的？ 还在觉得yield可有可无吗？ 还觉得装饰器与你没有毛关系吗？ NumPy 的多维数组reshape 成这个形、那个形，怎么做到的啊？...(1) 是元组吗？(1,) 是什么类型？ 元组能增删元素吗？ 怎么判断 list 内有无重复元素？ 列表如何反转？ 如何找出列表中的所有重复元素？ 如何使用列表创建出斐波那契数列？...说说你知道的创建字典的几种方法？ 字典视图是什么？ 所有对象都能作为字典的键吗？ 集合内的元素可以为任意类型吗？ 什么是可哈希类型？举几个例子 求集合的并集、差集、交集、子集的方法？...NumPy 实现统计学的描述性变量：求平均值、标准差、方差、最大值、求和、累乘、累和。
即使你从未听说过NumPy，Pandas也可以让你在几乎没有编程背景的情况下轻松拿捏数据分析问题。...这种模式也可以在第一种情况下启用（NumPy向量的dict），通过设置copy=False。但这简单的操作可能在不经意间把它变成一个副本。...把这些列当作独立变量来操作，例如，df.population /= 10**6，人口以百万为单位存储，下面的命令创建了一个新的列，称为 "density"，由现有列中的值计算得出： 此外，你甚至可以对来自不同...例如，插入一列总是在原表进行，而插入一行总是会产生一个新的DataFrame，如下图所示： 删除列也需要注意，除了del df['D']能起作用，而del df.D不能起作用（在Python层面的限制...默认情况下，Pandas会对任何可远程求和的东西进行求和，所以必须缩小你的选择范围，如下图： 注意，当对单列求和时，会得到一个Series而不是一个DataFrame。
数据清洗（data cleaning）可以与数据整理（data wrangling）的工具交互执行，也可以通过脚本进行批处理。 数据整理（data wrangling）被维基百科定义为： 1....• 将数据集中的类似观察值聚类分组，通过将数据折叠成几个小数据点，可以更容易地识别行为模式。 要更全面地了解为什么EDA很重要，请阅读Chloe的文章。...• 如何处理您的数据中的缺失值：第一部分，雅各布•约瑟夫 • 如何处理您的数据中的缺失值：第二部分，雅各布•约瑟夫 步骤4：处理异常值（Dealing with Outliers） 你能找到异常吗？...• 使用百分位数删除Pandas DataFrame中的异常值 Stack Overflow 步骤5：处理不平衡数据（Dealing with Imbalanced Data） 如果你的另一个强大的数据集缺少缺失值和异常值是由两个类组成...Stack Overflow • 什么时候你应该记录一个分配（数字）的日志吗？
Bamboolib 的开发者们提出了一个解决问题的好办法 —— 给 Pandas 增加一个 GUI。 我们希望大家“不用写任何代码也可以学习和使用 Pandas”，可以办到吗？...从上面的图中，我们可以看到，随着手机内存容量的增加，价格范围也在不断地扩大。我们还看到内存变量的加权 F1 分数为 0.676。你可以对数据集里面的每个变量都执行这个操作，并尝试分析这些数据。...如果有的话，这里有一个 Pandas 的小窍门儿。 通过 Bamboolib，你要做的事情变得非常容易，并且不会被复杂的代码搞得晕头转向。...通过使用简单的 GUI，你可以进行删除、筛选、排序、联合、分组、视图、拆分（大多数情况下，你希望对数据集执行的操作）等操作。 例如，这里我将删除目标列中的多个缺失值（如果有的话）。...当然，还可以添加多个条件。 ? 最好的功能就是，Bamboolib 也提供了代码。如下所示，用于删除缺失值的代码将会自动添加到单元格中。
把这些列名变短会让你的工作更加轻松： ? 有一点需要注意的是，在这里我故意让所有列的标签都没有空格和横线。后面你将会看到，如果我们这样命名变量，Pandas会将它们存成什么类型。...在Pandas中，一个条目等同于一行，所以我们可以通过len方法获取数据的行数，即条目数。 ? 这将给你一个整数告诉你数据的行数。在我的数据集中，我有33行。...好，我们也可以在Pandas中做同样的事。 ? 上述代码将范围一个布尔值的dataframe，其中，如果9、10月的降雨量低于1000毫米，则对应的布尔值为‘True’,反之，则为’False’。...例如，如果你看我画出的我数据的图表，你可以看到1995年英国可能发生了干旱。 ? 你也能发现英国的降雨量明显低于日本，然而人们却说英国雨下得很多！...但是我希望通过我的介绍，你可以开始进行真正的数据清理与挖掘工作了。 像往常一样，我非常希望你能尽快开始尝试Pandas。找一两个你喜欢的数据集，开一瓶啤酒，坐下来，然后开始探索你的数据吧。
顺便说一下，你知道微软为PivotTable（透视表）注册了商标吗？其实以前我也不知道。不用说，下面我将讨论的透视表并不是PivotTable。...作为一个额外的福利，我创建了一个总结pivot_table的简单备忘单。你可以在本文的最后找到它，我希望它能够对你有所帮助。如果它帮到了你，请告诉我。...pd.pivot_table(df,index=["Manager","Rep"],values=["Price"]) “Price”列会自动计算数据的平均值，但是我们也可以对该列元素进行计数或求和。...记住，变量“columns（列）”是可选的，它提供一种额外的方法来分割你所关心的实际值。然而，聚合函数aggfunc最后是被应用到了变量“values”中你所列举的项目上。...，为了对你选择的不同值执行不同的函数，你可以向aggfunc传递一个字典。
关于csv文件 csv 是一种通用的、相对简单的文件格式，在表格类型的数据中用途很广泛，很多关系型数据库都支持这种类型文件的导入导出，并且 excel 这种常用的数据表格也能和 csv 文件之间转换。...逗号分隔值（Comma-Separated Values，CSV，有时也称为字符分隔值，因为分隔字符也可以不是逗号），其文件以纯文本形式存储表格数据（数字和文本）。...用 Pandas 读取 如果对上面的结果都有点不满意的话，那么看看 Pandas 的效果： ? 看了这样的结果，你还不感觉惊讶吗？你还不喜欢上 Pandas 吗？这是多么精妙的显示。它是什么？...如果你有足够的好奇心来研究这个名叫 DataFrame 的对象，可以这样： ? 一个一个浏览一下，通过名字可以直到那个方法或者属性的大概，然后就可以根据你的喜好和需要，试一试： ?...可以说，当你已经掌握了通过 dir() 和 help() 查看对象的方法和属性时，就已经掌握了 pandas 的用法，其实何止 pandas，其它对象都是如此。
《爱上潘大师》系列，是Python 高阶部分的第二个系列 上一个系列也说过，NumPy 是Pandas 的基础，如果Pandas 有些问题你不是很理解，就去上一个系列看看基础，想必会对你有所帮助 上一个系列我根据文章主要内容重新列了标题...Series 由一组数据以及一组与之相关的数据标签组成，其中数据可以是NumPy类型的各种数据，数据标签我们称之为索引。...调用它 上面例子中，通过一维数组创建一个Series 数据，其中索引在左边，值在右边。 即左边的【0、1、2、3】是数据的索引，右边的【1、2、4、5】是数据值。...= pd.Series(dict_data) # 输出 a 1 b 2 c 4 d 5 dtype: int64 也可以通过字典和索引结合的方式创建 Series 这个时候，...如果我们知道索引，当然也可以通过索引访问数据 # 通过索引访问数据 series_data2['new_c'] # 输出 4 # 通过多个索引访问数据 series_data2[['new_a', '
相信我，就算只有100多笔数据，它的求解速度也会难以满足你。我可不希望 Excel 卡你半天的时间。 今天，我就来教大家如何使用 python 的 or tools 解决凑数最优问题。...定义了一组变量 定义了目标函数 定义了一个约束条件，每个 x 只能取0或1 我们的目标是，通过修改变量 x 的值，使得目标函数最大化。但这些定义就足够了吗？我们来测试一下。...行1：实例化 model ，我们将使用它进行变量创建，定义约束等一系列操作。 行4：使用 model 创建一列变量。注意，在创建变量的时候，分别指定了最小值、最大值、以及变量的名字。...行1：创建一个求解器 行3：调用求解器的函数，传入之前构造的 model 行5：其返回值可以表示是否找到最优解 可以看到目标函数结果与指定值一致。 但我们需要知道，目标函数的结果是来自于哪些记录。...可以看到，总共26个组别，其中一些组别被抽取了多于10笔的记录 现在可以考虑第二个需求。我们希望在每个组别抽取的数量不能多于10笔，这种情况还能找到凑数结果吗？ 回到之前定义约束的代码。
给定一个 DataFrame， shift() 函数可被用来创建数据列的副本，然后 push forward （NaN 值组成的行添加到前面）或者 pull back（NaN 值组成的行添加到末尾）。...我们通过在顶端插入新的一行，用一个时间步（time step）把所有的观察降档（shift down）。由于新的一行不含数据，可以用 NaN 来表示“无数据”。 Shift 函数能完成该任务。...Shift 操作器可以接受一个负整数值。这起到了通过在末尾插入新的行，来拉起观察的作用。下面是例子： 运行该例子显示出，新的一列的最后一个值是一个 NaN 值。...函数返回一个单个的值： return: 序列的 Pandas DataFrame 转为监督学习。 新数据集创建为一个 DataFrame，每一列通过变量字数和时间步命名。...这使得开发者能设计各种各样时间步序列类型的预测问题。 当 DataFrame 被返回，你可以决定怎么把它的行，分为监督学习的 X 和 y 部分。这里可完全按照你的想法。
给定一个 DataFrame， shift() 函数可被用来创建数据列的副本，然后 push forward （NaN 值组成的行添加到前面）或者 pull back（NaN 值组成的行添加到末尾）。...我们通过在顶端插入新的一行，用一个时间步（time step）把所有的观察降档（shift down）。由于新的一行不含数据，可以用 NaN 来表示 “无数据”。 Shift 函数能完成该任务。...Shift 操作器可以接受一个负整数值。这起到了通过在末尾插入新的行，来拉起观察的作用。下面是例子： 运行该例子显示出，新的一列的最后一个值是一个 NaN 值。...函数返回一个单个的值： return: 序列的 Pandas DataFrame 转为监督学习。 新数据集创建为一个 DataFrame，每一列通过变量字数和时间步命名。...这使得开发者能设计各种各样时间步序列类型的预测问题。 当 DataFrame 被返回，你可以决定怎么把它的行，分为监督学习的 X 和 y 部分。这里可完全按照你的想法。
Pandas：很重要的库，比如加载数据集、创建DataFrame对象，Pandas在分析和预测方面能够实现你想做的任何事情。...我们也可以用tail()查看最后5条记录（默认值是5）。 下面是head()的输出结果： 到现在，已经从DataFrame数据集中得到了前5条记录了。...我们能够设置标签，xlable意味着x轴，ylable意味着y轴，titile用于设置图示的标题。 通过图示，我们能够从数据中得到一些信息，能推论出以下各项吗？ 年轻人更多在甲板上。...本文中的因变量用二级制形式表示，即只取两个数，“0”或者“1”，这种二进制方式可以代表不同的输出结果，比如通过/挂科、赢/输、生/死，或者健康/生病等。...如果因变量是超过两个值得分类数据，可以用多元Logistic回归。如果多个类型值是有顺序的，可以用序数Logistic回归。在经济领域，Logisti回归是一种反应定性问题或者离散问题的模型示例。
交易策略通常通过回测来验证：利用历史数据，利用你已开发的交易策略重新构建那些过去应该发生的交易。借此，你能获知你的策略的有效性如何，你也可以以此作为新策略投入市场前的优化和提升的起始点。...以及，除此之外，你还能通过它获取 Jupyter Notebook 和 Spyder IDE。 听起来像是工作量很大，对吗？...您可以在Pandas的帮助下轻松执行这项算术运算；只需将aapl数据Close列的值减去Open列的值。或者说，aapl.Close减去aapl.Open。...取而代之的是，你将在下面看到如何开始创建一个可以生产订单并管理损益的投资组合: 首先，你将创建一个initial_capital 变量来设置初始资本值和新的DataFrame positions。...但是，你也可以看到，很容易犯错，而且这可能不是每次使用最万无一失的选项：因为你需要从头开始构建大部分组成部分，即使你已经利用Pandas来获取结果。
前言 定义变量还需要讲解？ 你能说出来，以下代码定义了多少个变量吗： 如果你的答案是2个，那么希望看完本文后你会有不一样的回答。...本文不是讲解如何定义变量，也不打算按照市面上的教程逻辑讲解，希望我能让你对变量带来一些新的理解。 ---- 为什么变量这么重要 如下代码生成了一个列表： 执行过程中，这里面到底发生了什么事情？...但是赋的是什么样的值？那是对象的 id 值 行4：所以，此时通过 s2 对 列表操作，做事情的是"对象区" 上的列表对象。...其中，如果是默认参数，里面还会保留其默认值(实际上保存的只是默认值对象的 id) 如下自定义函数： 在一次完整的代码运行期间(就是上述整个代码从上到下执行一次)，由于函数对象只创建了一次，他的默认参数的...导入后其实我们可以随意使用新的变量： ---- 答疑 以下代码定义了多少个变量？ 5个变量。分别是 pd、numpy、load_data、a、b 以下代码会报错吗？ 会。
会用Excel做透视表吗？ 2 pandas如何做透视表分析？使用什么函数？函数的参数如何选择和设置？ 1 透视表介绍 数据透视表是一个用来总结和展示数据的强大工具。...变量集数据类型以及类型转换 代码 # 查看变量集数据类型 df.dtypes # 变量Status类型转换和设置要检视的顺序 df['Status'] = df['Status'].astype('category...计算逻辑默认是对数值型变量做平均，通过参数aggfunc设置所要聚合计算的逻辑，比方说求和，最小值，最大值等。...参数aggfunc可以接受一个聚合计算的列表，例如：求和与计数 代码 pd.pivot_table(df, index=['Manager', 'Rep'], values=['Price'], aggfunc...5 总结 pandas通过pivot_table()函数可以实现透视表，通过设置函数里面的不同参数以达成不同的目标。
这篇教程里，你将学到如何把单变量、多变量时间序列问题转为机器学习算法能解决的监督学习问题。...给定一个 DataFrame， shift() 函数可被用来创建数据列的副本，然后 push forward （NaN 值组成的行添加到前面）或者 pull back（NaN 值组成的行添加到末尾）。...由于新的一行不含数据，可以用 NaN 来表示“无数据”。 Shift 函数能完成该任务。我们可以把处理过的列插入到原始序列旁边。...函数返回一个单个的值： return: 序列的 Pandas DataFrame 转为监督学习。 新数据集创建为一个 DataFrame，每一列通过变量字数和时间步命名。...这使得开发者能设计各种各样时间步序列类型的预测问题。 当 DataFrame 被返回，你可以决定怎么把它的行，分为监督学习的 X 和 y 部分。这里可完全按照你的想法。
Pandas库 Pandas数据结构 1、Series （1）概念： Series是一种类似于一维数组的对象，它由一组数据以及一组与之相关的数据标签（即索引）组成。...也可以在创建Series的时候为值直接创建索引。 b、通过字典的形式来创建Series。 （3）获取Series中的值 通过索引的方式选取Series中的单个或一组值。...（3）获取DataFrame的值（行或列） 通过查找columns值获取对应的列。（下面两种方法） 通过索引字段ix查找相应的行。 （4）对列进行赋值处理。 对某一列可以赋一个标量值也可以是一组值。...Pandas基本功能 1、重新索引 Pandas对象的一个方法就是重新索引（reindex）,其作用是创建一个新的索引，pandas对象将按这个新索引进行排序。对于不存在的索引值，引入缺失值。...8、值计数 用于计算一个Series中各值出现的次数。 9、层次化索引 层次化索引是pandas的一个重要功能，它的作用是使你在一个轴上拥有两个或多个索引级别。
生成器会依次生成由索引和对应元素值组成的元组。通过使用 enumerate() 函数，你可以在循环遍历列表或其他可迭代对象时，同时获取元素的索引和值，这样可以更方便地进行处理或记录。...¶ 是的，你可以通过适当的导入语句来导入不同路径下的 Python 模块。...这个函数可以是一个普通的命名函数，也可以是一个匿名函数（lambda 函数）。...通过这些求和操作，可以计算数组中元素的总和以及沿指定轴进行求和的结果。使用方法 sum() 可以直接对数组进行求和，而函数 np.sum() 则可以指定轴进行求和，并可以保持结果的维度。...计算范数的方法可以通过数学公式进行计算，也可以使用相关的函数或库进行计算，如NumPy中的numpy.linalg.norm函数可以用来计算向量或矩阵的范数。
Excel 的操作便利性在于只需要鼠标点击就可以完成操作，这对于查看数据是非常方便。 难道我们用 Python 就不能做到吗？本文将结合一些工具，使得你的 pandas 处理过程变得灵活动态。...，我们能通过最上方选择不同的年份，下方数据表能马上显示此年份总销量 top 10 的地区数据 用 Python 能快速简单做出这种效果吗？...widgets 库用于完成各种小组件，他能生成网页内容，不仅仅在 Jupyter Notebook 使用，但本文只讲解在 Jupyter Notebook 上的使用 ---- 修饰你的 pandas...处理 本文需要导入的库是这些： 首先使用 pandas 得到透视表的结果，这非常简单： 行3,4：为了突出可以变化的东西，这里定义2个变量 通过修改2个变量，我们能得到对应的结果数据 但是这远远不够...10种选择，界面同样可以看到下拉框 现在，我们只需要简单从下拉框选择条件值，下方的结果会马上刷新，这与 Excel 中的透视表一模一样 不过，大家都知道 Excel 中还能根据透视表制作透视图，这里我们同样可以制作出动态变化的图表
DataFrames Pandas 的 DataFrame（数据表）是一种 2 维数据结构，数据以表格的形式存储，分成若干行和列。通过 DataFrame，你能很方便地处理数据。...你可以从一个包含许多数组的列表中创建多级索引（调用 MultiIndex.from_arrays ），也可以用一个包含许多元组的数组（调用 MultiIndex.from_tuples ）或者是用一对可迭代对象的集合...假如你不确定表中的某个列名是否含有空格之类的字符，你可以通过 .columns 来获取属性值，以查看具体的列名。 ?...Pandas 的数据透视表能自动帮你对数据进行分组、切片、筛选、排序、计数、求和或取平均值，并将结果直观地显示出来。比如，这里有个关于动物的统计表： ?...你可以在 Pandas 的官方文档 中找到更多数据透视表的详细用法和例子。 于是，我们按上面的语法，给这个动物统计表创建一个数据透视表： ? 或者也可以直接调用 df 对象的方法： ?
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
云直播
实时音视频
