0x01 数据缩放简介 使用单一指标对某事物进行评价并不合理，因此需要多指标综合评价方法。多指标综合评价方法，就是把描述某事物不同方面的多个指标综合起来得到一个综合指标，并通过它评价、比较该事物。...由于性质不同，不同评价指标通常具有不同的量纲和数量级。当各指标相差很大时，如果直接使用原始指标值计算综合指标，就会突出数值较大的指标在分析中的作用、削弱数值较小的指标在分析中的作用。...因为这些算法是基于数据点的特征值计算它们的距离，距离越小则两者越相似。...数据缩放主要分为两种：指标一致化、无量纲化; 0x02 指标一致化 目的是解决数据性质不同的问题，也就是说涉及到多个不同的统计量时，有的指标数值越大越符合预期(如：生存率)，也要一些指标数值越小越符合预期...类中，每种预处理的方法，一般来说都有三种方法，包括： .fit(): 用于计算训练集train_x的均值、方差、最大值、最小值等训练集固有的属性。
=True) profile Pandas Profiling操作界面 每列的详情包括：缺失值统计、去重计数、最值、平均值等统计指标和取值分布的柱状图。...与 PandasGUI 相反，Pandas Profiling没有丰富的图表，但提供了非常多的统计指标以及相关系数。 3....Sweetviz Sweetviz与Pandas Profiling类似，提供了每列详细的统计指标、取值分布、缺失值统计以及列之间的相关系数。...Sweetviz数据集对比 蓝色和橙色代表不同的数据集，通过对比可以清晰发现数据集之前的差异。...如果探索的数据集侧重数据展示，可以选PandasGUI；如果只是简单了解基本统计指标，可以选择Pandas Profiling和Sweetviz；如果需要做深度的数据探索，那就选择dtale。
首先，简单介绍一下练习的案例数据： 和第一篇数据集一样，记录着不同流量来源下，各渠道来源明细所对应的访客数、支付转化率和客单价。...数据集虽然简短（复杂的案例数据集在基础篇完结后会如约而至），但是有足够的代表性，下面开始我们索引的表演。 ...先看看均值各是多少： 再判断各指标列是否大于均值： 要三个条件同时满足，他们之间是一个“且”的关系（同时满足），在pandas中，要表示同时满足，各条件之间要用"&"符号连接，条件内部最好用括号区分...；如果是“或”的关系（满足一个即可），则用“|”符号连接： 这样连接之后，返回True则表示该渠道同时满足访客、转化率、客单价都高于均值的条件，接下来我们只需要把这些值传入到行参数的位置。 ...到这一步，我们直接筛选出了4条关键指标都高于均值的优质渠道。
和第一篇数据集一样，记录着不同流量来源下，各渠道来源明细所对应的访客数、支付转化率和客单价。数据集虽然简短（复杂的案例数据集在基础篇完结后会如约而至），但是有足够的代表性，下面开始我们索引的表演。...在loc方法中，我们可以把这一列判断得到的值传入行参数位置，Pandas会默认返回结果为True的行（这里是索引从0到12的行），而丢掉结果为False的行，直接上例子： ?...思路：优质渠道，得同时满足访客、转化、客单高于平均值这三个条件，这是解题的关键。 先看看均值各是多少： ? 再判断各指标列是否大于均值： ?...要三个条件同时满足，他们之间是一个“且”的关系（同时满足），在pandas中，要表示同时满足，各条件之间要用"&"符号连接，条件内部最好用括号区分；如果是“或”的关系（满足一个即可），则用“|”符号连接...这样连接之后，返回True则表示该渠道同时满足访客、转化率、客单价都高于均值的条件，接下来我们只需要把这些值传入到行参数的位置。 ? 到这一步，我们直接筛选出了4条关键指标都高于均值的优质渠道。
这是 Python 进阶课的第十五节 - 量化交易之向量化回测 ，进阶课的目录如下： NumPy 上 NumPy 下 Pandas 上 Pandas 下 SciPy 上 SciPy 下 Pandas...之前基础版的 11 节的目录如下： 编程概览 元素型数据 容器型数据 流程控制：条件-循环-异常处理 函数上：低阶函数 函数下：高阶函数 类和对象：封装-继承-多态-组合 字符串专场：格式化和正则化...，一般几行代码就能够快速得到结果，并且可以轻松测试不同的参数组合。...本课介绍了应用于三种类型的交易策略的回测： 基于简单移动均线 (Simple Moving Average) 基于动量 (Momentum) 基于均值回归 (Mean Reversion) 对于每种策略...在探索完策略之后，将“零乱”的代码以面向对象编程 (OOP) 的方式整理成结构化的对象。用户可以随意测试不同的数据来调参、生成策略指标、可视化策略收益和基准收益。
例如： 单列，二进制值（分类问题，一个样本仅属于一个类，并且只有两个类） 单列，实数值（回归问题，只预测一个值） 多列，二进制值（分类问题，一个样本属于一个类，但有两个以上的类） 多列，实数值（回归问题...，多个值的预测） 多个标签（分类问题，一个样本可以属于几个类） 评估指标 对于任何类型的机器学习问题，我们都一定要知道如何评估结果，或者说评估指标和目的是什么。...我不会再深入的讲解不同的评估指标，因为根据问题的不同会有很多不同的种类。 库 开始尝试机器学习库可以从安装最基础也是最重要的开始，像numpy和scipy。...任何作用于训练集的运算都必须被保存并应用于验证集。验证集无论如何都不可以和训练集混为一谈。因为混到一起之后虽然回到一个让用户满意的评估指标值，但却会因为模型过拟合而不能使用。...下一步是识别数据中不同的变量。通常有三种变量：数值变量、分类变量和文本变量。让我们用很受欢迎的关于泰坦尼克号的数据集来举个例子。
3、算数运算和数据对齐 （1）Series 与Series之间的运算 将不同索引的对象进行算数运算，在将对象进行相加时，如果存在时，则结果的索引就是该索引的并集，而结果的对象为空。...（索引相同的进行算数运算，索引不同的被赋予空值） 4、排序和排名 根据某种条件对数据集进行排序。...obj.rank() (2)DataFrame数据结构的排序和排名 按索引值进行排列，一列或多列中的值进行排序，通过by将列名传递给sort_index. 5、缺失数据处理 （1）滤出缺失数据 使用data.dropna...根据数组中数据的类型不同，产生的统计指标不同，有最值、分位数（四分位、四分之三）、标准差、方差等指标。 7、唯一值的获取 此方法可以用于显示去重后的数据。...相当于Excel中vlookup函数的多条件查找中的多条件。 对于层次化索引对象，选取数据的方式可以通过内层索引，也可以通过外层索引来选取，选取方式和单层索引选取的方式一致。
直观的观察数据 成功的数据分析的一个先决条件是要深入的挖掘数据细节，否则很难提出（或解答）正确的问题。 在本例中，训练集的数据形式如下。 ? 其中，Loan_Status是最终要预测的标签。...初始数据分析 pandas库的describe() 函数是一个非常有用的工具。它可以很方便的对连续数据的一些关键指标进行概览。可以看到，贷款预测的数据集样本数非常少（仅614个）。...可以看到，我们引入的新特征对贷款预测的表现非常好，甚至比一些给定的的初始特征效果都要好。 模型选择 本竞赛是一个二值分类问题。...我们可以应用不同的监督学习算法进行训练，比如逻辑回归、神经网络、支持向量机（SVM），基于树的模型。 因为样本的数据量很小，因此我们采用了多随机森林模型，该模型结合了线性回归的特点。...结 论 挖掘新特征、填充缺失值、处理异常值和特征选择，这些都是数据挖掘过程的核心步骤。这些过程往往是非线性的，从而需要高效的迭代处理。
Pandas 是基于 NumPy 的一个开源 Python 库，它被广泛用于快速分析数据，以及数据清洗和准备等工作。...此外，你还可以制定多行和/或多列，如上所示。 条件筛选 用中括号 [] 的方式，除了直接指定选中某些列外，还能接收一个条件语句，然后筛选出符合条件的行/列。...生成的指标，从左到右分别是：计数、平均数、标准差、最小值、25% 50% 75% 位置的值、最大值。 ? 如果你不喜欢这个排版，你可以用 .transpose() 方法获得一个竖排的格式： ?...同样，inner 代表交集，Outer 代表并集。 数值处理 查找不重复的值 不重复的值，在一个 DataFrame 里往往是独一无二，与众不同的。找到不重复的值，在数据分析中有助于避免样本偏差。...查找空值 假如你有一个很大的数据集，你可以用 Pandas 的 .isnull() 方法，方便快捷地发现表中的空值： ?
9、10、11行三种方式均可以导入文本格式的数据。 特殊说明：第9行使用的条件是运行文件.py需要与目标文件CSV在一个文件夹中的时候可以只写文件名。...5、文本中缺失值处理，缺失数据要么是没有（空字符串），要么是用某个标记值表示的，默认情况下，pandas会用一组经常出现的标记值进行识别，如NA、NULL等。查找出结果以NAN显示。...（2）对于pandas对象（如Series和DataFrame）,可以pandas中的concat函数进行合并。...（2）离散化或面元划分，即根据某一条件将数据进行分组。 利用pd.cut（）方式对一组年龄进行分组。 默认情况下，cut对分组条件的左边是开着的状态，右边是闭合状态。...可以用left（right）=False来设置哪边是闭合的。 清理数据集 主要是指清理重复值，DataFrame中经常会出现重复行，清理数据主要是针对这些重复行进行清理。
财务数据等各种数据，可以支持取单品种单指标、多品种单指标和单品种多指标的时间序列数据 (注：不支持多品种多指标)。...] 单品种多指标 获取平安银行在 2019-04-01 到 2019-04-04 的开盘价、最低价、最高价和收盘价。...但是 wss 支持取多品种多指标某个时间点的截面数据。...这里 wset 是专门收集数据集信息的函数，万矿做的好的东西是又一套 GUI 帮你生成第一行代码，展示如下： 点击「API 函数」下面的「WSET 数据集」会带给你以下界面。...来切片单列 用 [] 来切片单列或多列 基于标签的 loc 基于位置的 iloc 切片 index： 用 [] 来切片单行或多行 基于标签的 loc 基于位置的 iloc 切片 index 和
2 df.tail() 查询数据的末尾5行 3 pandas.qcut() 基于秩或基于样本分位数将变量离散化为等大小桶 4 pandas.cut() 基于分位数的离散化函数 5 pandas.date_range...：布尔型数组（过滤行）、切片（行切片）、或布尔型DataFrame（根据条件设置值） 2 df.loc[val] 通过标签，选取DataFrame的单个行或一组行 3 df.loc[：,val] 通过标签...() 针对各列的多个统计汇总，用统计学指标快速描述数据的概要 6 .sum() 计算各列数据的和 7 .count() 非NaN值的数量 8 .mean( ) 计算数据的算术平均值 9 .median(...() 根据数据分析对象的特征，按照一定的数值指标，把数据分析对象划分为不同的区间部分来进行研究，以揭示其内在的联系和规律性。...read_sas 读取存储于SAS系统自定义存储格式的SAS数据集 12 read_sql 读取SQL 查询结果为pandas的DataFrame 13 read_stata 读取Stata文件格式的数据集
一般而言，缺失值处理的原则无非就是以下三种： 缺失比例较小，可直接过滤掉缺失值所在行 缺失比例较大，根据特定的业务理解进行一定规则的填充 缺失记录有特定业务含义，不做任何处理 至于在实际数据分析中应该采取哪种方案来处理...所以，这里仅给出基于Pandas的具体处理方法。 1....类似地，执行重复值过滤的接口为drop_duplicates()，仍然可选keep参数保留不同不同的重复记录： ?...03 异常值处理 不同于缺失值和重复值那样规则相对明朗，异常值的处理相对更为复杂。...这里以某真实GPS数据集为例，原始数据集如下： ? 以上述三种异常值的清洗需求为例，其执行流程分别如下： 1. 清洗单字段取值异常的记录 以速度字段为例，首先判断其取值分布情况： ?
还使用匹兹堡睡眠质量指数（PSQI）对患者进行睡眠障碍的筛查。被试样本包括三种ADHD亚型，包括40混合型（注意缺陷和多动），23名注意缺陷亚型，和3名多动亚型。数据集1：采集。...被试样本包括三种ADHD亚型，包括16混合型，5名注意缺陷亚型，和1名多动亚型。数据集2：采集。...注意缺陷和多动的临床指标对于每个数据集，我们选择了最能反映ADHD当前（即，成人）症状的标准化临床问卷。...(A)ADHD、CTRL和ALL(ADHD+CTRL)三种条件下的五种静息态EEG地形图。(B) ADHD和CTRL之间五种静息态地形图的空间相关系数。...(A)ADHD、CTRL和ALL(ADHD+CTRL)三种条件下五种静息态EEG地形图。(B) ADHD和CTRL之间五种静息态地形图的空间相关系数。图6.数据集2.
一般来说价格不能为负，所以从逻辑上来说如果价格是小于0的数据应该予以筛出 #删除异常值：通过条件判断筛选出数据 #查询条件 querySer=DataDF.loc[:,'Quantity']>0 #应用查询条件...以不同指标的计算结果填充缺失值 去除缺失值的知识点： DataFrame.fillna https://pandas.pydata.org/pandas-docs/stable/reference/api...但是，我们应该用什么值替换呢？这个时候可能要结合你对这个数据集的理解，看填充什么数据才是比较合适，以下是一下常用的方法。...如果想了解更多 fillna() 的详细信息参考 pandas.DataFrame.fillna pandas.pydata.org 2） 以同一指标的计算结果（均值、中位数、众数等）填充缺失值 平均值...填充后 4) 以不同指标的计算结果填充缺失值 关于这种方法年龄字段缺失，但是有屏蔽后六位的身份证号可以推算具体的年龄是多少。
有监督与无监督机器学习 这两种方法的区别在于使用的数据集是否有标记:监督学习使用有标注的输入和输出数据，而无监督学习算法没有确定的输出。数据集的标注是响应变量或试图预测的变量包含数值或分类值。...空间的维度由变量的数量生成。例如，如果我们有一个变量（标准普尔 500 指数回报），GMM 将基于一维数据进行拟合。GMM 可用于模拟股票市场以及其他金融应用程序的状态。...为此，使用期望最大化 (EM) 算法来求解每个多正态分布的参数。...从上面的分析来看，两个状态也可能就可以了 可能出现的一个问题是趋同性。有可能是基于初始条件和EM算法中某个阈值的标准的定义上，也有可能是形成不同的分布。这个还需要进一步的调查。...给定二维数据，GMM 能够产生三种不同的状态。 最后，如果要创建一个有意义的模型，应该考虑更多的变量。实际上一系列不同的指标构成了美国经济及其表现。
功能 Evidently采用了由 3 个组件组成的模块化方法：报告、测试套件和监控仪表板。 它们涵盖不同的使用场景：从临时分析到自动化管道测试和持续监控。 1....测试套件：批量模型检查 测试执行结构化数据和机器学习模型质量检查，可以手动设置条件，也可以让 Evidently 根据参考数据集生成条件，返回明确的通过或失败结果。...主要用例：基于测试的机器学习监控，以将测试作为机器学习管道中的一个步骤来运行。例如，当收到一批新的数据、标签或生成预测时。可以根据结果构建条件工作流程，例如触发警报、重新训练或获取报告。 2....输入：一个或两个数据集，如 pandas.DataFrames 或 csv。...例如，在探索性数据分析期间、对训练集进行模型评估、调试模型质量衰减时或比较多个模型时。 3. 机器学习监控仪表板 您可以自行托管机器学习监控仪表板，以随着时间的推移可视化指标和测试结果。
本系列教程特点： 好学易用 案例实操多 哪些读者可以使用： 了解机器学习的基本术语 会Python语言 会numpy和pandas库的使用 sklearn小抄 在愉悦的做一个调包侠之前，老衲给予施主一份绝世宝典...数据导入 sklearn支持的数据格式有numpy数组和pandas的DataFrame格式，当然，sklearn也提供了一些数据集，通过下面代码可以导入数据集（具体数据集见后文）。...from sklearn import datasets 数据预处理 “garbage in garbage out”，一个好的模型很大程度上基于一个干净有效的源数据，所以在训练模型之前，需要针对已有数据进行清洗和处理...模型选择 针对不同的问题需要选择不同的模型，有label标签且为离散值的为分类，有label标签且为连续值的是回归，无label的就要用无监督的方法了。...模型测试 针对不同类模型，模型的评价指标都不同，具体可看小抄和sklearn.metrics模块。在模型测试中，我们常常使用交叉验证的方法。
如果探索的数据集侧重数据展示，可以选PandasGUI；如果只是简单了解基本统计指标，可以选择Pandas Profiling和Sweetviz；如果需要做深度的数据探索，那就选择dtale。...但数据统计做的比较简单，没有提供缺失值、相关系数等指标，数据转换部分也只开放了一小部分接口。...2.Pandas Profiling Pandas Profiling操作界面 每列的详情包括：缺失值统计、去重计数、最值、平均值等统计指标和取值分布的柱状图。...与 PandasGUI 相反，Pandas Profiling没有丰富的图表，但提供了非常多的统计指标以及相关系数。 3....Sweetviz Sweetviz与Pandas Profiling类似，提供了每列详细的统计指标、取值分布、缺失值统计以及列之间的相关系数。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
