第二部分：使用分类变量预测存活结果 在《Kaggle项目实战》 泰坦尼克：从R开始数据挖掘(一)中，我们介绍了R中有关导入数据的知识。...我们仅用目标变量作为预测变量，现在试着用数据集中的其他变量来更有效的预测结果吧。 这场灾难中，“妇女和儿童优先”是为人熟知的，所以我们首先看看性别变量和年龄变量，观察一下它们能够导致生存结果的不同。...方括号用于创建数据框的子集，在这里，双等号的意思不是赋值，而是一个布尔测试，用于查看双等号两端的内容是否相等。 现在，我们向Kaggle发送一个新提交，看看我们的排名是否有所提高！ 太棒了！...如果你在预览窗口浏览训练集，你会看到那些年龄缺失的乘客对应的“Child”值为0。这符合我们的期望，因为我们打算用年龄平均值填充缺失值，而年龄平均值大于18，因此他们不是儿童。...唯一的例外是多个布尔测试之间的连接符号。对于复杂的布尔判断，你可以用表示“和”的逻辑运算符&、表示“或”的逻辑运算符“|”来连接。 好啦，让我们创建输出文件，看一看我们有没有改善预测结果。
主要有以下四种方式： 索引方式 使用场景 基础索引 获取单个元素 切片 获取子数组 布尔索引 根据比较操作，获取数组元素 数组索引 传递索引数组，更加快速，灵活的获取子数据集 数组的索引主要用来获得数组中的数据...代码如下: 2.使用join()方法合并数据集 join()是最常用的函数之一, join()方法用于将序列中的元素以指定的字符连接生成一个新的字符串。...关键技术: join()函数。具体程序代码如下所示: 3使用concat()方法合并数据集 concat()是最数据处理中最为强大的函数之一,可用于横向和纵向合并拼接数据。...【例】对于例48给定的DataFrame数据，统计数据的算数平均值并输出结果。...：仅数字，布尔型，默认值为True interpolation：内插值，可选参数，用于指定要使用的插值方法，当期望的分位数为数据点i~j时。
泰坦尼克号在进行从英国到纽约的处女航时，不幸的撞到了冰山上并沉没。在这场比赛中，你必须预测泰坦尼克号上乘客们的命运。 在这场灾难中，惊恐的人们争先恐后地逃离正在沉没的船是最混乱的事。...恩，你也许会（自然而然的）觉得使用Excel有些尴尬，使用Python又有些难，那阅读本文是非常明智的。我将向您介绍一种免费且强大的统计编程语言R，并教会您如何用它进行预测分析。...生存比例怎么样呢？嗯，我们可以将一个函数的输出作为另一个函数的输入。...这个想法也许有点变态，但可以让我们打开新局面，并向Kaggle发送一个预测结果。 继续了解更多的R语法。R中的赋值运算符为“<-”，它用于将右侧的值存储到左侧对象中。...在某些特殊情况下，例如将参数值传递到函数签名中时，我们使用等号（你将在后面的课程中看到这个）。 好啦，让我们将预测变量“everyonedies”添加到测试集数据框中。
3) 计算 K 个最邻近的房子的均值。这就是你对售价（也就是ŷ）的猜测。 KNN 不需要预定义的参数化函数f(X)，它用于将Y与X相关联。...使用这个公式，你可以计算所有训练数据点，到你尝试标注的数据点的邻近度，并选取 K 个最近邻的均值或众数，来做出你的预测。...现在，让我们查看一个特定的数据集，并讨论我们如何选择分割。 泰坦尼克数据集 Kaggle 的泰坦尼克数据集大量用于机器学习入门。当泰坦尼克沉没时，2224 个乘客和乘员中有 1502 个死亡。...让我们看一看泰坦尼克的变量： 来源：Kaggle 我们通过选取这些变量之一，以及根据它分割数据集，来构建决策树。 第一次分割将我们的数据集分为男性和女性。...之后，在测试期间，你需要用特定的房子遍历所有分割，并取叶子节点的所有房价的均值（最底下的节点），这些房子就会成为你的售价预测。
我们发现测试数据集比训练数据集少一行是因为少了survive，这个参数是最后需要和预测数据集比对查看正确率的，所以会缺失。...我们也可以通过散点图发现年龄和生存率关系不是很大，和上图相关系数所呈现的信息保持一致。 三、数据清洗，准备 3.1 处理float64缺失值：Age,Fare 对于数值型数据我们直接用平均值填充 ?...这里要清楚特征是我们提取的影响生存数的因素，标签是生存数。 预测数据集在891行之后要进行区分。...输入model.score(test_x,test_y) 输入测试特征和标签进行评估分数 8.2 用模型进行预测，并按要求输出 将前面准备的预测数据特征pre_x，用模型的predict方法预测生存数据...pre_y，并整理成整数型int数据 ?
运行下面区域中的代码加载数据，并使用 .head() 函数显示前几项乘客数据。 提示：你可以通过单击代码区域，然后使用键盘快捷键 Shift+Enter 或 Shift+ Return 来运行代码。...可以将 Survived 这一特征从这个数据集移除，并且用一个单独的变量 outcomes 来存储。它也做为我们要预测的目标。...这个函数定义在名为 titanic_visualizations.py 的 Python 脚本文件中，我们的项目提供了这个文件。传递给函数的前两个参数分别是泰坦尼克号的乘客数据和乘客的 生还结果。...这个链接提供了另一个使用决策树做机器学习入门的例子。 决策树是许多监督学习算法中的一种。在监督学习中，我们关心的是使用数据的特征并根据数据的结果标签进行预测或建模。...也就是说，每一组数据都有一个真正的结果值，不论是像泰坦尼克号生存数据集一样的标签，或者是连续的房价预测。 问题5：想象一个真实世界中应用监督学习的场景，你期望预测的结果是什么？
在接下来的文章中，我们将会证明，不仅不需要在能力和可解释性之间进行选择，而且强大的模型甚至比那些较浅的模型更容易解释。 数据 作为说明，我们将使用最著名的数据集之一：标志性的泰坦尼克号数据集。...我们有很多关于泰坦尼克号乘客的变量，我们想要预测每位乘客幸存的可能性有多大。...从SHAP到预测概率 想要从SHAP过渡到概率，最明显的方法是绘制相对于SHAP和(每个个体)的预测的生存概率(每个个体)。 很明显，这是一个确定性函数。...我们只要知道f()函数就可以量化年龄对预测的生存概率的影响：它就是f(2)-f(0)。...前5个乘客的预测生存概率的影响 例如，拥有一张三等舱的票会降低第一个乘客的生存概率-4.48%(相当于-0.36 SHAP)。请注意，3号乘客和5号乘客也在三等舱。
具体而言，以经典的泰坦尼克号数据集（github下载地址为 https://github.com/hitcszq/kaggle_titanic）为例，想要探索不同性别（Sex）和不同舱位等级（Embarked...02 利用pd.pivot_table实现 Pandas作为Python数据分析的瑞士军刀，实现个数据透视表自然不在话下，其接口函数为pivot_table，给出其核心参数如下： values : 待聚合的列名...index : 用于放入透视表结果中的行索引列名 columns : 用于放入透视表结果中列索引列名 aggfunc : 聚合统计函数，可以是单个函数，也可以是函数列表，还可以是字典格式，默认聚合函数为均值...如果既需要统计不同性别各舱位下的生存人数（对应Survived=1），又想统计生存率（生存人数与该分组下总人数的比例），那么仅需在传入aggfunc参数时增加一个mean聚合函数即可： ?...pivot由于仅涉及行列重组和变形，所以一般更适用于分类变量；而pivot_table在重组的基础上还增加了聚合统计的过程，所以一般更适用于数值型变量，但对于支持分类变量统计的聚合函数（例如count）
真正逃生的又是哪些人？今天我们就一起来探讨下泰坦尼克号的逃生率问题，该问题主要分为两部分，一是分析影响逃生率的因素有哪些，二是在这种因素影响下，预测另一群人逃生的概率。...2 理解数据 2.1 数据来源 本文数据取自KAGGLE泰坦尼克号生存预测比赛：https://www.kaggle.com/c/titanic/overview，其中包括训练集和测试集，训练集中包括乘客获救状态和基本信息...，测试集仅包括乘客基本信息，需根据训练集信息建立模型，对测试集乘客进行生存预测。...训练集总计891条数据，12个变量，即891名乘客的12种基本信息，其中PassengerId、Survived、Pclass、Age、SibSp、Parch、Fare为数值型， Name、Sex、Ticket...，说明票价高低差距悬殊，使得平均值被显著拉大，无法真实显示票价情况。
这篇文章包括了神经网络在kaggle泰坦尼克生存数据集上的应用程序。它帮助读者加深他们对神经网络的理解，而不是简单地执行吴恩达代码。泰坦尼克生存数据集就是可以随意使用的一个例子。...下载kaggle泰坦尼克生存数据集，并将其保存在与“数据集”文件夹相同的位置。...4.加载泰坦尼克生存数据集。 5.预先处理数据集。...这一预测将使你跻身于参与者的前30%。 ? 提交预测文件会使你进入前三名，并帮助你适应kaggle竞赛 你已经将神经网络应用于你自己的数据集了。现在我鼓励你使用网络中的迭代次数和层数。...的训练矩阵； 调整第一个图层的维度以匹配特征的数量； 训练神经网络并保存生成的参数； 通过测试数据的正向传播和之前保存的神经网络参数，生成对测试集的预测。
作为每个数据科学家都非常熟悉和使用的最受欢迎和使用的工具之一，Pandas库在数据操作、分析和可视化方面非常出色 为了帮助你完成这项任务并对Python编码更加自信，我用Pandas上一些最常用的函数和方法创建了本教程...目录 导入库 导入/导出数据 显示数据 基本信息：快速查看数据 基本统计 调整数据 布尔索引：loc 布尔索引：iloc 基本处理数据 我们将研究“泰坦尼克号”的数据集，主要有两个原因：（1）很可能你已经对它很熟悉了...；（2）它非常小，很简单 泰坦尼克号的数据集可以在这里下载：https://bit.ly/33tOJ2S 导入库 为了我们的目的，“Pandas”库是必须导入的 import pandas as pd...导入/导出数据 “泰坦尼克号数据集”指定为“data”。...布尔索引：iloc data.iloc[, ]按数字选择行和列 a） 选择数据集的第4行。 data.iloc[3] ? b） 从所有列中选择一个行数组。
▍数据集：鸢尾花分类数据集 https://archive.ics.uci.edu/ml/datasets/Iris Emojify –使用Python创建自己的表情符号 ▍项目构想：该机器学习项目的目标是对人的面部表情进行分类并将其映射为表情符号.../ 使用机器学习预测股价 ▍项目构想：有许多可用于股票市场价格的数据集。.../blogs/stock-price-prediction-machine-learning-project-in-python/ 泰坦尼克号生存计划 ▍项目构想：这将是一个有趣的项目，因为我们将预测某人是否会在泰坦尼克号飞船中幸存下来...对于这个初学者的项目，我们将使用泰坦尼克号数据集，其中包含幸存者和在泰坦尼克号飞船中死亡的人的真实数据 ▍数据集：《泰坦尼克号生存》数据集 https://www.kaggle.com/c/titanic...它将使用葡萄酒的化学信息，并基于机器学习模型，它将为我们提供葡萄酒质量的结果。
决策树是用于机器学习中分类和回归问题的预测模型。决策树将一系列规则建模为二叉树。树的内部节点表示分割点(split)或规则，叶子表示分类或值。 树中的每个规则都在数据集的单个特征上运行。...为了演示决策树如何工作以及如何在Redis中表示决策树，我们将使用scikit-learn Python包和Redis构建一个泰坦尼克号生存预测器。...我们用于这篇文章的来自Vanderbilt档案的数据集副本包含了泰坦尼克号上1,309名乘客的记录。...我们用于构建决策树的算法将会发现这些统计差异，并使用它们来选择要分割的特征。 建立决策树 我们将使用scikit-learn在我们的数据上构建决策树分类器。我们首先将我们清理过的数据分成训练和测试集。...使用下面的代码，我们从特征集中分离出我们数据的标签列（survived ），并保留我们数据的最后20条记录为测试集。
参考链接： 用于查找文件哈希的Python程序 Python语言实践 函数和模块 程序设计基本元素 常见错误： Python2中默认的编码格式是 ASCII 格式，在没修改编码格式时无法正确打印汉字...数据类型是一系列值及定义在这些值上的一系列操作，python内置数据类型包括bool、str、int和float 布尔表达式可以用于控制程序的行为 使用数值类型、内置函数、python标准模块、扩展模块中的函数可实现...运算符重载注意：特殊方法、算术运算符、等性运算符（引用相等和对象相等）、哈希法（条件是一个对象可以通过==运算符与其他对象比较相等性、当两个对象比较的结果为相等时，其哈希码相同、一个对象的哈希码在其生存期内保持不变...、比较运算符须定义一种全序关系（属性有反对称性、传递性、完全性）、其他运算符、内置函数。 函数是对象，意味着函数可以作为函数的参数和结果返回值。 继承：定义类之间关系的语言支持。...整数和浮点数：16字节用于对象开销和8个字节用于数值表示（尾数、指数和标志） 布尔值：原则上可使用内存单独一个二进制位表示一个布尔值，实际上把布尔值表示为整数，对象Ture和False都使用24字节表示
在本节中，您将使用机器学习算法解决泰坦尼克号预测问题：Logistic回归。 Logistic回归是一种分类算法，涉及预测事件的结果，例如乘客是否能够在泰坦尼克号灾难中幸存。...在这个学习之中，我们将用逻辑回归来预测一些人生存的可能性。用机器学习来预测哪些乘客能更幸免于难。在此用到的编程语言是Python。...清理数据 加载数据后，就可以清理数据了。 在泰坦尼克号数据集中，有许多列对于构建机器学习模型并不重要。 为此，我们使用以下代码删除数据集中的列。...清理数据集后，您现在可以将数据集拆分为两个不同的集合：一个用于训练集，另一个用于测试。...但在此之前，您需要将数据集分成两个数据框：一个包含所有用于预测的属性，另一个包含对象的标签。
一.任务描述 在泰坦尼克号灾难中，了解乘客生存状况是一个重要而挑战性的任务。这个任务的目标是通过分析乘客的各种特征，构建预测模型，以预测一个乘客在沉船事件中是否幸存。...二.数据集描述 获取数据集： 幸存者预测训练集 以下是对数据集中的特征的描述 PassengerId（乘客ID）: 每个乘客的唯一标识符。...这些特征提供了关于每位乘客的各种信息，可以用于分析和预测乘客在泰坦尼克号上的生存情况。通过构建机器学习模型来预测某位乘客是否在沉船事件中幸存下来。...sklearn.model_selection (from sklearn.model_selection import train_test_split): train_test_split是scikit-learn中用于划分数据集为训练集和测试集的函数...它通过构建多个决策树并综合它们的预测结果来提高模型的性能和鲁棒性。随机森林广泛用于分类和回归问题。它在处理大量数据、高维特征和复杂模式时表现良好，通常被用于构建强健的预测模型。
项目构想：有许多可用于股票市场价格的数据集。.../blogs/stock-price-prediction-machine-learning-project-in-python/ 7.泰坦尼克号生存计划 项目构想：这将是一个有趣的项目，因为我们将预测某人是否会在泰坦尼克号飞船中幸存下来...对于这个初学者的项目，我们将使用泰坦尼克号数据集，其中包含幸存者和在泰坦尼克号飞船中死亡的人的真实数据。 ...数据集：《泰坦尼克号生存》数据集 https://www.kaggle.com/c/titanic 8.葡萄酒质量检测项目 项目构想：在该项目中，我们可以构建一个界面来预测红酒的质量。...Xbox游戏预测项目 项目构想：人们在搜索时生成的数据可用于预测用户的兴趣。BestBuy消费电子公司已提供了来自用户的数百万次搜索的数据，我们将预测用户最有兴趣购买的Xbox游戏。
项目构想：有许多可用于股票市场价格的数据集。.../blogs/stock-price-prediction-machine-learning-project-in-python/ 7.泰坦尼克号生存计划 项目构想：这将是一个有趣的项目，因为我们将预测某人是否会在泰坦尼克号飞船中幸存下来...对于这个初学者的项目，我们将使用泰坦尼克号数据集，其中包含幸存者和在泰坦尼克号飞船中死亡的人的真实数据。...数据集：《泰坦尼克号生存》数据集 https://www.kaggle.com/c/titanic 8.葡萄酒质量检测项目 项目构想：在该项目中，我们可以构建一个界面来预测红酒的质量。...Xbox游戏预测项目 项目构想：人们在搜索时生成的数据可用于预测用户的兴趣。BestBuy消费电子公司已提供了来自用户的数百万次搜索的数据，我们将预测用户最有兴趣购买的Xbox游戏。
、IMDB 电影、泰坦尼克号、飞碟目击等数据集。...这个数据集按国家列出了酒水平均消耗量，如果想反转列序该怎么办？ 最直接的方式是把 ::-1 传递给 loc 访问器，与 Python 里反转列表的切片法一样。 ?...重塑多重索引 Series 泰坦尼克数据集里有一列标注了幸存（Survived）状态，值用 0、1 代表。计算该列的平均值可以计算整体幸存率。 ?...把连续型数据转换为类型数据 下面看一下泰坦尼克数据集的年龄（Age）列。 ? 这一列是连续型数据，如果想把它转换为类别型数据怎么办？ 这里可以用 cut 函数把年龄划分为儿童、青年、成人三个年龄段。...本例简单介绍一下 ProfileReport() 函数，这个函数支持任意 DataFrame，并生成交互式 HTML 数据报告： 第一部分是纵览数据集，还会列出数据一些可能存在的问题； 第二部分汇总每列数据
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
