机器学习、深度学习在用Python时,我们要用到NumPy和Pandas库。今天我和大家一起来对这两个库的最最基本语句进行学习。...:numpy.dot函数可以计算出两个向量之间的点积。...Pandas中的数据经常包括在名为数据框架(data frame)的结构中,数据框架是已经标记的二维数据结构,可以让你根据需要选择不同类型的列,类型有字符串(string)、整数(int)、浮点型(float...#'name'、'age'等这样的名字为key(键),Series是Python序列:里面为对应的值,index为目标索引组 #对于非数值组NaN,空出来就好,在索引组也空出来就好。...False # name oliver # Name: a, dtype: object 若要选择年龄大于等于30的行 df[df['age'] >= 30] #answer #
若未指定数据类型,pandas会根据传入的数据自动推断数据类型。 在使用pandas中的Series数据结构时,可通过pandas点Series调用。...]中为数字时,默认选择行,且只能进行切片的选择,不能单独选择(df[0]) # 输出结果为Dataframe,即便只选择一行 # df[]不能通过索引标签名来选择行(df['one']) # 核心笔记...可以做切片对象 # 末端包含 # 核心笔记:df.loc[label]主要针对index选择行,同时支持指定index,及默认数字index 输出为: df.iloc[] - 按照整数位置(从轴的...0到length-1)选择行 # df.iloc[] - 按照整数位置(从轴的0到length-1)选择行 # 类似list的索引,其顺序就是dataframe的整数位置,从0开始计 df = pd.DataFrame...使用[]访问数据 变量[索引] 需要说明的是,若变量的值是一个Series类对象,则会根据索引获取该对象中对应的单个数据;若变量的值是一个DataFrame类对象,在使用“[索引]”访问数据时会将索引视为列索引
这些方法根据索引或标签选择行和列。 loc:带标签选择 iloc:用索引选择 先创建20个随机indices。...尽管我们对loc和iloc使用了不同的列表示形式,但行值没有改变。原因是我们使用数字索引标签。因此,行的标签和索引都相同。 缺失值的数量已更改: ? 7.填充缺失值 fillna函数用于填充缺失值。...df.isna().sum().sum() --- 0 9.根据条件选择行 在某些情况下,我们需要适合某些条件的观察值(即行)。例如,下面的代码将选择居住在法国并且已经流失的客户。...method参数指定如何处理具有相同值的行。first表示根据它们在数组(即列)中的顺序对其进行排名。 21.列中唯一值的数量 使用分类变量时,它很方便。我们可能需要检查唯一类别的数量。...29.根据字符串过滤 我们可能需要根据文本数据(例如客户名称)过滤观察结果(行)。我已经将虚构名称添加到df_new DataFrame中。 ? 让我们选择客户名称以Mi开头的行。
Pandas 排序方法入门 快速提醒一下,DataFrame是一种数据结构,行和列都带有标记的轴。您可以按行或列值以及行或列索引对 DataFrame 进行排序。...行和列都有索引,它是数据在 DataFrame 中位置的数字表示。您可以使用 DataFrame 的索引位置从特定行或列中检索数据。默认情况下,索引号从零开始。您也可以手动分配自己的索引。...与 using 的不同之处.sort_values()在于您是根据其行索引或列名称对 DataFrame 进行排序,而不是根据这些行或列中的值: DataFrame 的行索引在上图中以蓝色标出。...按升序按索引排序 您可以根据行索引对 DataFrame 进行排序.sort_index()。像在前面的示例中一样按列值排序会重新排序 DataFrame 中的行,因此索引变得杂乱无章。...DataFrame的轴指的是索引 ( axis=0) 或列 ( axis=1)。您可以使用这两个轴来索引和选择DataFrame 中的数据以及对数据进行排序。
顾名思义,该函数对满足特定条件的数字相加。 示例数据集 本文使用从Kaggle找到的一个有趣的数据集。...例如,如果想要Manhattan区的所有记录: df[df['Borough']=='MANHATTAN'] 图2:使用pandas布尔索引选择行 在整个数据集中,看到来自Manhattan的1076...在df[]中,这个表达式df['Borough']=='MANHATTAN'返回一个完整的True值或False值列表(2440个条目),因此命名为“布尔索引”。...一旦将这个布尔索引传递到df[]中,只有具有True值的记录才会返回。这就是上图2中获得1076个条目的原因。...虽然pandas中没有SUMIF函数,但只要我们了解这些值是如何计算的,就可以自己复制/创建相同功能的公式。
下一个选择是用NumPy向量的dict或二维NumPy数组构造一个DataFrame: 请注意第二种情况下,人口值是如何被转换为浮点数的。实际上,这发生在构建NumPy数组的早期。...最后一种情况,该值将只在切片的副本上设置,而不会反映在原始df中(将相应地显示一个警告)。 根据情况的背景,有不同的解决方案: 你想改变原始数据框架df。...垂直stacking 这可能是将两个或多个DataFrame合并为一个的最简单的方法:你从第一个DataFrame中提取行,并将第二个DataFrame中的行附加到底部。...即使不关心索引,也要尽量避免在其中有重复的值: 要么使用reset_index=True参数 调用df.reset_index(drop=True)来重新索引从0到len(df)-1的行、 使用keys...就像1:1的关系一样,要在Pandas中连接一对1:n的相关表,你有两个选择。
注意,这里并没有修改原Excel,从我们读取数据后就已经和它没有关系了,我们处理的是内存中的df变量。 将name建立索引后,就没有从0开始的数字索引了,如图4所示。 ?..., y]是一个非常强大的数据选择函数,其中x代表行,y代表列,行和列都支持条件表达式,也支持类似列表那样的切片(如果要用自然索引,需要用df.iloc[])。...(2)选择行 选择行的方法如下: # 用指定索引选取 df[df.index == 'Liver'] # 指定姓名 # 用自然索引选择,类似列表的切片 df[0:3] # 取前三行 df[0...:10:2] # 在前10个中每两个取一个 df.iloc[:10,:] # 前10个 (3)指定行和列 同时给定行和列的显示范围: df.loc['Ben', 'Q1':'Q4'] # 只看Ben...df.mean() # 返回所有列的均值 df.mean(1) # 返回所有行的均值,下同 df.corr() # 返回列与列之间的相关系数 df.count() # 返回每一列中的非空值的个数
print(df.shape) (3333, 20) 从输出中我们可以看到,该表格数据包含3333行和20列。...其中,loc()方法是用于按名称进行索引,我们假定“索引从0到5(包含索引值)的行以及从State到Area code标记(包含索引值)的列的值”,代码如下: df.loc[0:5, 'State':'...我们会假定“索引得到前三列中前五行的值,这种索引方式和Python切片方式是一样的,不会包含索引的最大值对应的项,代码如下: df.iloc[0:5, 0:3] 如果想索引DataFrame数据中的第一行和最后一行...plan两个变量是如何分布的,我们可以使用crosstab()方法来构建一个简单的表格查看我们想要的内容: pd.crosstab(df['Churn'], df['International plan...随后,我们将进一步讨论决策树,并找出如何仅仅基于输入数据来自动找到数据之间的相关性; 没有应用机器学习方法,我们就已经可以得到这两个基准,这将成为我们构建后续模型的起点。
, # 所以其结果就为NaN(即“非数字”(Not a Number),在Pandas中,它用于表示缺失值或NA值)。...它们可以让你用类似 NumPy 的标记,使用轴标签(loc)或整数索引(iloc),从DataFrame选择行和列的子集。...下表对DataFrame进行了总结: 类型 描述 df[val] 从DataFrame选取单列或一组列;在特殊情况下比较便利:布尔型数组(过滤行)、切片(行切片)、或布尔型DataFrame(根据条件设置值...) print(df2) 把它们相加后将会返回一个新的DataFrame,其索引和列为原来那两个DataFrame的并集: print(df1 + df2) 如果DataFrame对象相加,没有共用的列或行标签...Series的索引匹配到DataFrame的列,然后沿着行一直向下广播: print(frame - series) 如果某个索引值在DataFrame的列或Series的索引中找不到,则参与运算的两个对象就会被重新索引以形成并集
series是一种一维数据结构,每一个元素都带有一个索引,与一维数组的含义相似,其中索引可以为数字或字符串。series结构名称: ?...如何保留series中前两个频次最多的项,其他项替换为‘other’ np.random.RandomState(100) # 从1~4均匀采样12个点组成series ser = pd.Series(...,pandas会根据索引对数据进行运算,若series之间有不同的索引,对应的值就为Nan。...如何从csv文件中每隔n行来创建dataframe # 每隔50行读取一行数据 df = pd.read_csv('https://raw.githubusercontent.com/selva86/datasets...如何计算每一行与下一行的相关性 df = pd.DataFrame(np.random.randint(1,100, 25).reshape(5, -1)) # 行与行之间的相关性 [df.iloc[
你可以在DataFrame从CSV解析出来后指定要包含在索引中的列,也可以直接作为read_csv的参数。...它感觉不够Pythonic,尤其是在选择多个层次时。 这个方法无法同时过滤行和列,所以名字xs(代表 "cross-section")背后的原因并不完全清楚。它不能用于设置值。...你可以同时选择行和列。 你可以学习如何使用slice来代替冒号。...为列增加层次的一个常见方法是将现有的层次从索引中 "unstacking"出来: tack, unstack Pandas的stack与NumPy的stack非常不同。...,后面每行的前四个字段包含了索引level(如果列中有多于一个level,你不能在 read_csv 中通过名字引用行级别,只能通过数字)。
'Series的索引,默认数字索引可以工作。')...它们大部分都属于约简和汇总统计,用于从 Series 中提取单个值,或从 DataFrame 的行或列中提取一个 Series。...百度 百科 协方差:从直观上来看,协方差表示的是两个变量总体误差的期望。...如果两个 变量的变化趋势一致,也就是说如果其中一个大于自身的期望值时另外一个也 大于自身的期望值,那么两个变量之间的协方差就是正值;如果两个变量的变 化趋势相反,即其中一个变量大于自身的期望值时另外一个却小于自身的期望...值,那么两个变量之间的协方差就是负值。
对于非数字标签来说,这有点显而易见:为什么(以及如何)Pandas在删除一行后,会重新标记所有后续的行?对于数字标签,答案就有点复杂了。...你逐一进行了几次查询,每次都缩小了搜索范围,但只看了列的一个子集,因为同时看到所有的一百个字段是不现实的。现在你已经找到了目标行,想看到原始表中关于它们的所有信息。一个数字索引可以帮助你立即得到它。...从原理上讲,如下图所示: 一般来说,需要保持索引值的唯一性。例如,在索引中存在重复的值时,查询速度的提升并不会提升。...索引中的任何变化都涉及到从旧的索引中获取数据,改变它,并将新的数据作为一个新的索引重新连接起来。...大多数Pandas函数都会忽略缺失的值: 更高级的函数(median, rank, quantile等)也是如此。 算术操作是根据索引来调整的: 在索引中存在非唯一值的情况下,其结果是不一致的。
# 转化为元组print(dict(df['title'])) # 转化为字典,key为数字索引 # 2.读取某一个单元格数据# 不包括表头,指定列名和行索引print(df['title'][0...1.读取一行数据# 不包括表头,第一个索引值为0# 获取第一行数据,可以将其转化为list、tuple、dictprint(list(df.iloc[0])) # 转成列表print(tuple(df.iloc...指定行索引和列索引(或者列名)print(df.iloc[0]["l_data"]) # 指定行索引和列名print(df.iloc[0][2]) # 指定行索引和列索引 # 3.读取多行数据...sheet_name='multiply') # 返回一个DataFrame对象,多维数据结构print(df) # 1.iloc方法# iloc使用数字索引来读取行和列# 也可以使用iloc方法读取某一列...5) # 某一列中大于5的数值为True,否则为Falseprint(df.loc[df["r_data"] > 5]) # 把r_data列中大于5,所在的行选择出来print(df.loc[df
通用函数:索引对齐 对于两个Series或DataFrame对象的二元操作,Pandas 将在执行操作的过程中对齐索引。这在处理不完整数据时非常方便,我们将在后面的一些示例中看到。...', 'Texas'], dtype='object') 任何没有条目的项目都标为NaN(非数字),这就是 Pandas 标记缺失数据的方式(请在“处理缺失数据”中参阅缺失数据的进一步讨论)。...,无论它们在两个对象中的顺序如何,并且结果中的索引都是有序的。...NumPy 的广播规则(参见“数据计算:广播”),二维数组与其中一行之间的减法是逐行应用的。...T 0 -5 0 -6 -4 1 -4 0 -2 2 2 5 0 2 7 请注意,这些DataFrame或Series操作,如上面讨论的操作,将自动对齐两个元素之间的索引: halfrow = df.iloc
在 Pandas 中,如果未指定索引,则默认使用 RangeIndex(第一行 = 0,第二行 = 1,依此类推),类似于电子表格中的行标题/数字。...在 Pandas 中,索引可以设置为一个(或多个)唯一值,这就像在工作表中有一列用作行标识符一样。与大多数电子表格不同,这些索引值实际上可用于引用行。...索引值也是持久的,所以如果你对 DataFrame 中的行重新排序,特定行的标签不会改变。 5. 副本与就地操作 大多数 Pandas 操作返回 Series/DataFrame 的副本。...列的选择 在Excel电子表格中,您可以通过以下方式选择所需的列: 隐藏列; 删除列; 引用从一个工作表到另一个工作表的范围; 由于Excel电子表格列通常在标题行中命名,因此重命名列只需更改第一个单元格中的文本即可...填充柄 在一组特定的单元格中按照设定的模式创建一系列数字。在电子表格中,这将在输入第一个数字后通过 shift+drag 或通过输入前两个或三个值然后拖动来完成。
操作数据帧可能很快会成为一项复杂的任务,因此在Pandas中的八种技术中均提供了说明,可视化,代码和技巧来记住如何做。 ?...考虑一个二维矩阵,其一维为“ B ”和“ C ”(列名),另一维为“ a”,“ b ”和“ c ”(行索引)。 我们选择一个ID,一个维度和一个包含值的列/列。...包含值的列将转换为两列:一列用于变量(值列的名称),另一列用于值(变量中包含的数字)。 ? 结果是ID列的值(a,b,c)和值列(B,C)及其对应值的每种组合,以列表格式组织。...诸如字符串或数字之类的非列表项不受影响,空列表是NaN值(您可以使用.dropna()清除它们 )。 ? 在DataFrame df中Explode列“ A ” 非常简单: ?...为了访问狗的身高值,只需两次调用基于索引的检索,例如 df.loc ['dog']。loc ['height']。 要记住:从外观上看,堆栈采用表的二维性并将列堆栈为多级索引。
loc:通过标签选择 iloc:通过位置选择 loc用于按标签选择数据。列的标签是列名。对于行标签,如果我们不分配任何特定的索引,pandas默认创建整数索引。因此,行标签是从0开始向上的整数。...与iloc一起使用的行位置也是从0开始的整数。 下述代码实现选择前三行前两列的数据(iloc方式): df.iloc[:3,:2] ?...下述代码实现选择前三行前两列的数据(loc方式): df.loc[:2,['group','year']] ? 注:当使用loc时,包括索引的上界,而使用iloc则不包括索引的上界。...如果axis参数设置为1,nunique将返回每行中唯一值的数目。 13. Lookup 'lookup'可以用于根据行、列的标签在dataframe中查找指定值。假设我们有以下数据: ?...Merge Merge()根据共同列中的值组合dataframe。考虑以下两个数据: ? 我们可以基于列中的共同值合并它们。设置合并条件的参数是“on”参数。 ?
二、数据选择 在本章中,我们将学习使用 Pandas 进行数据选择的高级技术,如何选择数据子集,如何从数据集中选择多个行和列,如何对 Pandas 数据帧或一序列数据进行排序,如何过滤 Pandas 数据帧的角色...loc要求两个参数之间用逗号分隔,其中第一个参数是要选择的行,第二个参数是要选择的列,如以下代码块所示: zillow.loc[7, 'Metro'] 如前面的命令所示,我们将7作为要选择的行的索引,...这为我们提供了索引为7的行和列为Metro的值。 我们还可以通过按索引而不是列名来引用列来实现此选择。 为此,我们将使用iloc方法。 在iloc方法中,我们需要将行和列都作为索引号传递。.../img/63443760-aeaf-4f53-9190-78df352d94fc.png)] 从行和所有列的范围中选择值 在这里,我们将使用loc方法查看行和列序列中的值。...以下代码行显示我们正在选择County列的值为Queens的行: zillow.loc[zillow.County=="Queens"] 现在,让我们根据不同列的值选择特定列的所有行。
领取专属 10元无门槛券
手把手带您无忧上云