在最初为学院奖构建问答机器人时，我们实现了基于一个自定义函数的相似性搜索，该函数计算两个向量之间的余弦距离。我们将用一个查询替换掉该函数，以在Chroma中搜索存储的集合。...为了完整起见，我们将开始设置环境并准备数据集。这与本教程中提到的步骤相同。 步骤1 - 准备数据集 从 Kaggle 下载奥斯卡奖数据集，并将 CSV 文件移到名为 data 的子目录中。...该数据集包含 1927 年至 2023 年奥斯卡金像奖的所有类别、提名和获奖者。我将 CSV 文件重命名为 oscars.csv 。...，让我们在 dataframe 中添加一个包含整个提名句子的新列。...由于 Chroma 中存储的每个文档还需要字符串格式的 ID ，所以我们将 dataframe 的索引列转换为字符串列表。
我创建了这个pandas函数的备忘单。这不是一个全面的列表，但包含了我在构建机器学习模型中最常用的函数。让我们开始吧!...# From an Excel file 导出数据 to_csv()将数据存储到本地的文件。...我们可以通过df[:10].to_csv()保存前10行。我们还可以使用df.to_excel()保存和写入一个DataFrame到Excel文件或Excel文件中的一个特定表格。...df.tail(3) # Last 3 rows of the DataFrame ? 添加或插入行 要向DataFrame追加或添加一行，我们将新行创建为Series并使用append()方法。...在本例中，将新行初始化为python字典，并使用append()方法将该行追加到DataFrame。
该模式描述在查找文字主体时待匹配的一个或多个字符串。 正则表达式作为一个模板，将某个字符模式与所搜索的字符串进行匹配。....*3[0-5]可找到第2行) ^ *[A-Z][a-z][a-z]$ 搜索以0个或多个空格开头，跟一个大写字母，两个小写字母和一个换行符。将找到第4行的TOM（整行匹配）和第5行。...反检索，只显示不匹配的行 8、精确匹配：\ 例如在抽取字符串“ 48”，返回结果包含诸如 484 和483 等包含“48”的其他字符串，实际上应精确抽取只包含 48 的各行。...commands 是真正 awk 命令， input-files 是待处理的文件。 iput_files 可以是多于一个文件的文件列表，awk将按顺序处理列表中的每个文件。...该脚本将提交给cron 进程来运行，如果某个日志文件超过了特定的长度，那么它的内容将被倒换到另一个文件中，并清除原有文件中的内容。 该脚本中日志文件的长度限制是由变量BLOCK_LIMIT设定的。
import pandas food_info = pandas.read_csv("food_info.csv") # 返回一个DataFrame，其中包含索引3、4、5和6处的行 food_info.loc...[3:6] # 返回一个DataFrame，其中包含索引2、5和10处的行。...() gram_columns = [] for c in col_names: # 将列名称以(g)结尾的,添加进gram_columns列表 if c.endswith("(g)")...，并返回一个新的DataFrame # 默认情况下，inplace=False 返回新的DataFrame # 默认情况下，ascending=True 按升序 # 默认情况下，kind=quicksort...使用快速排序算法 # 默认情况下，na_position=last NaN放在最后面 如果=first则放在最前面 # 对DataFrame进行就地排序，而不是返回新的DataFrame。
在该例中，首先使用pandas库中的read_csv方法导入sales.csv文件，然后使用info（）方法，查看数据的基本信息，代码及输出结果如下： import numpy as np import...例】请利用python查看上例中sales.csv文件中的数据表的大小,要求返回数据表中行的个数和列的个数。...关于set_index 参数 keys : 要设置为索引的列名（如有多个应放在一个列表里） drop : 将设置为索引的列删除，默认为True append : 是否将新的索引追加到原索引后（即是否保留原索引...方法重置索引外,还可以在导入csv文件的过程中，设置index_col参数重置索引，代码及结果如下： 6.3重命名索引 【例】构建series对象,其数据为[88,60,75],对应的索引为[1,2,3...7.3数据删除 按列删除数据 【例】请构建如下DataFrame数据并利用Python删除下面DataFrame实例的第四列数据。
读取产品的 URL 列表 存储和管理产品URL最简单的办法就是将它们保存在CSV或JSON文件中。这次使用的是CSV，便于我们通过文本编辑器或电子表格应用程序进行更新。...CSV文件应该至少包含两个字段——url和alert_price。产品的标题可以从产品的URL中提取，也可以存储在同一个CSV文件中。...def get_urls(csv_file): df = pd.read_csv(csv_file) return df该函数将返回一个Pandas的DataFrame对象，其中包含三栏...我们来循环运行所有代码，用新的信息更DataFrame。最简单的方法是将每一行转换成一个字典。这样，您可以读取URL，调用get_price()函数，并更新所需字段。...(updated_products)这个函数将返回一个新的DataFrame对象，包含产品的URL和从CSV中读取的名称。
读取外部数据 Excel 和 pandas 都可以从各种来源以各种格式导入数据。 CSV 让我们从 Pandas 测试中加载并显示提示数据集，这是一个 CSV 文件。...在 Excel 中，您将下载并打开 CSV。在 pandas 中，您将 CSV 文件的 URL 或本地路径传递给 read_csv()。...pandas 通过在 DataFrame 中指定单个系列来提供矢量化操作。可以以相同的方式分配新列。DataFrame.drop() 方法从 DataFrame 中删除一列。...查找子串的位置 FIND电子表格函数返回子字符串的位置，第一个字符为 1。 您可以使用 Series.str.find() 方法查找字符串列中字符的位置。find 搜索子字符串的第一个位置。...如果找到子字符串，则该方法返回其位置。如果未找到，则返回 -1。请记住，Python 索引是从零开始的。 tips["sex"].str.find("ale") 结果如下： 3.
该模式描述在查找文字主体时待匹配的一个或多个字符串。 正则表达式作为一个模板，将某个字符模式与所搜索的字符串进行匹配。....*3[0-5]可找到第2行) ^ *[A-Z][a-z][a-z]$ 搜索以0个或多个空格开头，跟一个大写字母，两个小写字母和一个换车符。将找到第4行的TOM（整行匹配）和第5行。...反检索，只显示不匹配的行 8、精确匹配： 例如在抽取字符串“ 48”，返回结果包含诸如484和483等包含“48”的其他字符串，实际上应精确抽取只包含48的各行。...iput_files可以是多于一个文件的文件列表，awk将按顺序处理列表中的每个文件。 在awk中，文件的每一行中，由域分隔符分开的每一项称为一个域。...该脚本将提交给cron进程来运行，如果某个日志文件超过了特定的长度，那么它的内容将被倒换到另一个文件中，并清除原有文件中的内容。 该脚本中日志文件的长度限制是由变量BLOCK_LIMIT设定的。
把字符串转换为数值 再创建一个新的 DataFrame 示例。 ? 这个 DataFrame 里的数字其实是以字符串形式保存的，因此，列类型是 object。 ?...使用 Python 内置的 glob 更方便。 ? 把文件名规则传递给 glob()，这里包括通配符，即可返回包含所有合规文件名的列表。...本例里，glob 会查找 data 子目录里所有以 stocks 开头的 CSV 文件。 ? glob 返回的是无序文件名，要用 Python 内置的 sorted() 函数排序列表。...用多个文件建立 DataFrame ~ 按列 上个技巧按行合并数据集，但是如果多个文件包含不同的列，该怎么办？ 本例将 drinks 数据集分为了两个 CSV 文件，每个文件都包含 3 列。 ?...把 Series 里的列表转换为 DataFrame 创建一个 DataFrame 示例。 ? 这里包含了两列，第二列包含的是 Python 整数列表。
该数据集描述了每个国家的平均酒消费量。如果你想要将行序反转呢？ 最直接的办法是使用loc函数并传递::-1，跟Python中列表反转时使用的切片符号一致： ?...按行从多个文件中构建DataFrame 假设你的数据集分化为多个文件，但是你需要将这些数据集读到一个DataFrame中。 举例来说，我有一些关于股票的小数聚集，每个数据集为单天的CSV文件。...你可以给glob()函数传递某种模式，包括未知字符，这样它会返回符合该某事的文件列表。在这种方式下，glob会查找所有以stocks开头的CSV文件： ?...为了避免这种情况，我们需要告诉concat()函数来忽略索引，使用默认的整数索引： ? 10. 按列从多个文件中构建DataFrame 上一个技巧对于数据集中每个文件包含行记录很有用。...将一个由列表组成的Series扩展成DataFrame 让我们创建一个新的示例DataFrame: ? 这里有两列，第二列包含了Python中的由整数元素组成的列表。
我的理解 数据地址（网页地址、包含HTML的文件地址或者字符串）。 注意lxml只接受HTTP、FTP和文件URL协议。...我的理解 字符串或编译的正则表达式，可选 包含与此正则表达式或字符串匹配的文本的一组表将返回。 除非HTML非常简单，否则您可能需要在此处传递一个非空字符串。....+”（匹配任何非空字符串）。默认值将返回页面上包含的所有标签包含的表格。 该值将转换为正则表达式，以便Beautiful Soup和LXML之间一致。...我的理解 默认为False，表示不在原对象上操作， 而是复制一个新的对象进行操作并返回； 值为True时，表示直接在原对象上进行操作。...我的理解 其实很简单，就是按列搜索空值，然后limit的值表示最大的连续填充空值个数。 比如：limit=2,表示一列中从上到下搜索，只替换前两个空值，后面都不替换。
虽然 panda 是 Python 中用于数据处理的库，但它并不是真正为了速度而构建的。了解一下新的库 Modin，Modin 是为了分布式 panda 的计算来加速你的数据准备而开发的。...对于一个 pandas 的 DataFrame，一个基本的想法是将 DataFrame 分成几个部分，每个部分的数量与你拥有的 CPU 内核的数量一样多，并让每个 CPU 核在一部分上运行计算。...CSV 的每一行都包含了 CS:GO 比赛中的一轮数据。 现在，我们尝试使用最大的 CSV 文件(有几个)，esea_master_dmg_demo .part1.csv，它有 1.2GB。...让我们在 DataFrame 上做一些更复杂的处理。连接多个 DataFrames 是 panda 中的一个常见操作 — 我们可能有几个或多个包含数据的 CSV 文件，然后必须一次读取一个并连接它们。...此函数查找 DataFrame 中的所有 NaN 值，并将它们替换为你选择的值。panda 必须遍历每一行和每一列来查找 NaN 值并替换它们。
这里我们将探讨两种方法：pd.read_excel()和pd.read_csv()。 pd.read_excel()方法及参数 read_excel()方法包含大约几十个参数，其中大多数是可选的。...usecols可以是整数、字符串或列表，用于指示pandas仅从Excel文件中提取某些列。...pf.read_excel('D:\用户.xlsx',sheet_name=[0,2])将返回excel文件的第一个和第三个工作表。返回的值是数据框架的字典。...header 如果由于某种原因，Excel工作表上的数据不是从第1行开始的，你可以使用header告诉Panda“嘿，此数据的标题在第X行”。示例Excel文件中的第四个工作表从第4行开始。...CSV代表“逗号分隔值”，因此.CSV文件基本上是一个文本文件，其值由逗号分隔。这意味着还可以使用此方法将任何.txt文件读入Python。
）；等同于使用选择该表中的所有内容的查询使用read_sql read_stata 从 Stata 文件格式中读取数据集 read_xml 从 XML 文件中读取数据表 我将概述这些函数的机制，这些函数旨在将文本数据转换为...这些函数的可选参数可能属于几个类别： 索引 可以将一个或多个列视为返回的 DataFrame，并确定是否从文件、您提供的参数或根本不获取列名。...JSON 对象或对象列表转换为 DataFrame 或其他数据结构以进行分析将取决于您。...pandas.read_html函数有许多选项，但默认情况下它会搜索并尝试解析包含在标签中的所有表格数据。...，并将任何区域特定的可变字符组合转换为一个通用的可比较形式 ljust, rjust 分别左对齐或右对齐；用空格（或其他填充字符）填充字符串的对侧，以返回具有最小宽度的字符串 正则表达式 正则表达式提供了一种灵活的方式来在文本中搜索或匹配
它包含了从1984年到2018年由于最低工资或加班违规而对雇主进行的每次DOL调查。...没有理由将所有这些零存储在内存中。如果这样做，就有可能耗尽RAM并触发一个MemoryError。 输入CSR矩阵，该矩阵仅存储矩阵的非零值和对其原始位置的引用。...但是如果使用由ING Bank的数据科学家构建的这个模块，可以在构建矩阵时按照相似性阈值进行过滤。该方法比scikit-learn更快，并返回内存密集度较低的CSR矩阵供使用。...第三步：构建一个哈希表，将发现转换为电子表格中的“组”列 现在要构建一个Python字典，其中包含legal_name列中每个唯一字符串的键。 最快的方法是将CSR矩阵转换为坐标（COO）矩阵。...矢量化Panda 最后，可以在Pandas中使用矢量化功能，将每个legal_name值映射到GroupDataFrame中的新列并导出新的CSV。
将strings改为numbers 在pandas中，有两种方法可以将字符串改为数值： astype()方法 to_numeric()方法 先创建一个样本dataframe，看看这两种方法有什么不同。...对连续数据进行离散化处理 在数据准备过程中，常常会组合或者转换现有特征以创建一个新的特征，其中将连续数据离散化是非常重要的特征转化方式，也就是将数值变成类别特征。...从多个文件中构建一个DataFrame 有时候数据集可能分布在多个excel或者csv文件中，但需要把它读取到一个DataFrame中，这样的需求该如何实现？...在上图中，glob()在指定目录中查找所有以“ data_row_”开头的CSV文件。 glob()以任意顺序返回文件名，这就是为什么使用sort()函数对列表进行排序的原因。..._*.csv'))返回文件名，然后逐个读取，并且使用concat()方法进行合并，得到结果： 「列合并」 假设数据集按列分布在2个文件中，分别是data_row_1.csv和data_row_2.csv
将strings改为numbers 在pandas中，有两种方法可以将字符串改为数值： astype()方法 to_numeric()方法 先创建一个样本dataframe，看看这两种方法有什么不同。...对连续数据进行离散化处理 在数据准备过程中，常常会组合或者转换现有特征以创建一个新的特征，其中将连续数据离散化是非常重要的特征转化方式，也就是将数值变成类别特征。...从多个文件中构建一个DataFrame 有时候数据集可能分布在多个excel或者csv文件中，但需要把它读取到一个DataFrame中，这样的需求该如何实现？...做法是分别读取这些文件，然后将多个dataframe组合到一起，变成一个dataframe。 这里使用内置的glob模块，来获取文件路径，简洁且更有效率。 ?...在上图中，glob()在指定目录中查找所有以“ data_row_”开头的CSV文件。 glob()以任意顺序返回文件名，这就是为什么使用sort()函数对列表进行排序的原因。
领取专属 10元无门槛券
手把手带您无忧上云
