/前言/ 前几天群里有个小伙伴问了一个问题，关于Python读取文件夹下多个CSV文件中的第一列数据并求其最大值和最小值，大家讨论的甚为激烈，在此总结了两个方法，希望后面有遇到该问题的小伙伴可以少走弯路...通常我们通过Python来处理数据，用的比较多的两个库就是numpy和pandas，在本篇文章中，将分别利用两个库来进行操作。...3、其中使用pandas库来实现读取文件夹下多个CSV文件中的第一列数据并求其最大值和最小值的代码如下图所示。 ? 4、通过pandas库求取的结果如下图所示。 ?...通过该方法，便可以快速的取到文件夹下所有文件的第一列的最大值和最小值。 5、下面使用numpy库来实现读取文件夹下多个CSV文件中的第一列数据并求其最大值和最小值的代码如下图所示。 ?.../小结/ 本文基于Python，使用numpy库和pandas库实现了读取文件夹下多个CSV文件，并求取文件中第一列数据的最大值和最小值，当然除了这两种方法之外，肯定还有其他的方法也可以做得到的，欢迎大家积极探讨
条形图 条形图提供了一个简单的绘图，其中每个条形图表示数据帧中的一列。条形图的高度表示该列的完整程度，即存在多少个非空值。...其他列（如WELL、DEPTH_MD和GR）是完整的，并且具有最大的值数。 矩阵图 如果使用深度相关数据或时间序列数据，矩阵图是一个很好的工具。它为每一列提供颜色填充。...这是在条形图中确定的，但附加的好处是您可以「查看丢失的数据在数据框中的分布情况」。 绘图的右侧是一个迷你图，范围从左侧的0到右侧数据框中的总列数。上图为特写镜头。...当一行的每列中都有一个值时，该行将位于最右边的位置。当该行中缺少的值开始增加时，该行将向左移动。 热图 热图用于确定不同列之间的零度相关性。换言之，它可以用来标识每一列之间是否存在空值关系。...接近正1的值表示一列中存在空值与另一列中存在空值相关。 接近负1的值表示一列中存在空值与另一列中存在空值是反相关的。换句话说，当一列中存在空值时，另一列中存在数据值，反之亦然。
最原始的数据是 127 个独立的 CSV 文件，不过我们已经使用 csvkit 合并了这些文件，并且在第一行中为每一列添加了名字。...首先 ，让我们看看每一种对象类型的唯一值的数量。 可以看到，我们的数据集中一共有 17.2 万场比赛， 而唯一值的数量是非常少的。...当对象列中少于 50% 的值时唯一对象时，我们应该坚持使用 category 类型。但是如果这一列中所有的值都是唯一的，那么 category 类型最终将占用更多的内存。...我们将编写一个循环程序，遍历每个对象列，检查其唯一值的数量是否小于 50%。如果是，那么我们就将这一列转换为 category 类型。...首先，我们将每列的最终类型、以及列的名字的 keys 存在一个字典中。因为日期列需要单独对待，因此我们先要删除这一列。
“堆叠”为一个层次化的Series unstack: 将层次化的Series转换回数据框形式 append: 将一行或多行数据追加到数据框的末尾 分组 聚合 转换 过滤 groupby：按照指定的列或多个列对数据进行分组...：计算分组的总和 mean：计算分组的平均值 median：计算分组的中位数 min和 max：计算分组的最小值和最大值 count：计算分组中非NA值的数量 size：计算分组的大小 std和 var...：计算分组的标准差和方差 describe：生成分组的描述性统计摘要 first和 last：获取分组中的第一个和最后一个元素 nunique：计算分组中唯一值的数量 cumsum、cummin、cummax...: 替换字符串中的特定字符 astype: 将一列的数据类型转换为指定类型 sort_values: 对数据框按照指定列进行排序 rename: 对列或行进行重命名 drop: 删除指定的列或行 数据可视化...pandas.DataFrame.plot.area：绘制堆积图 pandas.DataFrame.plot.bar：绘制柱状图 pandas.DataFrame.plot.barh：绘制水平条形图
参考链接： 使用Python中的不同图表进行数据可视化 我的机器学习教程「美团」算法工程师带你入门机器学习 已经开始更新了，欢迎大家订阅~ 任何关于算法、编程、AI行业知识或博客内容的问题，可以随时扫码关注公众号...但自从Python进入3.0时代以后，pandas的使用变得更加普及，它的身影经常见于市场分析、爬虫、金融分析以及科学计算中。 ...作为数据分析工具的集大成者，pandas作者曾说，pandas中的可视化功能比plt更加简便和功能强大。...对于 DataFrame， 柱状 图 会 将 每一 行的 值 分为 一组， 如图 8- 16 所示： In [63]: df = DataFrame( np. random. rand( 6, 4)...我们可以指定bins的数量值。
在本文中 ShowMeAI 将带大家在 Pandas Dataframe 中完成多条件数据选择及各种呈现样式的设置。...内容覆盖 图片 本篇后续内容覆盖以下高级功能： 突出缺失值 突出显示每行/列中的最大值（或最小值） 突出显示范围内的值 绘制柱内条形图 使用颜色渐变突出显示值 组合显示设置功能 注意：强烈建议大家使用最新版本的...② 突出显示最大值（或最小值） 要突出显示每列中的最大值，我们可以使用 dataframe.style.highlight_max() 为最大值着色，最终结果如下图所示。...那如果我们想显示的是每一行的最大值呢？...我们可不可以把这种呈现引入到 Pandas 中呢？当然可以！！ 以条形图为例。
有一些获得这些信息的方法： 可以用 unique() 和 nunique() 获取列内唯一的值（或唯一值的数量）； >>> df['generation'].unique() array(['Generation...（例如最小值、最大值、平均值、总数等），如果指定 include='all'，会针对每一列目标输出唯一元素的数量和出现最多元素的数量； ?...内存优化 在处理数据之前，了解数据并为数据框的每一列选择合适的类型是很重要的一步。...它可以通过两种简单的方法节省高达 90% 的内存使用： 了解数据框使用的类型； 了解数据框可以使用哪种类型来减少内存的使用（例如，price 这一列值在 0 到 59 之间，只带有一位小数，使用 float64...回到 convert_df() 方法，如果这一列中的唯一值小于 50%，它会自动将列类型转换成 category。
有一些获得这些信息的方法： 可以用 unique() 和 nunique() 获取列内唯一的值（或唯一值的数量）； >>> df[ generation ].unique() array([ Generation...（例如最小值、最大值、平均值、总数等），如果指定 include= all ，会针对每一列目标输出唯一元素的数量和出现最多元素的数量； ?...内存优化 在处理数据之前，了解数据并为数据框的每一列选择合适的类型是很重要的一步。...它可以通过两种简单的方法节省高达 90% 的内存使用： 了解数据框使用的类型； 了解数据框可以使用哪种类型来减少内存的使用（例如，price 这一列值在 0 到 59 之间，只带有一位小数，使用 float64...回到 convert_df() 方法，如果这一列中的唯一值小于 50%，它会自动将列类型转换成 category。
) 所有列的唯一值和计数 选择 df[col] 返回一维数组col的列 df[[col1, col2]] 作为新的数据框返回列 s.iloc[0] 按位置选择 s.loc['index_one'] 按索引选择...df.iloc[0,:] 第一行 df.iloc[0,0] 第一列的第一个元素 数据清洗 df.columns = ['a','b','c'] 重命名列 pd.isnull() 检查空值，返回逻辑数组...) 从一列返回一组对象的值 df.groupby([col1,col2]) 从多列返回一组对象的值 df.groupby(col1)[col2] 返回col2中的值的平均值，按col1中的值分组（平均值可以用统计部分中的几乎任何函数替换...df.describe() 数值列的汇总统计信息 df.mean() 返回所有列的平均值 df.corr() 查找数据框中的列之间的相关性 df.count() 计算每个数据框的列中的非空值的数量 df.max...() 查找每个列中的最大值 df.min() 查找每列中的最小值 df.median() 查找每列的中值 df.std() 查找每个列的标准差 点击“阅读原文”下载此速查卡的打印版本 END.
既然 df2 有时间列，为了方便后面分析，自然要检查一下其类型 df2.info() 可以看到，获奖时间列虽然没有缺失值但其并不是pandas支持的时间类型。...列，但是其与 df1 有一个共同列 国家id 为了给 df2 新增一列 国家名称 列，一个自然的想法就是通过 国家id 列将两个数据框进行合并，在 pandas 中实现，也不是什么困难的事情 temp...，注意是查询而不是筛选，所以使用上上一题的方法将会报错 result.query("国家 == ['中国']") 个性化查看 如何将上一题的结果进一步突出展示，可以使用 pandas 中的 style...最后，计算前十名各国每日奖牌数量统计，注意：对于第一天没有数据的国家用0填充，其余时间的缺失值用上一日数据填充。...本文全部内容均取自「pandas进阶修炼300题」中实战案例3，如果你也想真实操作一遍，可以点击下方文章查看如何下载数据与源码～ 点击下载「pandas进阶修炼300题」
', 'Fandango_Stars'] # ix[i, num_cols] 获取第i行的num_cols列中的数据，i从0开始 # 获取的列中数据即分别对应条形图的高度 bar_heights = norm_reviews.ix...IMDB_norm', 'Fandango_Ratingvalue', 'Fandango_Stars'] norm_reviews = reviews[cols] # value_counts 返回包含唯一值计数的对象...Fandango_Ratingvalue', 'Fandango_Stars'] norm_reviews = reviews[cols] fig, ax = plt.subplots() # 做一个盒须图 # 为“x”的每一列或...“x”序列中的每个向量做一个盒状和须状图。...# 该框从数据的下四分位数扩展到上四分位数，中间有一条线。 # 晶须从盒中伸出来显示数据的范围。
这些数据没有列的首选项，因此我们通过赋值 column 属性来添加列的首选项。我们想要将每一列作为字符串进行读取，因为这样做可以简化后续以行 id 为匹配，对不同的数据框架进行比较的步骤。...我们可以分别对每一个单独的数据集做许多不同有趣的探索，但是只要将它们结合起来分析才能取得最大的收获。Pandas 将会帮助我们分析数据，因为它能够有效的过滤权值或者通过它来应用一些函数。...我们将会深入几个有趣的权值因子，比如分析航空公司和航线。 那么在此之前我们需要做一些数据清洗的工作。 ? 这一行命令就确保了我们在 airline_id 这一列只含有数值型数据。...然后我们调用pandas的aggregate函数来获取航空公司数据框架中长度列的均值，然后把每个获取到的值重组到一个新的数据模型里。...然后我们可以在 Pygal 的水平条形图里把每一个都绘成条形图： ? 首先，我们创建一个空图。然后，我们添加元素，包括标题和条形图。每个条形图通过百分比值（最大值是100）显示出该类路由的使用频率。
你可以从其基本组件中组装一个图表：数据显示(即绘图的类型：线、条、框、散点图、轮廓等)、图例、标题、刻度标记和其他注释。 在pandas中，我们可能有多个数据列，并且带有行和列的标签。...DataFrame的plot方法在同一个子图中将每一列绘制为不同的折线，并自动生成图例(见图9-14)： In [62]: df = pd.DataFrame(np.random.randn(10, 4...在DataFrame中，柱状图将每一行中的值分组到并排的柱子中的一组。...▲图9-18 每天派对数量的百分比 你可以看到本数据集中的派对数量在周末会增加。 对于在绘图前需要聚合或汇总的数据，使用seaborn包会使工作更为简单。...数据点被分成离散的，均匀间隔的箱，并且绘制每个箱中数据点的数量。
rename()方法改列名是最灵活的方式，它的参数是字典，字典的 Key 是原列名，值是新列名，还可以指定轴向（axis）。 ? 这种方式的优点是可以重命名任意数量的列，一列、多列、所有列都可以。...处理缺失值 本例使用目击 UFO 数据集。 ? 可以看到，这个数据集里有缺失值。 要查看每列有多少缺失值，可以使用 isna() 方法，然后使用 sum()函数。 ?...用 dropna() 删除列里的所有缺失值。 ? 只想删除列中缺失值高于 10% 的缺失值，可以设置 dropna() 里的阈值，即 threshold. ? 16....重塑多重索引 Series 泰坦尼克数据集里有一列标注了幸存（Survived）状态，值用 0、1 代表。计算该列的平均值可以计算整体幸存率。 ?...本例的 DataFrame 加上了标题，交易量列使用了迷你条形图。 注意：Pandas 还支持更多 DataFrame 样式选项，详见 pandas 官方文档。
rename()方法改列名是最灵活的方式，它的参数是字典，字典的 Key 是原列名，值是新列名，还可以指定轴向（axis）。 ? 这种方式的优点是可以重命名任意数量的列，一列、多列、所有列都可以。...注意：如果索引值有重复、不唯一，这种方式会失效。 13. 根据多个类别筛选 DataFrame 预览 movies。 ? 查看 genre（电影类型）列。 ?...处理缺失值 本例使用目击 UFO 数据集。 ? 可以看到，这个数据集里有缺失值。 要查看每列有多少缺失值，可以使用 isna() 方法，然后使用 sum()函数。 ?...用 dropna() 删除列里的所有缺失值。 ? 只想删除列中缺失值高于 10% 的缺失值，可以设置 dropna() 里的阈值，即 threshold. ? 16....本例的 DataFrame 加上了标题，交易量列使用了迷你条形图。 注意：Pandas 还支持更多 DataFrame 样式选项，详见 pandas 官方文档。
,0前面要加逗号，不然打印类型出来 a[:,0] #获取第一列，0后面加逗号 a[0,:] #按轴计算：axis=1 计算每一行的平均值 a.mean(axis=1) pandas二维数组:数据框（...3) #有多少行，多少列 salesDf.shape #查询某一列的数据类型 salesDf.loc[:,'销售数量'].dtype #查看每一列的统计数值 salesDf.describe()...) salesDf.head() 3)缺失值处理 python缺失值有3种： 1）Python内置的None值 2）在pandas中，将缺失值表示为NA，表示不可用not available。.../pandas-docs/stable/generated/pandas.DataFrame.dropna.html #删除列（销售时间，社保卡号）中为空的行 #how='any' 在给定的任何一列中有缺失值就删除...#数据类型转换：字符串转换为日期 #errors='coerce' 如果原始数据不符合日期的格式，转换后的值为控制NaT #format 是你原始数据中的日期的格式 salesDf.loc[:,'
pandas库是Python数据分析的核心库 它不仅可以加载和转换数据，还可以做更多的事情：它还可以可视化 pandas绘图API简单易用，是pandas流行的重要原因之一 Pandas 单变量可视化...单变量可视化， 包括条形图、折线图、直方图、饼图等 数据使用葡萄酒评论数据集，来自葡萄酒爱好者杂志，包含10个字段，150929行，每一行代表一款葡萄酒 加载数据 条形图是最简单最常用的可视化图表 在下面的案例中...也可以用来展示《葡萄酒杂志》（Wine Magazine）给出的评分数量的分布情况： 如果要绘制的数据不是类别值，而是连续值比较适合使用折线图 : 柱状图和折线图区别 柱状图：简单直观，很容易根据柱子的长短看出值的大小...散点图最适合使用相对较小的数据集以及具有大量唯一值的变量。 有几种方法可以处理过度绘图。...： 通过透视表找到每种葡萄酒中，不同评分的数量 ： 从上面的数据中看出，行列分别表示一个类别变量（评分，葡萄酒类别），行列交叉点表示计数，这类数据很适合用堆叠图展示 折线图在双变量可视化时，仍然非常有效
数据准备 数据是存在Excel中的，可以使用pandas的Excel文件读取函数将数据读取到内存中，这里需要注意的是文件名和Excel中的sheet页的名字。...： #查看基本信息 #查看数据几行几列 print(dataDF.shape) #查看索引 print(dataDF.index) #查看每一列的列表头内容 print(dataDF.columns)...#查看每一列数据统计数目 print(dataDF.count()) 数据清洗 数据清洗过程包括：选择子集、列名重命名、缺失数据处理、数据类型转换、数据排序及异常值处理 （1）选择子集 在我们获取到的数据中...，可能数据量非常庞大，并不是每一列都有价值都需要分析，这时候就需要从整个数据中选取合适的子集进行分析，这样能从数据中获取最大价值。...dataDF.describe() 通过描述统计信息可以看到，“销售数量”、“应收金额”、“实收金额”这三列数据的最小值出现了负数，这明显不符合常理，数据中存在异常值的干扰，因此要对数据进一步处理
然后，你可以使用read_clipboard()函数将他们读取至DataFrame中： 和read_csv()类似，read_clipboard()会自动检测每一列的正确的数据类型： 让我们再复制另外一个数据至剪贴板...或者"moives_2": 需要注意的是，这个方法在索引值不唯一的情况下不起作用。...类似地，你可以通过mean()和isna()函数找出每一列中缺失值的百分比。...，以告诉pandas保留那些至少90%的值不是缺失值的列。...它会返回一个互动的HTML报告： 第一部分为该数据集的总览，以及该数据集可能出现的问题列表 第二部分为每一列的总结。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
