首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

手把手教你做一个“渣”数据师,用Python代替老情人Excel

5、略过和列 默认read_excel参数假定第一是列表名称,会自动合并为DataFrame中列标签。...Python提供了许多不同方法来DataFrame进行分割,我们将使用它们几个来了解它是如何工作。...五、数据计算 1、计算某一特定列 输出结果是一个系列。称为单列数据透视表: ? 2、计数 统计每列或每行非NA单元格数量: ? 3、求和或列求和数据: ? 为每行添加总列: ?...可以使用dictionary函数进行单独计算,也可以多次计算: ? 七、Vlookup函数 Excel中vlookup是一个神奇功能,是每个人在学习如何求和之前就想要学习。...有四种合并选项: left——使用左侧DataFrame中共享列匹配右侧DataFrame,N/A为NaN; right——使用右侧DataFrame中共享列匹配左侧DataFrame,N/A为

8.3K30

关于“Python”核心知识点整理大全2

在这个文件开头添加一代码,第2代 码进行修改,如下所示: message = "Hello Python world!" print(message) 运行这个程序,看看结果如何。...虽然优秀程序员也会犯错,但他们也 知道如何高效地消除错误。下面来看一种你可能会犯错误学习如何消除它。 我们将有意地编写一些引发错误代码。...在这里,解释器发现了一 个名称错误指出打印变量mesage未定义:Python无法识别你提供变量名。...名称错误通常 意味着两种情况:要么是使用变量前忘记了给它赋值,要么是输入变量名时拼写不正确。 在这个示例中,第2变量名message中遗漏了字母s。...2.3 字符串 大多数程序都定义收集某种数据,然后使用它们来做些有意义事情。鉴于此,对数据进 分类大有裨益。我们将介绍第一种数据类型是字符串。

11310
您找到你想要的搜索结果了吗?
是的
没有找到

Python探索性数据分析,这样才容易掌握

在预览了其他数据前五之后,我们推断可能存在一个问题,即各个州数据集是如何存入。由于美国有 51 个州,ACT 2017 和 ACT 2018 “州”栏中很可能有错误或重复。...这是一次创新机会来考虑如何在数据帧之间检索 “State” 列、比较这些显示结果。我方法如下图展示: ?...现在再试着运行这段代码,所有的数据都是正确类型: ? 在开始可视化数据之前最后一步是将数据合并到单个数据中。为了实现这一点,我们需要重命名每个数据中列,以描述它们各自代表内容。...为了合并数据而没有错误,我们需要对齐 “state” 列索引,以便在数据帧之间保持一致。我们通过每个数据集中 “state” 列进行排序,然后从 0 开始重置索引: ?...最后,我们可以合并数据。我没有一次合并所有四个数据帧,而是按年一次合并两个数据帧,确认每次合并都没有出现错误。下面是每次合并代码: ? 2017 SAT 与 ACT 合并数据集 ?

4.9K30

Excel表格中最经典36个小技巧,全在这儿了

目 录 技巧1、单元格内强制换行 技巧2、锁定标题 技巧3、打印标题 技巧4、查找重复 技巧5、删除重复 技巧6、快速输入对号√ 技巧7、万元显示 技巧8、隐藏0 技巧9、隐藏单元格所有。...技巧13、防止重复录入 选取要防止重复录入单元格区域,数据 - 有效性 - 自定义 - 公式: ? 如果重复录入,会提示错误清除录入内容 ?...技巧18、批量设置求和公式 选取包括黄色行列区域,按alt 和 = (按alt键不松再按等号)即可完成求和公式输入。 ? 技巧19、同时查看一个excel文件两个工作表 视图 - 新建窗口 ?...就是把手机名称和型号整理成如下图格式备用,存放位置随意。 ? 步骤2:批量定义名称。...选取手机名称和型号区域后,打开指定名称窗口(excel2003版里,插入菜单 - 名称 - 指定,07和10版 公式选项卡 - 定义名称组 - 根据所选内容创建),选取窗口上“首”复选框。

7.6K21

使用R或者Python编程语言完成Excel基础操作

熟悉界面:打开Excel熟悉其界面,包括菜单栏、工具栏、功能区等。 掌握基本操作:学习如何插入、删除/列,重命名工作表,以及基本数据输入。...使用公式:学习使用Excel基本公式,如SUM、AVERAGE、VLOOKUP等,理解相对引用和绝对引用概念。 数据格式设置:了解如何设置数据格式,包括数字、货币、日期、百分比等。...输入数据:直接在单元格中输入数据。 2. 删除数据 删除或列:右键点击行号或列标,选择“删除”。 清除内容:选中单元格,按Delete键或右键选择“清除内容”。 3....以下是一些其他操作: 数据分析工具 数据透视表:大量数据进行快速汇总和分析。 数据透视图:将数据透视表数据以图表形式展示。 条件格式 数据条:根据单元格显示条形图。...色阶:根据单元格变化显示颜色深浅。 图标集:在单元格中显示图标,以直观地表示数据大小。 公式和函数 数组公式:一系列数据进行复杂计算。

12410

Pandas图鉴(三):DataFrames

创建一个DataFrame 用已经存储在内存中数据构建一个DataFrame竟是如此超凡脱俗,以至于它可以转换你输入任何类型数据: 第一种情况,没有标签,Pandas用连续整数来标注。...第二种情况,它对和列都做了同样事情。向Pandas提供列名称而不是整数标签(使用列参数),有时提供名称。...下一个选择是用NumPy向量dict或二维NumPy数组构造一个DataFrame: 请注意第二种情况下,人口如何被转换为浮点数。实际上,这发生在构建NumPy数组早期。...,连接要求 "right" 列是有索引合并丢弃左边DataFrame索引,连接保留它; 默认情况下,merge执行是内连接,join执行是左外连接; 合并不保留顺序,连接保留它们(有一些限制...默认情况下,Pandas会对任何可远程求和东西进行求和,所以必须缩小你选择范围,如下图: 注意,当单列求和时,会得到一个Series而不是一个DataFrame。

35020

如何用NumPy搭建卷积神经网络实现手写数字识别(附代码)

快进到现在,当前最先进卷积神经网络实现精度超过人类水平性能。 ? ImageNet数据集上错误率 在这些有希望结果激励下,我开始了解CNN功能,以及它们如何表现得如此出色。...让我们回顾一下构成网络各个组件,以及它们如何连接在一起,从输入数据形成预测。在解释了每个组件之后,我们将对其功能进行编码。在这篇文章最后一部分,我们将使用NumPy网络每个部分进行编程和训练。...为了使卷积神经网络能够学习检测输入数据中特征滤波器,必须通过非线性映射来传递滤波器。滤波器与输入图像卷积运算输出用偏置项求和通过非线性激活函数。激活函数目的是将非线性引入到我们网络中。...然后使用NumPy 's sum方法将这个元素相乘结果求和,得到一个单独,然后添加一个偏差项。...这些被连接起来形成一个长特征向量。如果存在多个输入层,则将其连接起来形成更长特征向量。 然后将特征向量通过多个密集层。在每一稠密层,特征向量乘以该层,加上它偏差,然后通过非线性。

2K10

36条常用Excel技巧 收藏备用!

1、两列数据查找相同对应位置 =MATCH(B1,A:A,0) 2、已知公式得结果 定义名称=EVALUATE(Sheet1!C1) 已知结果得公式 定义名称=GET.CELL(6,Sheet1!...17、多个工作表单元格合并计算 =Sheet1!D4+Sheet2!D4+Sheet3!D4,更好=SUM(Sheet1:Sheet3!...&"E1") A1为工作表名 奇数求和 =SUMPRODUCT((A1:A1000)*MOD(ROW(A1:A1000),2)) 偶数求和 =SUMPRODUCT((A1:A1000)*NOT(MOD...*") 30、动态求和公式,自A列A1单元格到当前行前面一单元格求和....里数字转换到Excel 方法有多种,选中》复制》设置输入单元格为文本》选择性粘贴》 选中》表格转换为文本》粘贴》分列》对分列选项设置为文本 另存为文本文件》EXCEL中打开文本文件》导入文本对话框进行对应设置

3.3K50

Power Query 真经 - 第 8 章 - 纵向追加数据

本章不会解决用户在转换中触发错误问题(尽管以后章节会解决),但会向用户展示 Power Query 如何合并两个或更多数据集,而不必担心用户把最后几行数据粘贴过来导致数据重复。...图 8-10 设置步骤名称与工具提示描述 要自定义步骤名称添加工具提示,只需右击步骤选择【属性】。这将允许用户修改默认步骤名称添加一个自定义描述,在鼠标悬停在信息图标上时显示出来。...这些抛出错误,可以简单地把它们筛选掉。 确保 “Changed Types” 步骤被选中。 选择 “Name” 列【主页】【删除】【删除错误】。 弹出对话框【插入步骤】,单击【插入】。...右击 “Month End” 列【替换】,在【要查找】下面输入一个空格,【替换为】输入 “1,”。(译者注:没错,是 “1,”,而不是 1。)...当使用这种方法时,重要是记住这一点加以防范。 在这里,防止出现问题策略包括筛选关键列上错误,以及为输入和输出列使用标准命名,从而筛选掉不需要列。

6.6K30

这个插件竟打通了Python和Excel,还能自动生成代码!

在本文中,我们将一起学习: 如何合理设置Mito 如何debug安装错误 使用 Mito 提供各种功能 该库如何为对数据集所做所有操作生成 Python 等效代码 安装Mito Mito 是一个 Python...要更新该列内容,请单击该列任何单元格,然后输入。你可以输入一个常量值,也可以根据数据集现有特征创建。如果要从现有列创建,则直接使用要执行运算符调用列名。...要使用 Mito 创建这样表, 单击“Pivot”选择源数据集(默认加载 CSV) 选择数据透视表、列和列。还可以为列选择聚合函数。...所有下拉选项,如求和、平均值、中值、最小、最大、计数和标准偏差都可用。 选择所有必要字段后,将获得一个单独表,其中包含数据透视表实现。...,按升序或降序列进行排序,或通过边界条件过滤它们

4.6K10

Git 中文参考(五)

-P --perl-regexp 模式使用与 Perl 兼容正则表达式。 这些类型正则表达式支持是可选编译时依赖性。如果 Git 没有编译支持它们,那么提供此选项将导致它死亡。...它们还会影响 Git 如何在 git add 和 git commit 中存储您在存储库中工作树中准备内容。 text 此属性启用控制行尾标准化。...这取代了 _ 更新后 _ 钩子,除了它们名称之外,它还获得了所有引用和新。 标准输出和标准错误输出都转发到另一端git send-pack,因此您只需为用户输入echo消息即可。...扔掉一体化 如果您遵循最后一段,您现在将拥有许多小主题分支,偶尔会想知道它们如何交互合并它们结果可能甚至不起作用?...在这种情况下,他们可以要求下游进行合并并自己解决冲突(也许他们会更好地了解如何解决它们)。这是下游 _ 应该 _ 从上游合并罕见情况之一。

3300

Power Query 真经 - 第 10 章 - 横向合并数据

【注意】 如果唯一目标是识别左表中没有在右表中匹配记录,就没有必要展开合并结果。而且可以直接删除右边列,因为无论如何每条记录都会返回空。...10.3 笛卡尔积(交叉连接) 无论将其称为 “交叉” 连接、“多多” 连接或其正式名称 “笛卡尔积”,这种连接类型都包括从两个表中获取单个创建一组包含所有可能组合。...这两个词只有一个字母不同,但由于字符较少,无法确定它们错误。 【注意】 【使用模糊匹配执行合并】功能仅在文本列上操作上受支持。...但至少现在有了一种方法来应对用户没有规范化输入情况,就是把初始输入信息输入 “From” 列,然后把正确规范化输入 “To” 列。...在有未知项情况下,可以将它们连同它们映射到术语一起输入到转换表中(强烈建议尽可能使用 “例外” 表中 “复制 / 粘贴” 到 “翻译” 表中,以确保拼写正确)。

4K20

ClickHouse 表引擎 & ClickHouse性能调优 - ClickHouse团队 Alexey Milovidov

求和合并树 SummingMergeTree 这种机制与 MergeTree 不同之处在于它在合并时收集数据。...例如会话更改日志或记录用户历史日志。在 Yandex.Metrica 中,对话不断变化。例如,每个会话点击次数增加。我们称任何对象变化为一(“旧,新”)。如果创建了对象,则旧可能会丢失。...Sign 是一列,其中包含 -1 代表“旧”和 1 代表“新” 拼接时,每组顺序主键值(用于对数据进行排序列)减少到不超过一,“signcolumn = -1”(负)列减少到no多于一,...任何丢失片段从副本中复制 请注意,ClickHouse 不会执行任何破坏性操作,例如自动删除大量数据。 如果本地数据与预期数据偏差太大,则会触发安全机制。服务器将其输入日志拒绝启动。...有两种方式将数据写入集群: 首先,您可以定义哪些服务器要写入哪些数据,直接每个块执行写入操作。换句话说,插入操作是在表分布式表“视图”上执行

1.9K20

Python人工智能 | 六.Tensorboard可视化基本用法及神经网络绘制

基础性文章,希望您有所帮助,如果文章中存在错误或不足之处,还请海涵~同时自己也是人工智能菜鸟,希望大家能与我在这一笔一划博客中成长起来。...我们可以很直观地看到TensorFlow数据是如何流向神经网络。 同时,inputs包括x_input和y_input两个。 接下来,我们开始编写神经网络可视化功能。...第一步,从input开始修改,调用tf.name_scope()设置输入名称,并为传入xs和ys增加名字。整个inputs包括x_input和y_input。...第二步,在add_layer()函数中增加绘图显示名称,如下图左上角所示。 修改如下: 1.自定义一个变量layer_name,其为add_layer()函数传进来参数n_layer。...真的非常忙碌,希望这篇基础性文章您有所帮助,如果文章中存在错误或不足之处,还请海涵~作为人工智能菜鸟,我希望自己能不断进步深入,后续将它应用于图像识别、网络安全、对抗样本等领域,一起加油!

1.2K10

改善你代码:使用这5种重构技术

通过重构代码可以减少这类错误。 代码重构涉及在不改变其外部功能情况下现有代码进行改进。这是编程核心部分之一,不能忽视,否则,我们将无法实现代码更好版本。...此外,确保为该方法起一个有意义名称。现在,在我们需要代码地方调用它们。...将硬编码转换为具有有意义名称变量肯定有助于其他人理解它。此外,还可以为其添加注释以进一步解释。这也有助于调试和降低将来出现错误风险。...在之后,我们用提供给它们两者之和函数替换了这个过程。 简化方法 当你寻找要优化方法/功能时,它与识别非常相似。可以为逻辑做简化方法或使其可读和清洁。此技术可以帮助你减少代码。...因为可以用更少代码实现相同功能。 简化条件语句:如果一个方法有复杂条件语句,请考虑通过合并条件或使用三元运算符来简化它们。 使用懒加载 这是一种只在需要时加载对象技术。

27720

Power Query 真经 - 第 5 章 - 从平面文件导入数据

虽然它将提供基于相同经典导入逻辑默认(译者注:按照本机操作系统中配置),但它确实允许用户重新配置这些步骤,告诉它究竟如何正确解释数据。...但是没有提到是,与其他程序不同是,在 Power Query 中,错误是真正令人兴奋,原因是用户可以控制它们它们做出反应。...在试图筛选某一列之前,处理该列中错误是至关重要。如果用户一个包含错误列应用筛选器,它将会截断数据集。 尽管已经取得了进展,但似乎有一些还是有问题。...在【选择或输入分隔符】下面选【-- 自定义 --】,输入一个 “-”(减号)。 【拆分位置】选择【最左侧分隔符】进行分割,单击【确定】。...然后,数据被分割成 2 个独立列:“已合并.1” 和 “已合并.2”,把它们重新命名为更加合理名称。 双击列 “已合并.1” 名称,更改为 “Category”。

5.1K20

送书 | Python编程:从入门到实践

在这个文件开头添加一代码,第2代码进行修改,如下所示: message = "Hello Python world!"print(message) 运行这个程序,看看结果如何。...虽然优秀程序员也会犯错,但他们也知道如何高效地消除错误。下面来看一种你可能会犯错误学习如何消除它。 我们将有意地编写一些引发错误代码。...在这里,解释器发现了一个名称错误指出打印变量mesage未定义:Python无法识别你提供变量名。名称错误通常意味着两种情况:要么是使用变量前忘记了给它赋值,要么是输入变量名时拼写不正确。...2-2 多条简单消息:将一条消息存储到变量中,将其打印出来;再将变量修改为一条新消息,并将其打印出来。 2.3 字符串 大多数程序都定义收集某种数据,然后使用它们来做些有意义事情。...2.7 小结 在本章中,你学习了:如何使用变量;如何创建描述性变量名以及如何消除名称错误和语法错误;字符串是什么,以及如何使用小写、大写和首字母大写方式显示字符串;使用空白来显示整洁输出,以及如何剔除字符串中多余空白

2.9K110

Power Query 真经 - 第 9 章 - 批量合并文件

步骤 2:合并文件。 步骤 3:示例转换文件进行数据清洗。 步骤 4:通过主查询进行数据清洗。 在这一章中,将通过这个标准模式每个部分,向用户展示它是如何工作,以及为什么这些步骤很重要。...它目的是让用户在将所有文件追加到单个表之前,单个文件执行数据转换(用户在这里执行步骤会自动在转换函数中自动照搬运行并合并,以便它们可以应用于文件夹中所有文件)。...如果不合并 Excel 文件,可以跳过这一步,但无论如何,做这一步没有任何影响或问题。 此时,应该仔细检查列表中保留文件。为了合并这些文件,它们不仅需要有相同文件类型,而且必须有一致内部结构。...当然,用户需要调试它,回到“FilesList”插入临时步骤,保留前“x”或删除前“x”,直到用户找到是哪个查询导致错误。...右击“Quarter”列【替换】【要查找输入“\”,【替换为】什么都不输入【确定】。 选择所有列【转换】【检测数据类型】。

4.7K40

Git 中文参考(四)

lines 通过执行常规基于差异分析来计算 dirstat 数字,移除/添加行数进行求和。 (对于二进制文件,计算 64 字节块,因为二进制文件没有自然线条概念)。...如果它们出现在输入中,则不会尝试转义分隔符,因此输出可能不明确。 porcelain 使用特殊基于格式用于脚本使用。...此选项强制它们仅检查当前工作树。 --ignore-missing 在输入中看到无效对象名称时,假装没有给出错误输入。...lines 通过执行常规基于差异分析来计算 dirstat 数字,移除/添加行数进行求和。 (对于二进制文件,计算 64 字节块,因为二进制文件没有自然线条概念)。...上下文行将保留其空白,并且无论--whitespace选项如何它们都不会进行空白修复。不过,新线仍将被修复。

3500
领券