在处理大型数据集时，很可能需要查找并获取唯一值，特别是唯一字符串。例如，在一个有100000条记录的数据集中，其中可能包含数百个唯一字符串，如果将这些唯一记录提取出来，那么数据清理会变得更容易。
在Excel中，我们可以通过单击功能区“数据”选项卡上的“删除重复项”按钮“轻松”删除表中的重复项。确实很容易！然而，当数据集太大，或者电子表格中有公式时，这项操作有时会变得很慢。因此，我们将探讨如何使用Python从数据表中删除重复项，它超级简单、快速、灵活。
学习 django 中的 orm 的时候，可以把一对多，多对多，分为正向和反向查找两种方式。
下面的题目来自一份商品专员的面试题，其中有涉及到条件格式、自定义排序、数据验证制作下拉菜单、查找引用类函数、文本提取函数等等技能。
数据质量一直是数据仓库领域一个比较令人头疼的问题，因为数据仓库上层对接很多业务系统，业务系统的脏数据，业务系统变更，都会直接影响数据仓库的数据质量。因此数据仓库的数据质量建设是一些公司的重点工作。
如下图1和图2所示，如果使用公式引用一列中的项目，当按F9评估其值时，会看到：在花括号内放置了一组项目，文本被添加上了引号，分号意味着跨行，且项目列使用分号。
给面试官讲一下 MySQL 的逻辑架构，有白板可以把下面的图画一下，图片来源于网络。
技巧1、单元格内强制换行 技巧2、锁定标题行 技巧3、打印标题行 技巧4、查找重复值 技巧5、删除重复值 技巧6、快速输入对号√ 技巧7、万元显示 技巧8、隐藏0值 技巧9、隐藏单元格所有值。 技巧10、单元格中输入00001 技巧11、按月填充日期 技巧12、合并多个单元格内容 技巧13、防止重复录入 技巧14、公式转数值 技巧15、小数变整数 技巧16、快速插入多行 技巧17、两列互换 技巧18、批量设置求和公式 技巧19、同时查看一个excel文件的两个工作表。 技巧20：同时修改多个工作表 技巧21：恢复未保存文件 技巧22、给excel文件添加打开密码 技巧23、快速关闭所有excel文件 技巧24、制作下拉菜单 技巧25、二级联动下拉 技巧27、删除空白行 技巧28、表格只能填写不能修改 技巧29、文字跨列居中显示 技巧30、批注添加图片 技巧31、批量隐藏和显示批注 技巧32、解决数字不能求和 技巧33、隔行插入空行 技巧34、快速调整最适合列宽 技巧35、快速复制公式 技巧36、合并单元格筛选
导语：Power Query 是可证明的，在这个星球上性价比最高的数据处理工具，如果你的工作中需要处理数据，注意，是处理，不是分析，那么此工具必须掌握。对此，90%的鼠标点击，5%的猜测以及5%的公式能力足以。本文来自《Master Your Data》的第十章，非常重要，必须掌握。
当有多张表时，如何将一个excel表格的数据匹配到另一个表中？这时候就需要使用vlookup函数。它可以按条件查找出数据。
报表，从来都是商业领域的主角，而随着商业智能（BI），大数据时代的到来，报表更加成为了业务系统的核心组成。因此传统的格式已经无法满足新的需求，最终用户期望在一张报表中看到更多的汇总、分类信息，而往往这些汇总和分类信息是不固定的，比如下面这张报表
这篇文章是本系列的第一篇，选择性汇总了EXCEL的常用且重点的模块和公式，用作内部员工EXCEL基础操作培训，以帮助表格基础薄弱的同事快速熟悉常用操作，提升工作效率。现将内容分享，作为数据分析基础的第一篇。
继我的上篇博客：Oracle索引知识学习笔记，再记录一篇MySQL的索引知识学习笔记，本博客是我在学习尚硅谷的学习教程后，做的笔记，当然我不是为了所谓宣传，仅仅是学习记录的笔记。本来可以不分享出来，不过，分享出来的笔记不仅可以给网上的学习者参考学习，同时写在csdn比较方便，可以支持图片上传，也方便自己以后查找复习
主成分分析（Principal Component Analysis，PCA）， 是一种统计方法。通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分。
Excel数据处理，我们前文有了解到数据条的应用，行列转置，报错提醒，批量处理数据格式，多表输入相同表头，以及隐藏功能。那excel还有哪些数据处理方式供我们学习呢？我们继续往下看。
给定K个整数组成的序列{ N 1 , N2 , …, NK }，“连续子列”被定义为{ Ni , Ni+1 , …, Nj }，其中 1≤i≤j≤K。“最大子列和”则被定义为所有连续子列元素的和中最大者。例如给定序列{ -2, 11, -4, 13, -5, -2 }，其连续子列{ 11, -4, 13 }有最大的和20。现要求你编写程序，计算给定整数序列的最大子列和。
大名鼎鼎EXCEL江湖上谁人不知，谁人不晓呀，纵使你没见过EXCEL，也见过数据在跑吧？可惜的是，经常用EXCEL表哥表妹，甚至操作六七年 的江湖老手，或多或少还是犯了些操作上的小错误，不应该呀不应该。下面，列举一些在EXCEL操作上常见的一些普遍现象，你认为哪种操作最搞笑？大家来排个名吧？ 1.移动选择 打开一个表，想要查看最后一行是第几行，很多童鞋都是一直按方向箭，或者不厌其烦拖动滚动条，这是一个非常不好的习惯，得改。童鞋，还记得键盘上的 CTRL+DOWN吗？可以快速跳转到该列数据末尾处，还有CT
在 DB2 数据库中索引采用的是 B+ 树的结构，索引的叶子节点上包含索引键的值和一个指向数据地址的指针。DB2 先查询索引，然后通过索引里记录的指针，直接访问表的数据页。
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
一、实践中如何优化mysql 1) SQL语句及索引的优化 2) 数据库表结构的优化 3) 系统配置的优化 4) 硬件优化 二、索引的底层实现原理和优化 2.1 底层实现 在DB2数据库中索引采用的是B+树的结构，索引的叶子节点上包含索引键的值和一个指向数据地址的指针。DB2先查询索引，然后通过索引里记录的指针，直接访问表的数据页。 B+树是应数据库所需而出现的一种B树的变形树。 B+树的特点： （1）所有叶节点包含全部关键字及指向相应记录的指针，而且叶节点中将关键字按大小顺序排列
建立索引的目的是：希望通过索引进行数据查找，减少随机 IO，增加查询性能 ，索引能过滤出越少的数据，则从磁盘中读入的数据也就越少。
今天还是数据分析的学习，如果你觉得文章太长太没意思，欢迎拉到底部直接看大纲总结，一秒学会（学不会我也不负责，让你不看全文）。
在系统性能问题中，数据库往往是性能的瓶颈关键因素。那么如何去检测mysql的性能问题，如何构建高性能的mysql，如何编写出高性能的sql语句？为此，整理一些建议。
索引是数据库提供的利于快速查询的机制，索引类似于书籍目录，当查询条件那一列建立了索引之后，那么数据库会去硬盘索引文件中找到满足查询条件的（数据的）物理位置， 根据位置就可以定位并获取到数据。
如果您习惯使用下载管理器从互联网上下载各种内容，那么组织您的主目录甚至系统可能会特别困难。
和其它数据库相比，MySQL有点与众不同，它的架构可以在多种不同场景中应用并发挥良好作用。主要体现在存储引擎的架构上，插件式的存储引擎架构将查询处理和其它的系统任务以及数据的存储提取相分离。这种架构可以根据业务的需求和实际需要选择合适的存储引擎。
1. Union A. 语法 Union (
mysql小结(1) MYSQL索引特性小结
Linux通过i节点表将文件的逻辑结构和物理结构进行转换。i节点是一个64字节长的表，表中包含了文件的相关信息，其中有文件的大小、文件所有者、文件的存取许可方式以及文件的类型等重要信息，在i节点表中最主要的内容是磁盘地址表。在磁盘地址表中有13个块号，文件将以块号在磁盘地址表中出现的顺序依次读取相应的块。Linux文件系统通过把i节点和文件名进行连接，当需要读取该文件时，文件系统在当前目录表中查询该文件名对应的项，由于此得到该文件相对应的i节点号，通过该i节点的磁盘地址表把分散存放的文件物理块连接成文件的逻辑结构。
使用display:grid或display:inline-grid即可创建一个栅格容器，这个容器下的所有直接子节点都会成为栅格项（Grid Item）。
XGBoost的威名想必大家都有所耳闻，它不仅是数据科学竞赛神器，在工业界中也被广泛地使用。本文给大家分享珍藏了多年的XGBoost高频面试题，希望能够加深大家对XGBoost的理解，更重要的是能够在找机会时提供一些帮助。
数据库分片是在多台机器上存储大型数据库的过程。一台计算机或数据库服务器只能存储和处理有限数量的数据。数据库分片通过将数据拆分为更小的块（称为分片）并将其存储在多个数据库服务器上来克服此限制。所有数据库服务器通常都具有相同的底层技术，它们协同工作以存储和处理大量数据。
这里的索引有auditstatus和productid，可以建立联合索引。但是哪个放左边就要计算区分度。
在我们的用例中1-10% 是对历史记录的更新。当记录更新时，我们需要从之前的 updated_date 分区中删除之前的条目，并将条目添加到最新的分区中，在没有删除和更新功能的情况下，我们必须重新读取整个历史表分区 -> 去重数据 -> 用新的去重数据覆盖整个表分区
分析这个数据的意义 城市：留下数据者的所在城市，但是现在车、马、书信都很快，所以这并不是我们用来界定男女是否匹配的依据，只能说是有特殊需求，例如不接受异地恋的这种就匹配，本次我们不考虑 数字：就算是幸运数字吧 如何让大家匹配上？（合理且随机） 用HashTable（也叫HashMap）的数据结构存储大家的信息 对于可能出现冲突的hash值，使用分离链接或者线性探测解决冲突 于小姐姐稀缺，小哥哥太多,于是本次不区分性别(泪奔) 正式开始 什么是hashTable 散列表（Hash table，也叫哈希表），
索引：提高数据库的性能，索引是物美价廉的东西了。不用加内存，不用改程序，不用调 sql，只要执行正确的 create index ，查询速度就可能提高成百上千倍。但是天下没有免费的午餐，查询速度的提高是以插入、更新、删除的速度为代价的，这些写操作，增加了大量的IO。所以它的价值，在于提高一个海量数据的检索速度，即查找数据的速度。
面试必问的 MySQL，你懂了吗？
我们都知道在 Mysql 中，索引是非常重要的内容，因为他对我们的查询会有非常大的帮助，所以，我们今天就来看看这个 Mysql 的索引。
Set（集）：集合中的元素不按特定方式排序，并且没有重复对象。他的有些实现类能对集合中的对象按特定方式排序。 List（列表）：集合中的元素按索引位置排序，可以有重复对象，允许按照对象在集合中的索引位
在大数据时代，任何公司的成功都取决于数据驱动的决策和业务流程。在这种情况下，数据集成对于任何业务的成功秘诀都是至关重要的，并且掌握诸如Informatica Powercenter 9.X之类的端到端敏捷数据集成平台必将使您走上职业发展的快速通道。使用Informatica PowerCenter Designer进行ETL和数据挖掘的职业是前所未有的最佳时机。
虽然索引大大提高了查询速度，同时却会降低更新表的速度，如对表进行INSERT、UPDATE和DELETE。因为更新表时，MySQL不仅要保存数据，还要保存一下索引文件每次更新添加了索引列的字段，都会调整因为更新所带来的键值变化后的索引信息
https://www.cnblogs.com/huchong/p/10219318.html
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
