源码分析仓库 https://github.com/HANXU2018/JavaSourcesLearn
在Excel自带的自动筛选操作中，有一个非常不友好的情况是：当数据量大时，打开自动筛选非常慢，特别是对于高频筛选中的相等或多个值的筛选场景，不必用到【自定义自动筛选方式】面板，就算用到因数据量大，打开自动筛选下拉箭头仍然非常慢。
-- 工资加1000 select empno,ename,job,sal+1000 from emp;
你真的会玩SQL吗？系列目录 你真的会玩SQL吗？之逻辑查询处理阶段 你真的会玩SQL吗？和平大使 内连接、外连接 你真的会玩SQL吗？三范式、数据完整性 你真的会玩SQL吗？查询指定节点及其所有父节点的方法 你真的会玩SQL吗？让人晕头转向的三值逻辑 你真的会玩SQL吗？EXISTS和IN之间的区别 你真的会玩SQL吗？无处不在的子查询 你真的会玩SQL吗？Case也疯狂 你真的会玩SQL吗？表表达式，排名函数 你真的会玩SQL吗？简单的 数据修改 你真的会玩SQL吗？你所不知道的 数据聚合 你真的会玩S
具体来讲，第一篇文章一场pandas与SQL的巅峰大战涉及到数据查看，去重计数，条件选择，合并连接，分组排序等操作。
作为一名数据分析师，平常用的最多的工具是SQL(包括MySQL和Hive SQL等)。对于存储在数据库中的数据，自然用SQL提取会比较方便，但有时我们会处理一些文本数据(txt,csv)，这个时候就不太好用SQL了。Python也是分析师常用的工具之一，尤其pandas更是一个数据分析的利器。虽然二者的语法，原理可能有很大差别，但在实现的功能上，他们有很多相通的地方，这里特进行一个总结，方便大家对比学习~
不断将小数组调整的近乎有序，整个大数组就接近有序状态，这个时候使用插入排序效率很高的。
给定一个排序数组和一个目标值，在数组中找到目标值，并返回其索引。如果目标值不存在于数组中，返回它将会被按顺序插入的位置。
对两个相同字符串生成的 error 进行比较，结果如何呢？很多人可能和我一样，认为两个 error 变量是相等的，但实际上却不相等。输出结果：
在处理地理空间数据时，经常需要以最自然的方式可视化这些数据：地图。如果可以使用Python快速轻松地创建数据的交互式地图，在本教程中使用洛杉矶县所有星巴克位置的数据集。在文章的最后将能够创建：
https://leetcode-cn.com/problems/search-insert-position/
由于在sql语法中，仅仅支持内连接，所以我们对sql92语法标准的介绍仅限于内连接的三种方式。
一直对SQL优化的技能心存无限的向往，之前面试的时候有很多面试官都会来一句，你会优化吗？我说我不太会，这时可能很多人就会有点儿说法了，比如会说不要使用通配符*去检索表、给常常使用的列建立索引、还有创建表的时候注意选择更优的数据类型去存储数据等等，我只能说那些都是常识，作为开发人员是必须要知道的。但真正的优化并不是使用那些简单的手法去完成实现的，要想知道一条SQL语句执行效率低的原因，我们可以借助MySQL的一大神器---"EXPLAIN命令"，EXPLAIN命令是查询性能优化不可缺少的一部分，本文在结合实
集成学习（Ensemble learning）就是将若干个弱分类器通过一定的策略组合之后产生一个强分类器。
集成学习（Ensemble learning）就是将若干个弱分类器通过一定的策略组合之后产生一个强分类器。 弱分类器（Weak Classifier）指的就是那些分类准确率只比随机猜测略好一点的分类器，而强分类器（ Strong Classifier）的分类准确率会高很多。这里的"强"&"弱"是相对的。某些书中也会把弱分类器称 为“基分类器”。
上一篇文章一场pandas与SQL的巅峰大战中，我们对比了pandas与SQL常见的一些操作，我们的例子虽然是以MySQL为基础的，但换作其他的数据库软件，也一样适用。工作中除了MySQL，也经常会使用Hive SQL，相比之下，后者有更为强大和丰富的函数。本文将延续上一篇文章的风格和思路，继续对比Pandas与SQL，一方面是对上文的补充，另一方面也继续深入学习一下两种工具。方便起见，本文采用hive环境运行SQL，使用jupyter lab运行pandas。关于hive的安装和配置，我在之前的文章MacOS 下hive的安装与配置提到过，不过仅限于mac版本，供参考，如果你觉得比较困难，可以考虑使用postgreSQL，它比MySQL支持更多的函数(不过代码可能需要进行一定的改动)。而jupyter lab和jupyter notebook功能相同，界面相似，完全可以用notebook代替，我在Jupyter notebook使用技巧大全一文的最后有提到过二者的差别，感兴趣可以点击蓝字阅读。希望本文可以帮助各位读者在工作中进行pandas和Hive SQL的快速转换。本文涉及的部分hive 函数我在之前也有总结过，可以参考常用Hive函数的学习和总结。
当设置 header=None 时，则认为csv文件没有列索引，为其添加相应范围的索引，range(1,1200)指建立索引号从1开始最大到1199的列索引，当数据长度超过范围时，索引沿列数据的右侧对齐。
今天想学习一下基础知识，就看了一下HTML(4.0)，发现自己对HTML掌握的太少了。很多代码都很陌生，根本就没见过，更别提用了。
在本系列的上一节已经介绍了如何读写 excel 数据，并快速进行汇总处理。但有些小伙伴看完之后有些疑惑：
当我开始建造Vincent时, 我的一个目的就是使得地图的建造尽可能合理化. 有一些很棒的python地图库-参见Basemap 和 Kartograph能让地图更有意思. 我强烈推荐这两个工具, 因为他们都很好用而且很强大. 我想有更简单一些的工具,能依靠Vega的力量并且允许简单的语法点到geoJSON文件,详细描述一个投影和大小/比列,最后输出地图. 例如, 将地图数据分层来建立更复杂的地图: 加之,等值线地图需绑定Pandas数据,需要数据列直接映射到地图要素.假设有一个从geo
指定字段当前行直接使用[字段名]，例如在添加列里面直接使用[字段名]代表的就是当前指定的字段名的当前行的值。
据各种专业和业余的统计，在机器学习领域，Python语言的热度逐年上升。作为一种计算机程序设计语言，以简洁，易读性被广泛选择。伴随着大数据，深度学习领域的迅速发展，Python作为实现这些方法的友好语言，其拥护者也急剧上升。然而，Python的远远不止于此，编写应用程序，创建游戏，设计算法等等都可以应用其实现。那么，如此强大的编程语言。你是否掌握了呢？
给定一个 haystack 字符串和一个 needle 字符串，在 haystack 字符串中找出 needle 字符串出现的第一个位置 (从0开始)。如果不存在，则返回 -1。
注意：如果发现了一个这样的元素，every 方法将会立即返回 false。否则，callback 为每一个元素返回 true，every 就会返回 true。
给两个整数数组 A 和 B ，返回两个数组中公共的、长度最长的子数组的长度。 示例：
系统：Windows 10 编辑器：JetBrains PyCharm Community Edition 2018.2.2 x64 pandas：1.1.5
做数据分析和人工智能运算前常常需要大量的数据准备工作，也就是把各种数据源以及各种规格的数据整理成统一的格式。因为情况非常复杂多样，很难有某种可视化工具来完成此项工作，常常需要编程才能实现。
本文介绍的是Pandas数据初探索。当我们生成或者导入了数据之后，通过数据的探索工作能够快速了解和认识数据基本信息，比如数据中字段的类型、索引、最值、缺失值等，可以让我们对数据的全貌有一个初步了解。
理解：查询语句中涉及到的字段来自于多张表，将这种查询称为多表连接查询 语法：select 查询列表 from 表名1,表名2; 引入案例： select name,boyname from beauty,boys; select name,boyname from beauty,boys where boyfriend_id = boys.id; 笛卡尔乘积： 现象：表1和表2连接，结果为两表的完全连接结果，数据不正确 表1m行，表2 n行，结果为：m*n 行 产生原因：没有有效的连接条件 解决办法：添加两个表的连接条件 ★ 找到两个表的关联关系。两个表的关联列的意思肯定是一样，但名称不一定一样！一般通过主外键列进行关联。 连接查询的分类 ★： sql92语法： 内连接 等值连接 非等值连接 自连接 外连接（支持的不太好，mysql压根不支持） sql99语法： 内连接 等值连接 非等值连接 自连接 外连接 左外连接 右外连接 全外连接（mysql不支持）
explain为MySQL提供语句的执行计划信息。可以应用在select、delete、insert、update和place语句上。explain的执行计划，只是作为语句执行过程的一个参考，实际执行的过程不一定和计划完全一致，但是执行计划中透露出的讯息却可以帮助选择更好的索引和写出更优化的查询语句。
判断两图是否同构是一个经典问题。 nauty算法作为时下较为流行的主流算法，具有效率高，剪枝力度强等优势。当然，在某些特殊情况会失灵。 虽然该算法的概念在上世纪80年代就提出来了，但发展至今，仍然是不可忽略的一种方法。
在pandas里，DataFrame是最经常用的数据结构，这里总结生成和添加数据的方法： ①、把其他格式的数据整理到DataFrame中； ②在已有的DataFrame中插入N列或者N行。
根据表、列、索引和WHERE子句中的条件的详细信息，MySQL优化器考虑了许多技术来有效地执行SQL查询中涉及的查找。对一个巨大表的查询可以在不读取所有行的情况下执行；涉及多个表的联接可以在不比较每个行组合的情况下执行。「优化器选择执行最有效查询的操作集称为“查询执行计划(query execution plan)”，也称为EXPLAIN计划。」
本系列前2篇已经稍微展示了 python 在数据处理方面的强大能力，这主要得益于 pandas 包的各种灵活处理方式。
看到这个问题的时候，我是不知所云的，因为课堂上只讲过order(x)，没有出现order(x,y)，不理解其运算逻辑，就不能理解函数的结果。因此我整合了order( )函数从基础到上述问题解决的学习过程，仅供参考！
本次为大家整理了一个pandas骚操作操作的大集合，共20个功能，个个短小精悍，一次让你爱个够。
访问数据是进行各类操作的第一步，本节主要关于pandas进行数据输入与输出，同样的也有其他的库可以实现读取和写入数据。
大家好，我是东哥啊。 本次为大家整理了一个pandas骚操作操作的大集合，共20个功能，个个短小精悍，一次让你爱个够。系列内容，请看?「pandas100个骚操作」话题。 另外，最近收到出版社送的一本
等值线是气象上比较常用的一种图形，特别是分析天气形势时，常用的地面气压、位势高度、气温等以等值线展示效果最好；在某些时候，我们还需要对等值线填色图进行进一步的美化。兹分别介绍之。
本节提要：关于等值线的一些操作，解决等值线标签无法正常显示的问题，等值线填色图的阴影操作。
系统：Windows 11 编辑器：JetBrains PyCharm Community Edition 2018.2.2 x64
这篇文章分享基于成本优化器CBO可插拔式优化规则SortLimitPullUpConstantsRule，从SQL角度讲，带有Order by 、 Where等值谓词常量条件的这种SQL语句写法中将谓词中上拉常量到Project投影（Select操作）中。
3.子查询(难)： 当进行查询的时候，发现需要的数据信息不明确，需要先通过另一个查询得到， 此查询称为子查询； 执行顺序：先执行子查询得到结果以后返回给主查询 组成部分： 1).主查询部分 2).子查询部分 【注意事项】： 子查询一定需要被定义/包裹在小括号内部，可以认为是显示的提升了代码执行的优先级 需求1： 查询薪资比Abel的高的有谁？ 分析： ①.先查询出Abel的薪资是多少？ ②.将过滤条件定义为>①，然后进行查询得到最终需要的结果 代码实现： select last_name,salary from employees where salary > ( select salary from employees where last_name = 'Abel' ); 需求2： 查询job_id与141号员工相同，salary比143号员工多的员工的姓名,job_id和salary？ 代码实现： select last_name,job_id,salary from employees where job_id = ( select job_id from employees where employee_id = 141 ) and salary > ( select salary from employees where employee_id = 143 ); 课堂练习： 1).返回公司工资最少的员工的employee_id,job_id和salary select employee_id,job_id,salary from employees where salary = ( select min(salary) from employees ); 2).查询平均工资高于公司平均工资的部门有哪些 select department_id,avg(salary) from employees group by department_id having avg(salary) > ( select avg(salary) from employees ) order by department_id desc; 3).查询最低工资大于20号部门最低工资的部门id和最低工资 select department_id,min(salary) from employees where department_id is not null group by department_id having min(salary) > ( select min(salary) from employees having department_id = 20 ); 4).返回其它职位中比job_id为'IT_PROG'中最低工资低的员工的员工号,姓名,job_id以及salary select employee_id,last_name,job_id,salary from employees where salary < ( select min(salary) from employees where job_id = 'IT_PROG' ); 4.多表查询/多表联查 概念： 使用场景，如果一条select语句中需要查询的列遍布多张数据表， 那么我们就必须使用多表查询了！！ 分类： 等值连接和非等值连接 对于等值连接分方向： 1).内连接：返回多张表中共同满足的数据，取交集 2).外连接(左、右、满)：返回内连接数据的同时还会继续返回某张表中不匹配的一些记录数 3).自连接：从始至终都是一张表，模拟一张表派生为两张(它们的结构式一模一样的)，自己连自己 等值连接中的内连接： 需求： 查询所有员工的员工号、员工姓名以及部门的名字？ select employee_id,last_name,department_name from employees,departments; 【注意】 以上查询得到了2889条记录，很多都是没有用的数据(脏数据)， 出现的原因是：没有添加有效的连接条件导致的， 而这种现象我们称为笛卡尔集现象； 我们日后的学习和开发环境中是绝对要避免的！！ 如何保证我们之后的多表查询绝对不会出现笛卡尔集现象？ 1).不能不写连接条件 2).连接条件必须是有效的 思考：如何修改上述的代码？ 代码实现如下： select employee_id,last_name,department_name from employees,departments where employees.department_id = depart
SQL的执行计划侧面反映出了SQL的执行效率，具体执行方式如下所示：在执行的SQL前面加上explain关键词即可；
pandas的数据选择是十分重要的一个操作，它的操作与数组类似，但是pandas的数据选择与数组不同。当选择标签作为索引，会选择数据尾部，当为整数索引，则不包括尾部。例如列表a[0, 1, 2, 3, 4]中，a[1:3]的值为1，2；而pandas中为1，2，3。
探索性数据分析（Exploratory Data Analysis ,EDA）是对数据进行分析并得出规律的一种数据分析方法。它是一个数据试图讲述的故事。EDA是一种利用各种工具和图形技术(如柱状图、直方图等)分析数据的方法。
本文主要以基于AWS 搭建的EMR spark 托管集群，使用pandas pyspark 对合作单位的业务数据进行ETL ---- EXTRACT（抽取）、TRANSFORM（转换）、LOAD（加载） 等工作为例介绍大数据数据预处理的实践经验，很多初学的朋友对大数据挖掘，数据分析第一直观的印象，都只是业务模型，以及组成模型背后的各种算法原理。往往忽视了整个业务场景建模过程中，看似最普通，却又最精髓的数据预处理或者叫数据清洗过程。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
