上一篇文章我们讲解了爬虫如何存储 CSV 文件，这篇文章，我们讲解如何将采集到的数据保存到 MySQL 数据库中。
推荐文章： Liunx系列： 1、Linux基础命令 2、Linux进阶命令 任务编程系列： 1、多任务编程 - 1 2、多任务编程 - 2 前端技术： 1、JavaScript
备注：如果Python版本为Python 3，使用如下安装方式 pip3 install MySQL client
本文给出一些函数接口，末尾给出一些调用堆栈，为感兴趣的朋友做一个参考，也为自己做一个笔记。
1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。
使用简单的纯文本文件可实现的功能有限。诚然，使用它们可做很多事情，但有时可能还需要额外的功能。你可能希望能够自动完成序列化，此时可求助于shelve和pickle（类似于shelve）。不过你可能需要比这更强大的功能。例如，你可能想自动支持数据的并发访问，及允许多位用户读写磁盘数据，而不会导致文件受损之类的问题。还有可能希望同时根据多个数据字段或属性进行复杂的搜索，而不是采用shelve提供的简单的单键查找。尽管可供选择的解决方案有很多，但如果要处理大量的数据，并希望解决方案易于其他程序员理解，选择较标准的数据库可能是个不错的主意。
第一章 了解SQL第二章 MySQL 介绍第三章 使用 MySQL第四章 检索数据第五章 排序检索数据第六章 过滤数据第七章 数据过滤第八章 通配符过滤第九章 正则搜索第十章 创建计算字段第十一章 数据处理函数第十二章 汇总数据第十三章 数据分组第十四章 使用子查询第十五章 联结表第十六章 高级联结第十七章 组合查询第十八章 全文本搜索第十九章 插入数据第二十章 更新和删除数据第二十一章 表的增删改第二十二章 视图第二十三章 存储过程第二十四章 游标第二十五章 使用触发器第二十六章 事务处理第二十七章 全球化和本地化第二十八章 安全管理第二十九 数据库维护第三十章 改善性能
实践中，MySQL的优化主要涉及SQL语句及索引的优化、数据表结构的优化、系统配置的优化和硬件的优化四个方面，如下图所示：
大家好，我是架构君，一个会写代码吟诗的架构师。今天说一说mysql 优化面试题,希望能够帮助大家进步!!!
因为查询语句SELECT的使用非常频繁，所有有很多人将查询语句抽取出来作为一类：
假如有联合索引 (emp_no 、title、from_date )，那么下面的 SQL 中 emp_no 可以用到索引，而title 和 from_date 则使用不到索引。
原子性（atomicity）：一个事务必须视为一个不可分割的最小工作单元，整个事务中的所有操作要么全部提交成功，要么全部失败回滚，对于一个事务来说，不可能只执行其中的一部分操作，这就是事务的原子性。
在Python中，可以使用MySQL官方提供的Python库mysql-connector-python来连接和操作MySQL数据库。连接MySQL数据库后，我们可以使用SQL语句执行查询并获取查询结果。在本文中，我们将详细介绍如何处理MySQL查询结果。
在说这个模块之前，我们先来想一下在命令行模式下操作mysql数据库的步骤，一般来说分为三步：
触发器是一中特殊的存储过程，主要是通过事件来触发而被执行的。它可以强化约束，来维护数据的完整性和一致性，可以跟踪数据库内的操作从而不允许未经许可的更新和变化。可以联级运算。如，某表上的触发器上包含对另一个表的数据操作，而该操作又会导致该表触发器被触发。
1、触发器的作用？ 触发器是一中特殊的存储过程，主要是通过事件来触发而被执行的。它可以强化约束，来维护数据的完整性和一致性，可以跟踪数据库内的操作从而不允许未经许可的更新和变化。可以联级运算。如，某表上的触发器上包含对另一个表的数据操作，而该操作又会导致该表触发器被触发。
在爬虫、自动化、数据分析、软件测试、Web 等日常操作中，除 JSON、YAML、XML 外，还有一些数据经常会用到，比如：Mysql、Sqlite、Redis、MongoDB、Memchache 等
大多数 SQL 实现支持以下类型的函数。 ❑ 用于处理文本字符串（如删除或填充值，转换值为大写或小写）的文本函数。❑ 用于在数值数据上进行算术操作（如返回绝对值，进行代数运算）的数值函数。 ❑ 用于处理日期和时间值并从这些值中提取特定成分（如返回两个日期之差，检查日期有效性）的日期和时间函数。 ❑ 用于生成美观好懂的输出内容的格式化函数（如用语言形式表达出日期，用货币符号和千分位表示金额）。 ❑ 返回 DBMS 正使用的特殊信息（如返回用户登录信息）的系统函数
最近在忙其他项目，偶然发现之前的项目中，有个定时刷新告警信息的模块查询比较慢，简单的一个关联查询，尽然耗了20多秒才能出来， 才发现表的数据量已经达到了700万，我擦，我这暴脾气，不知道我强迫症吗，于是下定决心1个小时解决了丫的 （—_— 后来，用时之久啊，人都消瘦了许多）
（1）表级锁：开销小，加锁快；不会出现死锁；锁定粒度大，发生锁冲突的概率最 高，并发度最低。
随着系统的数据量逐年增加，并发量也成倍增长，SQL性能越来越成为IT系统设计和开发时首要考虑的问题之一。SQL性能问题已经逐步发展成为数据库性能的首要问题，80%的数据库性能问题都是因SQL而导致。面对日益增多的SQL性能问题，如何下手以及如何提前审核已经成为越来越多的程序员必须要考虑的问题。
在模型查询API不够用的情况下，你可以使用原始的sql语句。django提供两种方法使用原始sql进行查询：一种是使用Manager.raw()方法，进行原始查询并返回模型实例；另一种是完全避开模型层，直接执行自定义的sql语句。
1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 缺省情况下建立的索引是非群集索引，但有时它并不是最佳的。在非群集索引下，数据在物理上随机存放在数据页上。合理的索引设计要建立在对各种查询的分析和预测上。一般来说： a.有大量重复值、且经常有范围查询( > ,< ,> =,< =)和 order by、group by 发生的列，可考虑建立集群索引; b.经常同时存取多列，且每列都含有重复值可考虑建立组合索引， 选择度高的列建议作为索引的第一个字
索引是帮助MySQL高效获取数据的数据结构。索引是在存储引擎中实现的，所以每种存储引擎中的索引都不一样。如MYISAM和InnoDB存储引擎只支持BTree索引；MEMORY储存引擎可以支持HASH和BTREE索引。
mysql数据库存储数据的方式与excel类似，都是以表格的形式来存储数据。 excel一般用一张表来存储少量的数据，数据库可以用多个表来存储大量的数据。
1. InnoDB支持事务，MyISAM不支持，对于InnoDB每一条SQL语言都默认封装成事务，自动提交，这样会影响速度，所以最好把多条SQL语言放在begin和commit之间，组成一个事务；
一，SQL语句性能优化 1， 对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。
数据模型是现实生活中数据的抽象，用来描述数据的概念和定义，是数据库中数据的存储方式，是数据库系统的基础。 常用的数据模型有以下三种：
答：Oracle、SQL Server、MySQL、Sybase、DB2、Access 等。
1.常见的关系型数据库管理系统产品有？ 答：Oracle、SQL Server、MySQL、Sybase、DB2、Access等。 2.SQL语言包括哪几部分？每部分都有哪些操作关键字？ 答：SQL语言包括数据定义(DDL)、数据操纵(DML),数据控制(DCL)和数据查询（DQL）四个部分。 数据定义：Create Table,Alter Table,Drop Table, Craete/Drop Index等 数据操纵：Select ,insert,update,delete, 数
MySQL 是一个开源关系数据库管理系统，广泛用于存储、管理和组织数据。使用 MySQL 表时，通常需要将多个列值组合成一个字符串以进行报告和分析。Python是一种高级编程语言，提供了多个库，可以连接到MySQL数据库和执行SQL查询。
1、 表级锁： 开销小， 加锁快 ； 不会出现死锁 ； 锁定粒度大 ， 发生锁冲突的概率最 高， 并发度最低。
原文：http://www.java520.cn/%E6%95%B0%E6%8D%AE%E5%BA%93/148.html
其他面试题类型汇总： Java校招极大几率出的面试题（含答案）—-汇总 几率大的网络安全面试题（含答案） 几率大的多线程面试题（含答案） 几率大的源码底层原理，杂食面试题（含答案） 几率大的Redis面试题（含答案） 几率大的linux命令面试题（含答案） 几率大的杂乱+操作系统面试题（含答案） 几率大的SSM框架面试题（含答案） 几率大的数据库（MySQL）面试题（含答案） 几率大的JVM面试题（含答案） 几率大的现场手撕算法面试题（含答案） 临时抱佛脚必备系列（含答案） 注：知识还在积累中，不能保证每个回答都满足各种等级的高手们，若发现有问题的话，本人会尽快完善。 ｡◕‿◕｡
游标，有些地方也称为光标。它的作用是在一个结果集中逐条逐条地获取记录行并操作它们。
在创建表的时候我们使用sql语句，Create table tableName () engine=myisam|innodb;
MySQL 是最流行的关系型数据库管理系统。本小节通过 Python 对 MySQL 数据库进行增删改查操作，后期高阶可以通过结合 DataFrame 对文件实现快速导入导出操作。
数据库基础知识 1.什么是数据库。 MySQL 是最流行的关系型数据库管理系统，在WEB应用方面 MySQL 是最好的RDBMS(Relational Database Management System：关系数据库管理系统)应用软件之一。 数据库（Database）是按照数据结构来组织、存储和管理数据的仓库，每个数据库都有一个或多个不同的API用于创建，访问，管理，搜索和复制所保存的数据。 我们也可以将数据存储在文件中，但是在文件中读写数据速度相对较慢。所以，现在我们使用关系型数据库管理系统
前文回顾： 「Python爬虫系列讲解」一、网络数据爬取概述 「Python爬虫系列讲解」二、Python知识初学 「Python爬虫系列讲解」三、正则表达式爬虫之牛刀小试 「Python爬虫系列讲解」四、BeautifulSoup 技术 「Python爬虫系列讲解」五、用 BeautifulSoup 爬取电影信息
数据库基础知识 1.什么是数据库。 MySQL 是最流行的关系型数据库管理系统，在WEB应用方面 MySQL 是最好的RDBMS(Relational Database Management System：关系数据库管理系统)应用软件之一。 数据库（Database）是按照数据结构来组织、存储和管理数据的仓库，每个数据库都有一个或多个不同的API用于创建，访问，管理，搜索和复制所保存的数据。 我们也可以将数据存储在文件中，但是在文件中读写数据速度相对较慢。所以，现在我们使用关系型数据库管理系统（RDB
事务更新 comment_subject，comment_index，comment_content 三张表，其中 content 属于非强制需要一致性考虑的。可以先写入 content，之后事务更新其他表。即便 content 先成功，后续失败仅仅存在一条 ghost 数据。这样做虽然性能没有提升多少，但是content表是有可能替代为KV数据库的。
数据库是往全栈发展不得不跨过的一道坎，大家不可避免会学到用到相关知识，最近查资料的时候发现网上很多内容要么就特别深，要么不成体系，对一些希望浅尝辄止仅仅是使用一下的人不太友好。最近刚好有机会学到 MySQL，集中一些时间学习了一下 MySQL 同时做了一些笔记，每个概念基本都有代码示例，每一行都是在下手打，读者可以直接复制了代码到命令行中运行，希望对大家有所帮助～ 😜 本文介绍的知识都不是特别深，目标用户是对 MySQL 零基础或弱基础的小伙伴们，可以帮助对 MySQL 建立一些概念，至少碰到相关问题知道
SQL（Structured Query Language）是结构化查询语言，也是一种高级的非过程化编程语言。SQL语句可用于增删查改数据以及管理关系型数据库，并不局限于数据查询。
在使用Python操作MongoDB数据库时，查询文档是一项非常重要的任务。当我们使用PyMongo进行查询操作时，我们可以获取一个游标对象，它可以用于遍历查询结果并对查询结果进行处理。
第二范式：2NF是对记录的惟一性约束，要求记录有惟一标识，即实体的惟一性；
对于一个MongoDB的复杂查询，如何才能创建最好的索引？在本篇文章中，我将展现一种给读请求定制的索引优化方法，这种方法会考虑读请求中的比较，排序以及范围过滤运算，并展示符合索引中字段顺序的最优解。我们将通过研究explain()命令的输出结果来分析索引的优劣，并学习MongoDB的索引优化器是如何选择一个索引的。
数据库，顾名思义，就是存放数据的仓库，它是按照一定的数据结构来组织、存储和管理数据的仓库，是一个长期存储在计算机硬盘中、有组织的、可共享的、统一管理的大量数据的集合。
领取专属 10元无门槛券
手把手带您无忧上云
