日志就跟人们写的日记一样，记录着过往的事情。但是人的日记是主观的（记自己想记的内容），而数据库的日志是客观的，根据记录内容分为以下好几种日志：
在任何一种数据库中，都会有各种各样的日志，记录着数据库工作的方方面面，以帮助数据库管理员追踪数据库曾经发生过的各种事件。MySQL 也不例外，在 MySQL 中，有 4 种不同的日志，分别是错误日志、二进制日志（BINLOG 日志）、查询日志和慢查询日志，这些日志记录着数据库在不同方面的踪迹。
分析MySQL语句查询性能的方法除了使用 EXPLAIN 输出执行计划，还可以让MySQL记录下查询超过指定时间的语句，我们将超过指定时间的SQL语句查询称为“慢查询”。
在上一篇文章中，我们讨论了 Hudi 表中的数据布局，并介绍了 CoW 和 MoR 两种表类型，以及它们各自的权衡。在此基础上我们现在将探讨 Hudi 中的读取操作是如何工作的。
自MySQL5.1.6起，增加了一个非常有特色的功能 - 事件调度器（Event Scheduler），可以用做定时执行某些特定任务（例如：删除记录、数据统计报告、数据备份等等），来取代原先只能由操作系统的计划任务来执行的工作。 值得一提的是MySQL的事件调度器可以精确到每秒钟执行一个任务，而操作系统的计划任务（如：Linux的cron）只能精确到每分钟执行一次。对于一些对数据实时性要求比较高的应用（例如：股票、赔率、比分等）就非常适合。
MySQL 事件（Event）事件是根据时间表运行的任务，类似于 Unix crontab 和 Windows 定时任务。
MySQL慢查询日志是我们在日常工作中经常会遇到的一个功能，MySQL慢查询日志提供了超过指定时间阈值的查询信息，为性能优化提供了主要的参考依据，是一个非常实用的功能，MySQL慢查询日志的开启和配置非常简单，可以指定记录的文件（或者表），超过的时间阈值等就可以记录到慢sql了，实话讲，相比较sqlserver的trace或者扩展事件（虽然此二者的作用并非仅仅如此），MySQL的配置总是给人一种非常清爽的感觉。
事件是用来执行定时任务的一组SQL集，在时间到时会触发。 一个事件可调用一次，也可周期性的启动，由一个特定的事件调度器线程来管理的。 事件取代了原先只能由操作系统的计划任务来执行的工作，而且MySQL的事件调度器可以精确到每秒钟执行一个任务，而操作系统的计划任务（如：Linux下的CRON或Windows下的任务计划）只能精确到每分钟执行一次。
数据应用过程中，数据源的准确性和有效性是数据分析的基础。根据实际业务逻辑定义数据校准指标体系，搭建数据中心的质量监控面板及时发现数据异常，从而实现保证数据质量的目的。
11g里面的新特性闪回归档，为历史数据的定制查询提供了一种可能。抽时间学习了一下这个特性，发现还是比较清晰易用。如果使用得当还是很不错的一个特性。 我们来简单模拟一个例子来看看。 首先需要创建独立的表空间，属性需要为segment space management auto,因为默认属性就是如此，所以我们简化语句。 SQL> create tablespace fbarch datafile'/U01/app/oracle/oradata/actvdb/fbarch.dbf' size 10M ; Tabl
大家好，我是田维常，可以叫我老田，也可以叫我田哥。2017年的时候，我刚去上海，朋友内推我去美团面试，之前我也写过一个一篇文章，也是在美团面试中遇到的：
线上环境中，当MHA这种高可用切换服务切换的时候，往往是主库发生问题了，今天我们讨论在何种情况下，我们可以判断主库已经发生了问题，不可用了。
概述： 交代一下背景，这算是一次项目经验吧，属于公司一个已上线平台的功能，这算是离职人员挖下的坑，随着数据越来越多，原本的SQL查询变得越来越慢，用户体验特别差，因此SQL优化任务交到了我手上。 这个SQL查询关联两个数据表，一个是攻击IP用户表主要是记录IP的信息，如第一次攻击时间，地址，IP等等，一个是IP攻击次数表主要是记录每天IP攻击次数。而需求是获取某天攻击IP信息和次数。（以下SQL语句测试均在测试服务器上上，正式服务器的性能好，查询时间快不少。）
当你作为一个开发人员，每天上班开开心心的coding。突然某一天DBA找上门来说发给你或者你的部门经理一大堆的sql，需要你们紧急处理这些快要把系统搞挂掉的慢查询。那问题来了？然而今天我说的问题不是这些SQL为啥执行慢，而是DBA如何定位发现他们的。本文核心讲解和慢查询有关参数的说明使用。
本篇知识参考：https://developer.salesforce.com/trailhead/force_com_dev_intermediate/asynchronous_apex/async
索引是帮助MySQL高效获取数据的数据结构。索引内部存在一个键值和对应数据的物理地址，当数据很多的时候，索引文件会很大，所以一般以文件的形式存储于磁盘中，后缀名为.myi。
MySQL 的慢查询日志是 MySQL 提供的一种日志记录，它用来记录在 MySQL 中响应时间超过阀值的语句，阈值指的是运行时间超过 long_query_time 值的 SQL，则会被记录到慢查询日志中。long_query_time 的默认值为 10，意思是运行 10秒 以上的语句。默认情况下，MySQL 数据库并不启动慢查询日志，需要我们手动来设置这个参数。 慢查询需要知道的 “点” 企业级开发中，慢查询日志是会打开的。但是这同样会带来一定的性能影响。 慢查询日志支持将日志记录写入文件，也支持将日志记录写入数据库表 默认的阈值（long_query_time）是 10，这个显然不可用，通常，对于用户级应用而言，我们将它设置为 0.2 慢查询相关的变量 查看变量的 SQL 语句
关系型数据库模型是把复杂的数据结构归结为简单的二元关系，对数据的操作都是建立一个 或多个关系表格上
Oracle job有定时执行的功能，可以在指定的时间点或每天的某个时间点自行执行任务。 一、查询系统中的job，可以查询视图 --相关视图 select * from dba_jobs; select * from all_jobs; select * fromuser_jobs; -- 查询字段描述 /* 字段（列） 类型 描述 JOB NUMBER 任务的唯一标示号 LOG_USER VARCHAR2(30) 提交任务的用户 PRIV_USER VARCHAR2(30) 赋予任务权限的用户 SCHEMA_USER VARCHAR2(30) 对任务作语法分析的用户模式 LAST_DATE DATE 最后一次成功运行任务的时间 LAST_SEC VARCHAR2(8) 如HH24:MM:SS格式的last_date日期的小时，分钟和秒 THIS_DATE DATE 正在运行任务的开始时间，如果没有运行任务则为null THIS_SEC VARCHAR2(8) 如HH24:MM:SS格式的this_date日期的小时，分钟和秒 NEXT_DATE DATE 下一次定时运行任务的时间 NEXT_SEC VARCHAR2(8) 如HH24:MM:SS格式的next_date日期的小时，分钟和秒 TOTAL_TIME NUMBER 该任务运行所需要的总时间，单位为秒 BROKEN VARCHAR2(1) 标志参数，Y标示任务中断，以后不会运行 INTERVAL VARCHAR2(200) 用于计算下一运行时间的表达式 FAILURES NUMBER 任务运行连续没有成功的次数 WHAT VARCHAR2(2000) 执行任务的PL/SQL块 CURRENT_SESSION_LABELRAW MLSLABEL 该任务的信任Oracle会话符 CLEARANCE_HI RAW MLSLABEL 该任务可信任的Oracle最大间隙 CLEARANCE_LO RAW MLSLABEL 该任务可信任的Oracle最小间隙 NLS_ENV VARCHAR2(2000) 任务运行的NLS会话设置 MISC_ENV RAW(32) 任务运行的其他一些会话参数 */ -- 正在运行job select * fromdba_jobs_running; 其中最重要的字段就是job这个值就是我们操作job的id号，what 操作存储过程的名称，next_date 执行的时间，interval执行间隔 二、执行间隔interval运行频率
MySQL会记录下查询超过指定时间的语句，我们将超过指定时间的SQL语句查询称为慢查询，都记在慢查询日志里。
１.为什么要用Lucene，而不用直接从数据库里搜索记录? 主要是考虑到几个因素:(1)性能问题，Lucene是基于文件索引的搜索机制，性能要比数据库里检索更快，特别是数据量大的时候两者区别比较明显
select ...from table where exist (子查询)；
pandas是Python数据分析最好用的第三方库，没有之一。——笛卡儿没说过这句话！
「mysql数据库中日志是重要组成部分，记录着数据库运行期间各种状态信息」。主要有6类：
MySQL5.1.x版本中引入了一项新特性EVENT，顾名思义就是事件、定时任务机制，在指定的时间单元内执行特定的任务，因此今后一些对数据定时性操作不再依赖外部程序，而直接使用数据库本身提供的功能。 要查看当前是否已开启事件调度器，可执行如下SQL： SHOW VARIABLES LIKE 'event_scheduler'; 或 SELECT @@event_scheduler; 或 SHOW PROCESSLIST; 若显示： +-----------------+-------+ | Variable
不管是啥业务，最终数据都要落地，数据库这一环是肯定少不了的。随着业务发展，并发越来越高，数据库很容易成为整个链路的短板。这也是大厂面试中比较常被问到的。而调优的第一步，都是从sql语句、索引入手。先得保证单个数据库执行没问题，才会有更高层次的分库分表、弹性、容灾等等。
在工业监控里面，需要对每天的数据，进行记录，时间长了之后，MySQL数据库很容易撑爆。这时候，如果允许可以对之前的数据进行一次清除，只记录几个月内的数据。
今天来说一个Java多机部署下定时任务的处理方案。 需求: 有两台服务器同时部署了同一套代码， 代码中写有spring自带的定时任务，但是每次执行定时任务时只需要一台机器去执行。 当拿到这个需求时我脑子中立马出现了两个简单的解决方案： 利用ip进行判断， 两台机器ip肯定不一样， 指定某一台机器的ip运行。 只在一台机器上部署定时任务的代码。 最后两个方案又都被自己否决了。 第一条，如果指定ip的机器出现了问题怎么办？ 例如说宕机了， 那么该制定ip的机器上的定时任务是不是就无法运行了？如果以后该服务器迁移
记住！ 记住！ 记住！ 上边这张图，她是MySQL更新数据的基础流程，其中包括redo log、bin log、undo log三种日志间的大致关系，好了闲话少说直奔主题。
一、日志 1.redo、undo 2.mysql主要的日志：1、错误日志2、查询日志（普通查询日志和慢查询日志）3、二进制日志
MySQL经过多年的改进和完善之后，已经基本具备了所有通用数据库管理系统所需要的相关功能。
Hudi支持Spark-2.x版本，你可以点击如下链接安装Spark，并使用pyspark启动
相信每个IT界大佬，简历上少不了Mysql索引这个关键字，但如果被问起来，你能说出多少干货呢？先看下面几个问题测试一下吧：
但是在Eolink中可以使用API管理中导入历史录入的API信息，如果没有的话再使用手动创建监控API。
视图是一种虚拟表，由执行时通过SELECT语句或几个SELECT语句的UNION从一个或多个物理表中检索到的数据组成。 SELECT可以通过指定表或其他视图的任意组合来访问数据。因此，存储了视图的视图提供了物理表的所有灵活性和安全性特权。
1.用户体验差：接口访问速度慢、如果一个页面打开需要好几秒，用户可能在页面没有完全打开时，就关掉页面离开了，造成用户流失，通过性能优化，减少服务器响应时长，可提高用户体验，较少用户的流失。
基于上述的需求分析，使用ES搜索引擎能够完全满足相关的搜索需求，基于此在处理整体搜索后台服务上，主要考虑下面几个问题：
今天，数据库的操作越来越成为整个应用的性能瓶颈了，这点对于Web应用尤其明显。关于数据库的性能，这并不只是DBA才需要担心的事，而这更是我们程序员需要去关注的事情，希望文章的这些优化技巧对你有用。
(4)通用查询日志:记录用户的所有操作，包括启动和关闭MySQL服务、更新语句、查询语句等
1.简介 日志文件记录着mysql数据库运行期间发生的变化，如：mysql数据库的客户端连接状况、sql语句的执行情况和错误信息等。当数据库遭到意外的损坏时，可以通过日志查看文件出错的原因，并且可以通过日志进行数据恢复；也可以通过日志文件分析数据、优化查询等。Mysql日志管理机制比较完善，它包含了以下几种常见的日志文件、分别为：错误日志（-log-err）、查询日志（-log）、二进制日志（-log-bin）、更新日志（-log-update）及慢查询日志（-log-slow-queries）。 2.
最近公司项目添加新功能，上线后发现有些功能的列表查询时间很久。原因是新功能用到旧功能的接口，而这些旧接口的 SQL 查询语句关联5,6张表且编写不够规范，导致 MySQL 在执行 SQL 语句时索引失效，进行全表扫描。原本负责优化的同事有事请假回家，因此优化查询数据的问题落在笔者手中。笔者在查阅网上 SQL 优化的资料后成功解决了问题，在此从==全局角度==记录和总结 MySQL 查询优化相关技巧。
网上分库分表的资料很多，这里主要是重新整理和梳理一下。如有和其他文章类似片段或解决方案，纯属前人总结或者业内标准。
C#程序设计实战练习项目，做一个类似于QQ的软件，程序参考明日科技出版的《C#项目开发入门实战》第一章：Q友，做自己的QQ。
当前，如果不是调优需要的话，一般不建议启动该参数，因为开启慢查询日志会对性能造成一定的影响，慢查询日志支持将日志记录到文件中
在写本文章开始之前我给大家说下，根据个人学历理解记录的笔记，如果有什么问题可以关注、联系我们一起讨论。本人还是建议大家多多学习体系的技术。博客不会讲解太细。
上一篇《【坑】如何心平气和地填坑之拿RSViewSE的报表说事》中，我们在RSViewSE软件的画面内嵌入了一个Spreadsheet控件表格，通过VBA脚本对它进行一系列控制实现了将PLC内直接读回来标签数显示在表格内，定时存储到指定的位置，从而达到每天或每小时或每分钟记录一次报表数据的目的。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
