SQL审核工具发布的思考 关于SQL审核发布 今天将前段时间做的SQL审核工具做了一场发布，邀请了一些后台和前端的开发同事，他们平时可能没有机会坐下来仔细的去审核自己写的SQL，今天通过SQL...审核工具的发布，大家一起聊了聊在写SQL的方面的一些经验和积累，总体来讲效果还是不错的。...由于我们的SQL审核工具具有打分的功能，可以根据当前这个SQL的执行情况，按照公司的开发规范给出一定的分数值，这种直观的反馈还是很吸引人的。...第三、在SQL审核工具的发布会上，大家还是找出了工具中存在的一些问题，可能确实存在一些语句，我们审核的不到位，比如说一个字段的注释是“电话号”，但是实际上字段类型给定的是char（256），这种情况除了人工...，恐怕没有工具能够这么智能的审核出来，所以，做好一间事情的最佳方案不是做完美了再拿出来，而是先做出来，再去迭代，再去完善它，可能这是更好的方法，大家也可以体会思考一下，毕竟，光说不做假把式。
1.2208.0-pre3 SQLE Release Notes SQL审核工具 SQLE 1.2208.0-pre3 于今天发布。以下对新版本的 Release Notes 进行详细解读。...，支持标准化上线流程，原生支持 MySQL 审核且数据库类型可扩展的 SQL 审核工具。...新增部分 MySQL 审核规则 （1） 禁止使用TIMESTAMP字段 背景：TIMESTAMP 有2038年限制 并且时区转换。...MySQL 审核场景化改造兼容事后审核模式 目前，SQLE的SQL审核在设计之初是为了满足SQL上线的审核，随着产品发展，我们支持了多场景下的事前事后审核。...SQLE的SQL审核在设计之初是为了满足SQL上线的审核，通过上下文关联和基础对象验证满足上线SQL的正确性校验，这些在事后审核的场景下过于严格且审核的SQL是已执行过的（慢日志的SQL），导致部分SQL
1.2207.0-pre1 SQLE Release Notes SQL审核工具 SQLE 1.2207.0-pre1 于今天发布。以下对新版本的 Release Notes 进行详细解读。...，支持标准化上线流程，原生支持 MySQL 审核且数据库类型可扩展的 SQL 审核工具。...支持OceanBase MySQL模式审核插件【企业版】 SQLE通过插件的形式支持OceanBase MySQL模式的审核，我们调研了MySQL与OceanBase的部分差异，在OceanBase-MySQL...插件内引入了大部分MySQL的审核规则，并去掉OceanBase MySQL模式不兼容的场景，使得SQLE审核能完全兼容OceanBase MySQL模式。...[#666] 修复MySQL的lower_case_table_names配置为2时，部分审核进行库表检查不符合预期的问题； [#667] 修复当MySQL审核语句包含系统表时，SQLE审核会提示表不存在的问题
Inception的安装 1.https://github.com/mysql-inception/inception 下载包 gitclonehttps://github.com/mysql-inception.../configure make&& make install 安装其他依赖项 yuminstall gcc gcc-c++ cmake openssl-devel ncurses-devel MySQL-python...Wwrite-strings-Wno-strict-aliasing -Wdeclaration-after-statement" # make && make install 4.启动方式： 启动有两种方式，和MySQL...所在目录/Inception --port=6669 登陆方法： 启动成功之后，可以简单试一下看，通过MySQL客户端 mysql-uroot -h127.0.0.1 -P6669 登录上去之后，再执行一个命令
技术圈已经有了很大的变化，在SQL审核领域，开源工具SQL Advisor中也看到了雪刚的贡献。 GitHub上来看下这个项目的情况，star有2000多，还是比较高的了。...在工具的更新和活跃度上，貌似有了停滞的进度。 ?...对于SQL审核，一直以来我觉得审核的价值是性能和潜在问题，语法问题严格意义上来说不属于审核的范畴，但是让我捉急的是，我们却需要花很多的工具在权限，语法上，希望这款工具能给我一些新的视角。...port=3306 dbname=testdb sqls=select * from t2 where id=3; 整个SQL审核后的结果如下： [root@dev01 sqladvisor]# ....对于SQL审核，源码文档中也给出了一些很细致的流程说明，还有更多的流程说明图，对于我们后续来定制和使用也是一种很不错的参考借鉴。 ?
1.2208.0-pre1 SQLE Release Notes SQL审核工具 SQLE 1.2208.0-pre1 于今天发布。以下对新版本的 Release Notes 进行详细解读。...，支持标准化上线流程，原生支持 MySQL 审核且数据库类型可扩展的 SQL 审核工具。...SQLE OceanBase for MySQL 新增了部分审核规则【企业版】 本周我们为 OceanBase for MySQL 新增了6条特定的审核规则，规则的选型来自于OceanBase 的官方文档...SQLE PostgreSQL 审核插件支持SQL分析【企业版】 在之前的MySQL 审核中，我们新增了SQL 下钻分析的功能， 本周PostgreSQL插件也支持了该功能，下面是产品的功能体验： 首先在...审核插件支持SQL分析【企业版】； OceanBase for MySQL 审核插件添加部分审核规则【企业版】； 优化 [#698] 工单名称默认在页面上使用自动生成工单号； [#712] 创建的扫描任务的审核周期建议默认设置久一点
目录 前⾔ DDL语句审核 DCL语句审核 DML语句审核 DDL与DML上下⽂关联 结论 前⾔ SQLE 是由爱可⽣开发并开源、⽀持SQL审核、标准化上线流程等丰富功能的可扩展SQL审核⼯具（https...测试create table 建表语句⼆ 下⾯2条SQL示例，⼀条为语法⽆误、⼀条为语法错误（含MySQL保留关键字）。...测试alter table禁⽤索引 下⾯2条SQL示例，⼀条为创建索引，⼀条为将索引修改为不可⻅（禁⽤）状态。 如下图审核结果，其实不符合预期。...少数MySQL8.0 新特性涉及的SQL⽬前SQLE可能还不能兼容，例如 建表时存在 MySQL 8.0 新的保留字，如窗⼝函数相关的RANK、ROW_NUMBER等。...语法 JSON_TABLE函数等 总之，瑕不掩瑜，不兼容的点毕竟⽇常SQL开发审核上线中极少使⽤，相信后续SQLE版本将进⾏优化。 本文关键字：#SQLE# #SQL审核#
--- 目录 前⾔ DDL语句审核 DCL语句审核 DML语句审核 DDL与DML上下⽂关联 结论 前⾔ SQLE是由爱可⽣开发并开源、⽀持SQL审核、标准化上线流程等丰富功能的可扩展 SQL 审核⼯具...测试create table 建表语句⼆ 下⾯2条SQL示例，⼀条为语法⽆误、⼀条为语法错误（含MySQL保留关键字）。...[renzhongyusqle-20.png] 审核结果如下图。 [renzhongyusqle-21.png] ⼩结 审核结果基本没啥问题，SQLE将不符合SQL开发规范的问题正常甩出。...少数MySQL8.0 新特性涉及的SQL⽬前SQLE可能还不能兼容，例如 建表时存在 MySQL 8.0 新的保留字，如窗⼝函数相关的RANK、ROW_NUMBER等。...语法 JSON_TABLE函数等 总之，瑕不掩瑜，不兼容的点毕竟⽇常SQL开发审核上线中极少使⽤，相信后续SQLE版本将进⾏优化。
最近在做一些SQL审核的事情，这里讲SQL审核的前期工作简单总结一下，做的一些测试的结果，希望对大家认识这两个自动化审核工具有所帮助。...Advisor审核建议： 2018-07-26 17:34:49 53989 [Note] 第1步: 对SQL解析优化之后得到的SQL:select from dual where 1 having..._testdb execute_time : 0 sqlsha1 : Sql审核发现无法找到id这一列，无法进行删除操作，此时查看数据库中的元素，发现数据库的字段中没有id字段，在sql审核测试界面手动添加...=10.3; SQL Advisor审核建议 2018-07-27 14:47:16 25393 [Note] 第1步: 对SQL解析优化之后得到的SQL:select from dual 2018-...2.3 Update审核 Update datatype set d_tinyint=99 where d_tinyint=100; SQL Advisor审核建议 2018-07-27 15:05
2.2306.0-pre2 SQLE Release Notes SQL 审核工具 SQLE 2.2306.0-pre2 于今天发布。以下对新版本的 Release Notes 进行详细解读。...，支持标准化上线流程，原生支持 MySQL 审核且数据库类型可扩展的 SQL 审核工具。...审核规则 根据业务需求，本期新增 3 条MySQL规则，分别为： 1....Bug 修复： 修复 OceanBase for MySQL TopSQL 存在空值导致智能扫描审核失败报错 "the node is empty after parse" 的问题； 修复智能扫描 MySQL...慢日志审核中 scanner 扫描慢日志文件时，当 SQL 存在换行则解析不完整的问题。
实现原理 SQL审核工具应该完全兼容 MySQL 的输入，及解析 MySQL 的语法。...我们改造 MySQL 源码的 Client 模块来实现SQL审核工具的输入，利用 MySQL 源码的语法分析模块来对 SQL 语法进行解析。...下图1为 SQL 审核工具与 MySQL 源码模块对应示例。 图1 SQL 审核工具与 MySQL 源码模块对应 SQL审核工具实现中最重要的两个模块：输入模块及语法分析模块，下面分别进行说明。...2.1 输入模块 SQL审核工具的输入模块是对 MySQL Client 源码进行了改造。...使用介绍 上面介绍了 SQL 审核工具的背景及实现，现在讲下SQL审核工具应如何使用。
作者：刘新旺 MySQL DBA，专注于 MySQL 数据库多年，现就职一家本地生活服务类互联网公司，负责数据库相关工作。...，支持标准化上线流程，原生支持 MySQL 审核且数据库类型可扩展的 SQL 审核工具。...需求分析 产品定位 互联网时代，一个 app 可能承载成百上千万用户的使用；其业务规模之大，更新迭代之快，众多业务线日常上线 SQL 之多；DBA 对上线 SQL 的审核和执行工作变得十分繁忙，如何高效的保障...用户细分 主要使用人员：开发人员和 DBA ；开发人员希望便捷、高效、自主可控的上线业务 SQL ；DBA 希望便捷、高效、安全、高质量的审核 SQL 上线。...创建SQL工单-SQL语句输入框高度过高，点击审核后不方便查看到结果，建议降低高度增加宽度 （4）创建SQL工单-工单不支持自定义上线时间，同时也不支持定时上线 表现层 平台整体以白灰色色调为主，配色稳重简约
2.2309.0-pre3 SQLE Release Notes SQL 审核工具 SQLE 2.2309.0-pre3 于今天发布。以下对新版本的 Release Notes 进行详细解读。...，支持标准化上线流程，原生支持 MySQL 审核且数据库类型可扩展的 SQL 审核工具。...支持快速审核 SQL 现在，您可以直接提交需要审核的 SQL，无需创建工单，即刻获得审核结果。这个全新的功能将带来更快速、更高效的审核体验。...SQL 语句审核 编辑好 SQL 之后点击编辑框下方的 “审核” 按钮，即可查看到审核结果。审核结束后，可以回到审核记录列表追溯到每次审核的信息。 审核结果 2....审核功能 [#1783] 新增 MySQL 审核规则 Bug 修复： [#1830][#1832] 修复 MySQL 审核时如果 SQL 内切换过 schema，导致审核异常的问题 # 企业版 优化
二、 功能介绍 SQLE 的开发阶段 SQL审核主要是通过 SQLE 的功能审核任务来完成的，该功能定位是应对全场景 SQL 质量管控解决方案，能够在应用开发、测试、上线、生产等不同阶段对 SQL 进行质量管控...将 SQL 采集与SQL审核结合对数据库进行长期审核，目前支持Mybatis 扫描，慢日志，库表元数据，TopSQL ，应用程序 SQL 抓取（java应用）的场景审核。...应用开发阶段可以通过审核任务的 Mybatis 扫描类型的任务对应用代码做实时审核，Mybatis 扫描的审核任务需要通过 SQLE 提供的 Scanner 工具进行SQL采集并推送到 SQLE 进行SQL...因此在开发阶段也可以将SQL审核作为一个检查模块集成进CI流程。将 SQL审核事宜前置到开发阶段能够减少后期SQL审核的压力。...SQLE Scanner 本质上是一个二进制命令行工具，该工具集成在 SQLE 内，可以在 SQLE 平台安装目录的 bin 下找到，具体的使用方式和命令行参数解释参考：https://actiontech.github.io
将 SQL 采集与SQL审核结合对数据库进行长期审核，目前支持Mybatis 扫描，慢日志，库表元数据，TopSQL ，应用程序 SQL 抓取（java应用）的场景审核。...应用开发阶段可以通过审核任务的 Mybatis 扫描类型的任务对应用代码做实时审核，Mybatis 扫描的审核任务需要通过 SQLE 提供的 Scanner 工具进行SQL采集并推送到 SQLE 进行SQL...因此在开发阶段也可以将SQL审核作为一个检查模块集成进CI流程。将 SQL审核事宜前置到开发阶段能够减少后期SQL审核的压力。...SQLE Scanner 本质上是一个二进制命令行工具，该工具集成在 SQLE 内，可以在 SQLE 平台安装目录的 bin 下找到，具体的使用方式和命令行参数解释参考：https://actiontech.github.io...本文关键字：#SQLE# #SQL审核# #事前审核#
1.2206.0-pre1 SQLE Release Notes SQL审核工具 SQLE 1.2206.0-pre1 于今天发布。以下对新版本的 Release Notes 进行详细解读。...文章主要分为以下三部分内容： 一、SQLE 项目介绍 二、新版本主要功能介绍 三、完整的release信息 一、SQLE 项目介绍 爱可生开源社区的 SQLE 是一款面向数据库使用者和管理者，支持多场景审核...，支持标准化上线流程，原生支持 MySQL 审核且数据库类型可扩展的 SQL 审核工具。...支持TIDB审核插件【企业版】 SQLE通过插件的形式支持TiDB的审核，我们调研了MySQL与TiDB的部分差异，在TiDB插件内引入了大部分MySQL的审核规则，并去掉TiDB不兼容的场景，使得SQLE...支持TiDB专属审核规则【企业版】 group by语句必须包含select列表中的所有非聚合列 检查 SQL需要遵守 'MySQL的ONLY_FULL_GROUP_BY' 模式；例如：select a
2.2307.0-pre2 SQLE Release Notes SQL 审核工具 SQLE 2.2307.0-pre2 于今天发布。以下对新版本的 Release Notes 进行详细解读。...，支持标准化上线流程，原生支持 MySQL 审核且数据库类型可扩展的 SQL 审核工具。...支持自定义审核规则 当用户根据业务需求需要创建新的审核规则时，可以使用平台的自定义规则功能。目前，用户可以在平台上通过正则表达式自定义 SQL 审核的规范，且新建的审核规则将作为全局资源使用。...调整了审核 SQL 和审核结果的页面布局，提升用户体验。 2. 增加了对 SQL 分析结果的展示，用户可以查看更完整的审核结果。...SQL 分析结果展示 [#1653] 支持自定义审核规则：正则匹配 优化： [#1627] 解决慢日志表扫描任务中，展示 SQL 语句报错的问题 社区版和企业版功能对比 详情页面：https://actiontech.github.io
最近完成了SQL审核功能的上线，发现用户体验上面还是存在一些问题，具体有以下几点： 1.关于字段注释的建议比较多，这些建议开发人员可能没有必要每个字段都进行注释； 2.有些SQL的建议太多，看到之后直接懵了...，不知道从哪儿下手； 3.有些任务比较紧急，SQL审核方面的任务太多，容易拖延实际工期； 针对以上问题，今天主要想的是按照一定的重要程度讲SQL审核结果进行分类，目前分为必须修改的错误SQL、警告...SQL以及待完善SQL，并且通过将不同的错误状态码按照一定映射关系映射到不同的审核等级上进行分类展示，这样可以高效的处理严重的问题，对于不严重的问题，则可以后续处理，让SQL审核模块更加试用。...今天的主要任务是将那些SQL审核的错误代码进行切分，利用代码进行前后端的分类、抽取、整理等工作，这里就不展示结果了，主要的成果将在这些任务完成之后进行集中展示。从而实现最终的功能。...今天就这么多，做的工作比较琐碎，改天整理一版出来作为最近SQL审核的最终成果。
1.2207.0-pre2 SQLE Release Notes SQL审核工具 SQLE 1.2207.0-pre2 于今天发布。以下对新版本的 Release Notes 进行详细解读。...，支持标准化上线流程，原生支持 MySQL 审核且数据库类型可扩展的 SQL 审核工具。...新增IDE（Jetbrains系列）审核插件 SQLE的该插件满足开发人员在开发阶段进行实时自助式的静态SQL审核，实现开发阶段审核上线等各个SQL开发阶段的SQL开发规范。...，即当某个存在问题的SQL被修复后SQLE是无法感知到的，依然会对该SQL进行审核。...因此对于智能扫描类的场景提供增量审核的模式，可以忽略到一段时间内不再出现的SQL，仅对某段时间以来的SQL进行审核。
在二月份发布的 1.2202.0 版本中： 改造了用户系统，新增用户组和操作权限； 增加对工单审核结果进行评分的功能； 增加审核任务，支持 MySQL 的库表结构、Oracle 的 TopSQL以及 Java...应用的 SQL 抓取和审核； 增加了 Db2 审核插件，支持 Db2 审核工单并上线； 新增了 37 条 MySQL 审核规则，如检查 DDL 是否创建了冗余的索引； 其他体验优化和 Bug 修复。...SQL 的自动采集和统计，用户可以在 SQLE 上通过语句池页面统览应用内的 SQL 的分类与统计，迅速掌握应用内 SQL 的情况； 支持手动或自动审核 SQL ，用户可以在审核报告中知晓应用的 SQL...，可以看到目前应用已经执行的 SQL ； 查看审核报告，用户可以通过审核任务的审核报告了解到应用的 SQL 是否符合预设审核规则以便及时作出调整。...开发人员和 DBA 可以通过「审核报告」、「审核任务的 SQL 语句池」等功能完全掌握应用内的 SQL 审核结果、执行情况以及统计信息，完成了从「开发」直至「上线」这一过程中的 SQL 质量管控。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
