为帮助开发者更好地了解和学习分布式数据库技术，2020年3月，腾讯云数据库、云加社区联合腾讯TEG数据库工作组特推出为期3个月的国产数据库专题线上技术沙龙《你想了解的国产数据库秘密，都在这！》，邀请数十位鹅厂资深数据库专家每周二和周四晚上在线深入解读TDSQL、CynosDB/CDB、TBase三款鹅厂自研数据库的核心架构、技术实现原理和最佳实践等。本文将带来直播回顾第四篇《亿级并发丝毫不虚，TDSQL-SQL引擎架构演进与查询实战》。
腾讯云数据库国产数据库专题线上技术沙龙正在火热进行中，3月19日唐颢的分享已经结束，没来得及参与的小伙伴不用担心，以下就是直播的视频和文字回顾。
今天分享的主题是TDSQL-SQL引擎架构的演进和查询优化实战。今天分享分为四章，分别是：TDSQL简介、SQL引擎简介、SQL引擎查询处理和最佳实践。
金融行业该如何在线替换金融核心场景数据库？在 TUG 陆金所企业行活动中，来自陆金所的数据架构 DBA 团队经理万霁春老师分享了陆金所的去 O 之路，以下内容整理自当天活动分享实录。
许春植（Luocs） （阿里巴巴高级数据库管理员,7年以上数据库运维管理经验，擅长MySQL、Oracle及MongoDB数据库，目前主要研究并建设MongoDB一套完整的运维体系） 编辑手记：感谢许春植授权独家转载其精华文章，也欢迎读者朋友向我们投稿。 MongoDB 是当前比较流行的文档型数据库，其拥有易使用、易扩展、功能丰富、性能卓越等特性。MongoDB 本身就拥有高可用及分区的解决方案，分别为副本集(Replica Set)和分片(sharding)，下面我们主要看这两个特性。 1. 副本
前两天朋友提了一个和SQL有关的问题，准确地说，是和字符串转换有关的，首先我们创建测试表，用模拟数据进行说明，
这是2023年纽约NYC MongoDB大会的第二期，这期的主题是在企业级别从RDBMS 迁移到 NoSQL.
信息是现代企业的重要资源，是企业运用科学管理、决策分析的基础。据统计，数据量每经过2-3年时间就会成倍增长，这些数据蕴含着巨大的商业价值，而企业所关注的通常只占总数据量的2%~4%左右。因此，企业仍然没有最大化地利用已存在的数据资源，以至于浪费了更多的时间和资金，也失去制定关键商业决策的最佳契机。
作者简介： 罗海雄 云和恩墨优化专家 ITPUB论坛数据库管理版版主，2012 ITPUB全国SQL大赛冠军得主，他还是资深的架构师和性能优化专家，对 SQL 优化和理解尤其深入；从开发到性能管理，他
-- 行转列 SELECT * from ( SELECT tt1.SAP_ID,TT1.dt,TT1.EFF from ( SELECT t1.SAP_ID,T1.DT,nvl(T2.EFFECTIVE,0) eff from ( SELECT A1.SAP_ID,mr.dt from (SELECT DISTINCT SAP_ID from DATA_EMP_ATTENDANCE) a1, (SELECT TO_DATE('2018-11-01','YYYY-MM-DD')+ROWNUM - 1 DT FROM DUAL CONNECT BY LEVEL <=(TO_DATE('2018-11-15','YYYY-MM-DD')-TO_DATE('2018-11-01','YYYY-MM-DD')+1)) mr ) t1 LEFT JOIN ( SELECT SAP_ID,BEGIN_DATE,1 effective from DATA_EMP_ATTENDANCE ) t2 ON T2.SAP_ID = T1.SAP_ID AND T2.BEGIN_DATE = T1.DT ORDER BY t1.dt DESC ) tt1 ) pivot (max(eff) for dt in (to_date('2018-11-05','yyyy-mm-dd') d1,to_date('2018-11-12','yyyy-mm-dd') d2,to_date('2018-11-12','yyyy-mm-dd') d3)); ```
爱因斯坦说过“耐心和恒心总会得到报酬的”，我也一直把这句话当做自己的座右铭，这句箴言在今年也彻底在“我”身上实现了。
和其他的关系型数据库一样， oracle 中也能进行一些隐式的数据转换，这对我们写 SQL 语句有 非常 用，我们可以不必麻烦地手动转化很多类型的字符。虽然前面我们介绍了一些使用例如to_char,to_date的函数进行强制转换的方法，但是隐式转换也还是不错的。 Orac
Oracle数据库中优化器（Optimizer）是SQL分析和执行的优化工具，是Oracle数据库中内置的一个核心模块。优化器的目的就是为了得到目标SQL的执行计划。Oracle数据库里的优化器又分为RBO（rule-Based Optimizer，基于规则的优化器）和CBO（Cost-Based Optimizer，基于成本的优化器）这两种类型。从Oracle 10g开始，Oracle数据库默认都是基于CBO的优化方式。
很多公司在考虑去O的时候，经常面临这样的问题—"对自己的数据库不够了解"，也不免有这样一些疑惑：
查询优化器（简称为优化器）是内置数据库软件，用于确定 SQL 语句访问请求数据的最有效方法。
Best Practice for Data migration from Oracleto Tidb
最近做查询时，写的一条查询语句用了两个IN，导致tuexdo服务积压了不少，用户没骂就不错了。最后经过技术经理的点拨，sql语句性能提升了大约10倍，主要用了表连接、建索引、exists。这才感叹SQL性能优化的重要性啊，网上搜了半天，找到一篇令我非常满意的日志，忍不住分享之：
DML（Data Manipulation Language，数据操作语言）：用于检索或者修改数据。
请看我上文十年风雨，一个普通程序员的成长之路（七）膨胀、骄傲，程序员转项目经理的原罪
超规模计算是一种计算体系结构，可以快速扩展或缩小，以满足对系统日益增长的需求。这种架构创新最初是由运行分布式站点的互联网巨头推动的，并已被大型云提供商采用。
抛开业务逻辑的因素，根据不同的版本、不同平台、不同停机时间需求，有不同的可选路径决定迁移方
“去O”，是近些年来一直很火的一个话题，随之也产生了各种疑惑，包括现有数据库评估、技术选型等。去O是项系统工程，需要做好充分的评估。本文通过自研工具，生成数据库画像，为去O评估提供一手数据，希望给大家带来借鉴。
编辑说明：《Oracle性能优化与诊断案例精选》出版以来，收到很多读者的来信和评论，我们会通过连载的形式将书中内容公布出来，希望书中内容能够帮助到更多的读者朋友们。 在今天的技术领域，DevOps已经成为最热门的话题之一，DevOps是开发和运维一体化的实践趋势，也是运维掌握一定的开发能力，推动和协助开发进行适应高效运维的渐进变革。 在我的技术生涯中，对Oracle数据库的接触最多，感受也最深。如果说要将最值得推荐的技能展示给大家，那么我想推荐的就是Oracle跟踪方法。事实上，通过跟踪能够实现的也正是不
原则一：注意WHERE子句中的连接顺序： ORACLE采用自下而上的顺序解析WHERE子句,根据这个原理,表之间的连接必须写在其他WHERE条件之前, 那些可以过滤掉最大数量记录的条件必须写在WHERE子句的末尾. 尤其是“主键ID=？”这样的条件。
最近，Oracle数据库优化器的产品经理 Nigel Bayliss 发布了一篇文档，介绍：Setting up the Oracle Optimizer for PoCs - 在PoC测试中优化器参数的设置和调节。优化器是 Oracle 数据库的核心组件，我们一起来看一看 12c 有哪些优化器的变化。
水平拆分的概念随着分布式数据库的推广已为大部分人熟知，分库分表、异构索引、小表广播、这些功能几乎是产品功能需求标配。然而有些客户使用分布式数据库后的体验不尽如意。本文尝试从数据的角度总结分布式数据的复制（replication）和分区（partition）技术原理和方案，其中分区也有称为分片（sharding），希望能引起读者一些思考，在分布式数据库选型中能注意这些细节的区别，选择适合业务的数据水平拆分方案。
同事问了个 MySQL 的问题，现象上确实诡异。大致意思是 SELECT 表的数据，WHERE 条件是 "a=0"，其中 a 字段是 VARCHAR 类型，该字段存在 NULL 以及包含字符的记录，但是并无 "0" 的记录，然后执行 SQL 返回的记录恰恰就是所有包含字符的记录。
2. 引用字符时应使用单引号。如：update testable set idcol=’abcd’。
数据库基础知识 1.什么是数据库。 MySQL 是最流行的关系型数据库管理系统，在WEB应用方面 MySQL 是最好的RDBMS(Relational Database Management System：关系数据库管理系统)应用软件之一。 数据库（Database）是按照数据结构来组织、存储和管理数据的仓库，每个数据库都有一个或多个不同的API用于创建，访问，管理，搜索和复制所保存的数据。 我们也可以将数据存储在文件中，但是在文件中读写数据速度相对较慢。所以，现在我们使用关系型数据库管理系统（RDB
数据库基础知识 1.什么是数据库。 MySQL 是最流行的关系型数据库管理系统，在WEB应用方面 MySQL 是最好的RDBMS(Relational Database Management System：关系数据库管理系统)应用软件之一。 数据库（Database）是按照数据结构来组织、存储和管理数据的仓库，每个数据库都有一个或多个不同的API用于创建，访问，管理，搜索和复制所保存的数据。 我们也可以将数据存储在文件中，但是在文件中读写数据速度相对较慢。所以，现在我们使用关系型数据库管理系统
首先需要对Oracle和PostgreSQL的SQL都比较熟悉。对其理解的越详细就越具有优势，本文帮助读者迅速理解这两类SQL的区别是什么。
上一篇文章《一个执行计划异常变更的案例 - 前传》(http://blog.csdn.net/bisal/article/details/53750586)，介绍了一次执行计划异常变更的案例现象，这两天经过运行同事，以及罗大师的介绍，基本了解了其中的原因和处理方法，这个案例其实比较典型，涉及的知识点很多，有数据库新特性，有SQL相关的，还有应用数据质量问题，对于大师来说，是信手拈来的一次问题排查和处理，但至少对我这个仍旧艰难前行的初学者来说，值得回味的地方很丰富，所以有必要针对其中涉及的知识点做一下梳理，其中一些知识我之前了解的并不全面和深入，就自身来讲，整理学习一次，也是对自己的锻炼。
计算时间差是oracle data数据类型的一个常见问题。oracle支持日期计算，你可以创建诸如“日期1－日期2”这样的表达式来计算这两个日期之间的时间差。 一旦你发现了时间差异，你可以使用简单的技巧来以天、小时、分钟或者秒为单位来计算时间差。为了得到数据差，你必须选择合适的时间度量单位，这样就可以进行数据格式隐藏。 使用完善复杂的转换函数来转换日期是一个诱惑，但是你会发现这不是最好的解决方法。 round(to_number(end-date-start_date))- 消逝的时间（以天为单
杨廷琨，网名 yangtingkun 云和恩墨技术总监，Oracle ACE Director，ACOUG 核心专家 用SQL为解析一道数学题 ---- Oracle的SQL语句功能强大，它可以实现一些你意想不到的功能。比如下面这个数学问题，如果使用常规的数学方法进行手工分析将会十分麻烦，而使用SQL来求解则要简单得多。且看杨廷琨用一个SQL解析一道数学难题。 问题提出 这是一个流传已久的故事： Gauss和Poincare在天堂相遇了，上帝说：你们都是人间最伟大的数学家，那我来出道题考考你们谁更聪明
编辑手记：在Oracle数据库中，版本变化带来的一大挑战就是SQL执行计划的稳定性，为此Oracle经历了从Outline到Profile的特性演进，本文带大家一起来了解一下Profile的特性和使用。 SQL Profiles 是 Oracle 10g 引入的一项新特性，并且在11g中被广泛的使用，其核心功能可以说是 Outlines 的进化。Outlines 能够实现的功能 SQL Profiles 也完全能够实现，而 SQL Profiles 具有 Outlines 不具备的优化，个人认为最重要的有2
序言：优化器是Oracle数据库最引人入胜的部件之一，因为它对每一个SQL语句的处理都必不可少。优化器为每个SQL语句确定最有效的执行计划，这是基于给定的查询的结构，可用的关于底层对象的统计信息，以及所有与优化器和执行相关的特性。 本文来自Oracle 白皮书翻译（译者：苏旭辉 newkid），介绍了在Oracle数据库12c第二版中与优化器和统计信息相关的所有新特性并且提供了简单的，可再现的例子，使得你能够更容易地熟悉它们，尤其是当你从早先的版本进行迁移的时候。它还概括了已有的功能是如何被增强以改善性能
MyBatis 是一款优秀的持久层框架，一个半 ORM（对象关系映射）框架，它支持定制化 SQL、存储过程以及高级映射。
关于sql解析的一些概述： 因为最近在研究如何将oracle的sql语句迁移到hive上去，前期是准备写一些udf函数去弥补hive缺失oracle函数的遗憾， 其次会使用python开始开发一套轮子去实现转换。目前是实现了DDL建表语句的迁移，之后会慢慢不上DML的迁移。 目前的整体架构和一般的sql解析引擎无异，有如下几个部分： Catalog：这部分相当于字典表，使用了pyhs2去检查hive是否存在这张表，后续的话，应该也会利用pyhs2直接建表。 DDL_parser:现在只是实现了建表语句的互换 sql_parser:打算是正常的select语句，不支持insert语句。解析关键字，生成一棵树。主要是对oracle语句和hive语句的join做出处理，变成一个逻辑执行计划。 analyzer:将逻辑执行计划，重新组装成hive sql语句。 具体细节如下： 逻辑执行计划主要是树的数据结构，分为三种节点： 一元节点：主要是存放Project,Sort,Limit,Filter这四种操作。一个子节点 二元节点:主要是Except(也就是类似于not in),Intersect(也就是join，这里目测实现难度会最大)，两个子节点 parser的设计： 对于传入的语句将\r\n\t这些都替换为空格，设为空格标识符。 对sql语句进行拆分，会使用stack的结构，处理子查询。 DDL的解析：对create和table进行匹配，create table设为DDL标识符。表名就是identifier,再就是匹配括号，将括号里面的语句进行处理转换成hive的语句。 其中特别提到的是数据类型的转换，通常来讲是会全部转成string类型，number会转成decimal类型。 sql_parser：会对里面的函数进行匹配，使用字典的形式去匹配，赋值相应的标识符。将相应的字段名，处理到keyword的执行计划中，放入树中。会处理oracle的一些特殊表示连接 的方式 analyzer:目前再将sql_parser的数再拼接回来，将oracle简写的sql语句变成hive的。
在Oracle中，SPM（SQL Plan Management，SQL计划管理）是什么？
关于内存的配置，是最影响 Oracle性能的配置。内存还直接影响到其他两个重要资源的消耗： CPU 和 IO.
In-Memory 是 Oracle 在 12.1.0.2 中引入的新特性，旨在加速分析型 SQL 的速度。传统的 OLTP 应用通过 buffer cache 修改数据，分析性的 SQL 从 IM 列式存储中扫描数据，避免物理读成为性能瓶颈。 列式存储表达式 内存中列存储允许以压缩的列格式将对象（表，分区和子分区）填充到内存中。 内存表达式使经常评估的查询表达式能够在内存中列存储中实现，以供后续重用。 将经常使用的查询表达式的实现值填充到内存中列存储中大大减少了执行查询所需的系统资源，并提供更高的可扩展性
我最初是一个Oracle开发者，我喜欢它的结构化查询语言，一年后，我意识到SQL并非Oracle的专有。 作为70年代Sequel标准的一个分支，SQL走向成熟并且成为全世界数据库用户广泛应用的语言。其一是因为SQL简单（基于英语词汇），同 时它又能解决很多复杂的问题。SQL是当代最容易学习和使用的语言之一。ANSI-SQL标准几乎被所有主流关系型数据库所接受，如Oracle,DB2 和SQL Server，当客户决定从一个数据库迁移到另一个时，它极大地提高了可移植性。 在接触ETL工具前，将近五年的时间
2019数据技术嘉年华于11月16日在京落下了帷幕。大会历时两天，来自全国各地上千名学术精英、数据库领袖人物、数据库专家、技术爱好者在这里汇聚一堂，围绕“开源 • 智能 • 云数据 － 自主驱动发展 创新引领未来”的大会主题，共享"开源自研，云和数据，智能运维，智能业务，数据前沿，用户实践"六大主题盛宴。
在Oracle 10g中，CBO 可选的运行模式有2种： （1） FIRST_ROWS(n) （2） ALL_ROWS – 10g中的默认值
SQL优化技巧 1.选择最有效率的表名顺序(只在基于规则的优化器中有效): oracle的解析器按照从右到左的顺序处理 from 子句中的表名，from子句中写在最后的表(基础表 driving table)将被最先处理，在 from 子句中包含多个表的情况下, 你必须选择记录条数最少的表作为基础表。如果有 3 个以上的表连接查询, 那就需 要选择交叉表(intersection table)作为基础表, 交叉表是指那个被其他表所引用的表. 2.where子句中的连接顺序:
（1） 选择最有效率的表名顺序(只在基于规则的优化器中有效)： ORACLE的解析器按照从右到左的顺序处理FROM子句中的表名，FROM子句中写在最后的表(基础表 driving table)将被最先处理，在FROM子句中包含多个表的情况下,你必须选择记录条数最少的表作为基础表。如果有3个以上的表连接查询, 那就需要选择交叉表(intersection table)作为基础表, 交叉表是指那个被其他表所引用的表. （2） WHERE子句中的连接顺序．： ORACLE采用自下而上
Oracle 20c 提供了文件组模板新特性。如果没有文件组模板，则要更改自动创建的文件组的属性，则在创建关联文件后必须手动更改属性，这会触发不必要的重新平衡。文件组模板功能提供了更好的选择。
最近遇到一个oracle错误，之前并没有遇到过，并不是select in超过1000个导致的，通过网上资料说是oracle版本导致，也有的说是oracle SQL过长导致。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
