首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

记一次pgsql数据库cpu较高的事故

接了一个小需求,是将一些用户操作记录入到我们的数据库中。观察到入库的接口平均响应时间比较差大概在几秒左右,当时没多想,就觉得是先查询是否存在,再插入这个过程中查询是否存在比较耗时(因为操作记录表比较大),但是后面发现有10%,20%的入库接口响应时间甚至达到了十秒,并且pgsql数据库cpu变高了很多,波段性的高峰存在。老样子,先查询是否存在慢sql,耗时3秒以上的sql查询load出来后发现原来是查询是否存在的这个过程出了问题。我是通过一个联合索引来查询是否存在的,他们分别是(公司id,店铺id,xxid),通过explain该sql语句发现并没有走这个联合索引,而是走了(公司id,店铺id)这个索引。而这个索引扫出来的结果并没有区分度,因为一个公司的某一个店铺可以有很多的操作记录。让我们来思考一下联合索引的定义,它满足最左前缀匹配原则,mysql的查询优化器会自动将你代码中乱序的查询条件组装成联合索引去查询,进而通过联合索引来计算查询成本。但是最左前缀匹配原则是要求越有区分度的字段应该放在左边,我误以为sql的查询优化会自动帮我把联合索引的区分度字段往左边移动。这次事故的原因主要是因为我对最左前缀匹配原则理解的不深刻,下次应该尽可能的将具有区分度的字段放在联合索引的左边。

04

OushuDB-PL 过程语言-PL/pgSQL - SQL过程语言

OushuDB兼容PostgreSQL,允许使用除了 SQL 和 C 之外的其他语言编写用户定义的函数。这些其他的 语言通常被称作过程语言(Procedural Language, PL)。对于一个用过程语言编写的函数,数据库服务 器没有关于如何解释该函数的源文本的内建知识。因此,这个任务被交给一个了解语言细节的特殊处理 器。该处理器能够自己处理所有的解析、语法分析、执行工作,或者它可以作为一种PostgreSQL和编程 语言既有实现之间的“粘合剂”。就像任何其他 C 函数一样,处理器本身是一个编译到共享对象并且按需 载入的 C 语言函数。 在OushuDB的标准发布中当前有四种过程语言可用: PL/pgSQL、 PL/Perl、 PL/Python以及 PL/Java, 其中PL/pgSQL是默认安装可用的。 另外还有其他过程语言可用,但是它们没有被包括在核心发布中, 如PL/R等,我们可以在第三方开源网站来获取它们的源码。 接下来我们主要看一下 PL/pgSQL - SQL过程语言。 PL/pgSQL - SQL过程语言 PL/pgSQL 是 PostgreSQL 数据库系统的一个可加载的过程语言,它的设计目标是创建一种可加载的过 程语言,可以: 用于创建函数和触发器过程 为 SQL 语言增加控制结构 执行复杂的计算 继承所有用户定义类型、函数、操作符 定义为被服务器信任的语言 容易使用 除了用于用户定义类型的输入/输出转换和计算函数以外,任何可以在 C 语言函数里定义的东西都可以在 PL/pgSQL 里使用。比如,可以创建复杂的条件计算函数,并随后将之用于定义操作符或者用于函数索 引中。 一、概述: PL/pgSQL函数在第一次被调用时,其函数内的源代码(文本)将被解析为二进制指令树,但是函数内的表 达式和SQL命令只有在首次用到它们的时候,PL/pgSQL解释器才会为其创建一个准备好的执行规划,随 后对该表达式或SQL命令的访问都将使用该规划。如果在一个条件语句中,有部分SQL命令或表达式没 有被用到,那么PL/pgSQL解释器在本次调用中将不会为其准备执行规划,这样的好处是可以有效地减少 为PL/pgSQL函数里的语句生成分析和执行规划的总时间,然而缺点是某些表达式或SQL命令中的错误只 有在其被执行到的时候才能发现。 由于PL/pgSQL在函数里为一个命令制定了执行计划,那么在本次会话中该计划将会被反复使用,这样做 往往可以得到更好的性能,但是如果你动态修改了相关的数据库对象,那么就有可能产生问题,如:

01

Postgresql动态SQL

PostgreSQL支持动态SQL,以PL/Pgsql为例,语法如下: EXECUTE command-string [ INTO [STRICT] target ] [ USING expression [, … ] ]; 上式中的可选项target表示a record variable, a row variable, or a comma-separated list of simple variables and record/row fields。如果要返回结果集,那么需要用到RETURN QUERY的一个变形:RETURN QUERY EXECUTE command-string [ USING expression [, … ] ]; 参数表达式可以通过USING插入到计算查询字符串中,以EXECUTE命令的同样方式。 PostgreSQL也提供了一些字符串处理函数,可以更方便地拼接字符串。 quote_ident:Return the given string suitably quoted to be used as an identifier in an SQL statement string。根据sql语句返回给定的标识符,字符串是表名列名等标识数据库对象时候有用 quote_literal:Return the given string suitably quoted to be used as a string literal in an SQL statement string.对特殊字符进行转义。 quote_nullable:当传入参数可能为null时,可使用quote_nullable,而不是quote_literal。前者返回字符串格式的’Null’,后者返回的就是Null。pg中所有东西与null比较返回的都是null。 format:EXECUTE format(‘UPDATE tbl SET %I = %L WHERE key = %L’, colname, newvalue, keyvalue); or EXECUTE format(‘UPDATE tbl SET %I = 1 WHEREkey=2’, colname) USING newvalue, keyvalue; 后者更有效率,因为关键词比较时不会出现隐式转换。注意format的格式化类型字符s, I, L. 分别表示字符串, identified, 和literal(注意s、L不要搞反了)。示例: CREATE OR REPLACE FUNCTION func_get_merchandises(     keyword text,     isinland boolean,     startindex integer DEFAULT 0,     takecount integer DEFAULT 20,     sortfield text DEFAULT ‘MerchandiseName’::text,     sortorder text DEFAULT ‘asc’::text)   RETURNS SETOF “Merchandises” AS $BODY$ begin         return query EXECUTE      format(‘select m.* from “Merchandises” m         where m.tsv @@ plainto_tsquery($1) and m.”IsInland”=$2     order by %I %s limit $3 offset $4′,sortfield,sortorder) using keyword,isinland,takecount,startindex; end $BODY$

01

OushuDB-PL 过程语言-基本语句

\1. 赋值: PL/pgSQL中赋值语句的形式为:identIFier := expression,等号两端的变量和表达式的类型或者一致, 或者可以通过PostgreSQL的转换规则进行转换,否则将会导致运行时错误,见如下示例: \2. SELECT INTO: 通过该语句可以为记录变量或行类型变量进行赋值,其表现形式为:SELECT INTO target select_expressions FROM ...,该赋值方式一次只能赋值一个变量。表达式中的target可以表示为是一个 记录变量、行变量,或者是一组用逗号分隔的简单变量和记录/行字段的列表。select_expressions以及 剩余部分和普通SQL一样。 如果将一行或者一个变量列表用做目标,那么选出的数值必需精确匹配目标的结构,否则就会产生运行 时错误。如果目标是一个记录变量,那么它自动将自己构造成命令结果列的行类型。如果命令返回零 行,目标被赋予空值。如果命令返回多行,那么将只有第一行被赋予目标,其它行将被忽略。在执行 SELECT INTO语句之后,可以通过检查内置变量FOUND来判断本次赋值是否成功,如: name RECORD; user_id := 20;

02

OushuDB-PL 过程语言-控制结构

\1. 函数返回: 1). RETURN expression 该表达式用于终止当前的函数,然后再将expression的值返回给调用者。如果返回简单类型,那么可以 使用任何表达式,同时表达式的类型也将被自动转换成函数的返回类型,就像我们在赋值中描述的那 样。如果要返回一个复合类型的数值,则必须让表达式返回记录或者匹配的行变量。 2). RETURN NEXT expression 如果PL/pgSQL函数声明为返回SETOF sometype,其行记录是通过RETURN NEXT命令进行填充的,直 到执行到不带参数的RETURN时才表示该函数结束。因此对于RETURN NEXT而言,它实际上并不从函数 中返回,只是简单地把表达式的值保存起来,然后继续执行PL/pgSQL函数里的下一条语句。随着 RETURN NEXT命令的迭代执行,结果集最终被建立起来。该类函数的调用方式如下: SELECT * FROM some_func(); 它被放在FROM子句中作为数据源使用。最后需要指出的是,如果结果集数量很大,那么通过该种方式 来构建结果集将会导致极大的性能损失。 \2. 条件: 在PL/pgSQL中有以下三种形式的条件语句。 1). IF-THEN 2). IF-THEN-ELSE IF boolean-expression THEN

02
领券