Postgres jsonb查询动态值
在users表中，我有一个具有以下json结构的jsob列experience：
[
{
"field": "devops",
"years": 9
},
{
"field": "backend dev",
"years": 7
}
... // could be N number of objects with different values
]业务需求
客户可以要求在任何领域都有经验的人，并有各自的工作经验。
这是一个示例查询
SELECT * FROM users
WHERE
jsonb_path_exists(experience, '$[*] ? (@.field == "devops" && @.years > 5)') and
jsonb_path_exists(experience, '$[*] ? (@.field == "backend dev" && @.years > 5)')
LIMIT 3;问题
让我说如果我收到请求
[
{ field: "devops", years: 5 },
{ field: "java", years: 6 },
{ field: "ui/ux", years: 2 }] // and so on如何动态创建查询而不必担心sql注入？
技术栈
- Nodejs
- 打字本
- TypeORM
- 波斯特格斯
回答 2
Stack Overflow用户
发布于 2021-10-26 23:32:43
索引
首先，您希望索引支持。我建议使用一个jsonb_path_ops索引，如：
CREATE INDEX users_experience_gin_idx ON users USING gin (experience jsonb_path_ops);请参见：
查询
以及可以访问该索引的查询 (100 %等效于原始索引)：
SELECT *
FROM users
WHERE experience @? '$[*] ? (@.field == "devops" && @.years > 5 )'
AND experience @? '$[*] ? (@.field == "backend dev" && @.years > 5)'
LIMIT 3;需要Postgres 12或更高版本，其中添加了SQL/JSON路径语言。
索引支持绑定到Postgres中的运算符。@?相当于jsonb_path_exists()。请参见：
动态生成查询
SELECT 'SELECT * FROM users
WHERE experience @? '
|| string_agg(quote_nullable(format('$[*] ? (@.field == %s && @.years > %s)'
, f->'field'
, f->'years')) || '::jsonpath'
, E'\nAND experience @? ')
|| E'\nLIMIT 3'
FROM jsonb_array_elements('[{"field": "devops", "years": 5 },
{"field": "java", "years": 6 },
{"field": "ui/ux", "years": 2 }]') f;生成上述表单的查询：
SELECT * FROM users
WHERE experience @? '$[*] ? (@.field == "devops" && @.years > 5)'::jsonpath
AND experience @? '$[*] ? (@.field == "java" && @.years > 6)'::jsonpath
AND experience @? '$[*] ? (@.field == "ui/ux" && @.years > 2)'::jsonpath
LIMIT 3;全自动化
如何动态创建查询而不必担心sql注入？
将上述查询生成放入PL/pgSQL函数中动态执行：
CREATE OR REPLACE FUNCTION f_users_with_experience(_filter_arr jsonb, _limit int = 3)
RETURNS SETOF users
LANGUAGE plpgsql PARALLEL SAFE STABLE STRICT AS
$func$
DECLARE
_sql text;
BEGIN
-- assert (you may want to be stricter?)
IF jsonb_path_exists (_filter_arr, '$[*] ? (!exists(@.field) || !exists(@.years))') THEN
RAISE EXCEPTION 'Parameter $2 (_filter_arr) must be a JSON array with keys "field" and "years" in every object. Invalid input was: >>%<<', _filter_arr;
END IF;
-- generate query string
SELECT INTO _sql
'SELECT * FROM users
WHERE experience @? '
|| string_agg(quote_nullable(format('$[*] ? (@.field == %s && @.years > %s)'
, f->'field'
, f->'years'))
, E'\nAND experience @? ')
|| E'\nLIMIT ' || _limit
FROM jsonb_array_elements(_filter_arr) f;
-- execute
IF _sql IS NULL THEN
RAISE EXCEPTION 'SQL statement is NULL. Should not occur!';
ELSE
-- RAISE NOTICE '%', _sql; -- debug first if in doubt
RETURN QUERY EXECUTE _sql;
END IF;
END
$func$;呼叫：
SELECT * FROM f_users_with_experience('[{"field": "devops", "years": 5 },
, {"field": "backend dev", "years": 6}]');或者使用不同的LIMIT
SELECT * FROM f_users_with_experience('[{"field": "devops", "years": 5 }]', 123);db<>fiddle https://dbfiddle.uk/?rdbms=postgres_13&fiddle=2e4335ef717b220425476e7ccddca6bf
您应该习惯于使用PL/pgSQL来处理并理解它。
SQL注入是不可能的，因为。
- 有效的JSON输入被强制执行
- JSON值与原始JSON双引号连接在一起。
- 最重要的是，每个生成的
jsonpath值都是用quote_nullable()单引号引用的。
在讨论SQL/JSON路径表达式时，我使用其中一个来断言有效的输入：
jsonb_path_exists (_filter_arr, '$[*] ? (!exists(@.field) || !exists(@.years))')检查JSON数组中的每个对象，以及是否缺少两个必需键(field、years)之一。
Stack Overflow用户
发布于 2021-10-26 19:02:07
这是一个参数化查询，因此或多或少是注入安全的。qualifies标量子查询计算experience是否满足所有请求项。参数是$1 (请求参数的jsonb数组)和$2 (极限值)。您可能需要根据环境的不同来更改它们的语法。
select t.* from
(
select u.*,
(
select count(*) = jsonb_array_length($1)
from jsonb_array_elements(u.experience) ej -- jsonb list of experiences
inner join jsonb_array_elements($1) rj -- jsonb list of request items
on ej ->> 'field' = rj ->> 'field'
and (ej ->> 'years')::numeric >= (rj ->> 'years')::numeric
) as qualifies
from users as u
) as t
where t.qualifies
limit $2;关于的一些解释
qualifies子查询的逻辑是:首先将experience‘正常化’并请求jsonb数组为‘table’，然后在目标条件下(在本例中为field_a = field_b and years_a >= years_b )内连接它们，并计算它们匹配的数量。如果计数等于请求项的数量(即count(*) = jsonb_array_length($1))，那么所有这些项都满足，因此experience有资格。
因此，不需要动态SQL。我认为这种方法也可能是可重用的。
https://stackoverflow.com/questions/69727991
复制相似问题
腾讯云开发者
