前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >专栏 >SpringBoot + QueryDSL 大大简化复杂查询操作

SpringBoot + QueryDSL 大大简化复杂查询操作

作者头像
程序猿DD
发布于 2022-05-25 05:19:06
发布于 2022-05-25 05:19:06
1.7K00
代码可运行
举报
文章被收录于专栏:程序猿DD程序猿DD
运行总次数:0
代码可运行

概述

本篇博客主要将介绍的是利用spring query dsl框架实现的服务端查询解析和实现介绍。

查询功能是在各种应用程序里面都有应用,且非常重要的功能。用户直接使用的查询功能往往是在我们做好的UI界面上进行查询,UI会将查询请求发给查询实现的服务器,或者专门负责实现查询的一个组件。市场上有专门做查询的框架,其中比较出名,应用也比较广泛的是elasticsearch

定义查询请求

对于服务端来说,前端UI发送过来的查询请求必然是按一定规则组织起来的,这样的规则后端必须能够支持和解析。换一种说法就是服务调用者和服务发布者之间需要遵循同一个规范才可以。百度的UI查询是这样定义的:

图片

在上图中加了蓝色下划线的地方即为我们在百度当中搜索的字符串内容,可以发现,百度的实现是将搜索的内容当做了http请求的url的参数来处理的,用了一个q作为key,q后面的内容就是所查询的内容。

google的实现是类似的,如下图所示:

图片

对于google和百度这样的只有一个搜索框的查询界面,这样处理是比较合理的,也不是整个查询实现最关键的部分。更为关键的是后续服务器将这个查询内容进行了怎样的处理。对于别的一些产品来说,可能需要对某些关键字进行单独的查询,这个时候肯定就不是一个搜索框能个满足的需求了。

总的来说,我们可以有如下的方式来组织一个查询

google-like查询

这种查询典型的应用是一个查询框,什么都可以查的情形,例如google和百度。对于这样的查询需求来说,在构建查询请求时只需将查询的内容放在http请求的的参数里面即可。

这样的查询解析是非常方便的,难度和需要考虑得事情在于要讲查询的内容放到哪些地方去查询。从数据库的层面来说就是要去哪些数据库的哪些表去查询。

特定字段的类sql查询

这种查询是指定某个字段,然后采用类似于sql语句的写法进行查询,各种查询条件以一定的形式组织在一起,发给服务器进行解析。这样的查询对服务器解析查询的能力要求更高,它提供了一些更加具体的查询条件。

例如我们以冒号表示等于,则一个查询字符串的形式是:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
name:bill

这个查询的意思就是查询名字name等于bill的记录。

我们也可以将多个条件拼接在一起,让他们直接用逻辑关系组合在一起,例如或者和并且的逻辑关系。例如:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
name:bill AND city:LA

或者下面这种或者的关系:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
name:bill OR city:LA

上面的查询语句意味着我们的前后台要定义一套自己的查询逻辑和架构,并且解析它,并将它转换为正确的查询。若我们想实现灵活的查询,则上面的查询语句在符合规则的前提下应当是可以自由组合的。怎么做取决于我们的实际需求。如果一个写死的查询关键字就能满足我们的需求,则在当前那个时期自然也是合理的。

但是从灵活性角度,技术角度,实现成灵活的可解析的,显然是我们更想要的功能。最灵活的当然就是sql语句能支持怎样的查询,我们都能支持对应的查询写法,但是这对服务器的解析逻辑就有了更加高的要求,尤其是当主表子表混在一起查询之后,会更加复杂

我们创建了一个高质量的技术交流群,与优秀的人在一起,自己也会优秀起来,赶紧点击加群,享受一起成长的快乐。另外,如果你最近想跳槽的话,年前我花了2周时间收集了一波大厂面经,节后准备跳槽的可以点击这里领取

使用Spring Data Querydsl

什么是Querydsl呢?Querydsl是一个框架,它可以通过它提供的的API帮助我们构建静态类型的SQL-like查询,也就是在上面我们提到的组织查询方式。可以通过诸如Querydsl之类的流畅API构造查询。

Querydsl是出于以类型安全的方式维护HQL查询的需要而诞生的。 HQL查询的增量构造需要String连接,这导致难以阅读的代码。通过纯字符串对域类型和属性的不安全引用是基于字符串的HQL构造的另一个问题。

随着域模型的不断变化,类型安全性在软件开发中带来了巨大的好处。域更改直接反映在查询中,而查询构造中的自动完成功能使查询构造更快,更安全。

用于Hibernate的HQL是Querydsl的第一个目标语言,如今querydsl支持JPA,JDO,JDBC,Lucene,Hibernate Search,MongoDB,Collections和RDFBean作为它的后端。

其官方网站在这里:http://querydsl.com/

Querydsl和spring有什么关系呢?几个Spring Data的模块通过QuerydslPredicateExecutor提供了与Querydsl的集成,如以下示例所示:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
public interface QuerydslPredicateExecutor<T> {
//查找并返回与Predicate匹配的单个entity。
  Optional<T> findById(Predicate predicate);  
//查找并返回与Predicate匹配的所有entity
  Iterable<T> findAll(Predicate predicate);   
//返回与Predicate匹配的数量。
  long count(Predicate predicate);            
//返回是否存在与Predicate匹配的entity。
  boolean exists(Predicate predicate);        
 
  // … more functionality omitted.
}

Predicate就是我们需要传入的一个查询的抽象。

在spring当中使用Querydsl,只需要在spring的repository接口继承QuerydslPredicateExecutor,如以下示例所示:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
interface UserRepository extends CrudRepository<User, Long>, QuerydslPredicateExecutor<User> {
}

在定义了上面的这个接口之后,我们就可以使用Querydsl Predicate编写type-safe的查询,如以下示例所示:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
Predicate predicate = user.firstname.equals("dave")
 .and(user.lastname.startsWith("mathews"));
 
userRepository.findAll(predicate);

上面的代码构建出的predicate体现在sql语句里的话就是这样的: where firstname = 'dave' and lastname ='mathews%'。这就是所谓的类sql的查询,用起来非常的直观。

因此,我们可以将我们接收到的查询请求,转化为对应的predicte,且从技术上讲,只要predict支持的查询拼接我们都能支持,难点只在于如何解析查询请求,以及如何将他们转换为对应的predicate.

速领:神作《凤凰架构:构建可靠的大型分布式系统》电子版

利用Spring Query DSL实现动态查询

下面是使用spring和Querydsl实现动态查询的一个例子.

现在假设我们有Model类如下:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
public class Student {
 
    private String id;
 
    private String gender;
 
    private String firstName;
 
    private String lastName;
 
    private Date createdAt;
  
    private Boolean isGraduated;
 
}

我们希望可以实现该类所有字段直接自由组合进行查询,且可以按照与和或的逻辑进行查询。且我们约定用冒号表示等于,例如:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
firstname:li AND lastname:hua
 
firstname:li OR lastname:hua
 
firstname:li AND lastname:hua AND gender:male

上面的查询都比较清晰,解析不会有太大难度,下面我们来看这样一个查询:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
firstname:li OR lastname:hua AND gender:male

这个查询的问题在于作为逻辑与的gender查询,到底是只和前面一个条件进行与操作,还是与前面两个条件一起进行一个与操作,显然与的条件往往是作为filter的功能出现的。

因此我们应当将其看作整个其他条件的与操作,因此我们需要先将前面的条在组合在一起,例如,我们可以使用括号表示这个逻辑,那么查询就会变成:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
(firstname:li AND lastname:hua) AND gender:male

这下逻辑就变得清晰了,难题就在于怎么解析了

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
public class QueryAnalysis{
    private static final String EMPTY_STRING = "";
 
    private static final String BLANK_STRING = " ";
 
    private static final String COLON = ":";
 
    private static final String BP_CATEGORY_CODE = "categoryCode";
 
    private static final String OPEN_PARENTTHESIS = "(";
 
    private static final String CLOSE_PARENTTHESIS = ")";
 
    private static final String QUERY_REGEX = "([\\w.]+?)(:|<|>|!:)([^ ]*)";
    //it has to lie between two blanks
    private static final String QUERY_LOGIC_AND = " AND ";
 
    private void generateQueryBuilderWithQueryString(PredicateBuilder builder, String q,
            List<String> queryStringList) {
        StringBuilder stringBuilder = new StringBuilder();
        String queryTerm = q;
        if (q == null) {
            return;
        }
 
        if (!q.contains(" AND ") && !q.startsWith("(") && !q.endsWith(")")) {
            queryTerm = stringBuilder.append("(").append(q).append(")").toString();
        }
 
        Map<String, Matcher> matcherMap = getMatcherWithQueryStr(queryTerm);
        Matcher matcherOr = matcherMap.get("matcherOr");
        Matcher matcherAnd = matcherMap.get("matcherAnd");
 
        while (matcherOr.find()) {
      
            builder.withOr(matcherOr.group(1), matcherOr.group(2), matcherOr.group(3));
        }
        while (matcherAnd.find()) {
 
            builder.withAnd(matcherAnd.group(1), matcherAnd.group(2), matcherAnd.group(3));
            isSearchParameterValid = true;
        }
   }
 
    private static Map<String, Matcher> getMatcherWithQueryStr(String q) {
        StringBuilder stringBuilder = new StringBuilder();
        Pattern pattern = Pattern.compile(QUERY_REGEX);
        // inside the subString is "or",outside them are "and"
        String[] queryStringArraySplitByAnd = q.split(QUERY_LOGIC_AND);
        String queryStringOr = EMPTY_STRING;
        String queryStringAnd = EMPTY_STRING;
        for (String string : queryStringArraySplitByAnd) {
            if (string.trim().startsWith(OPEN_PARENTTHESIS) && string.trim().endsWith(CLOSE_PARENTTHESIS)) {
                //only support one OR sentence
                queryStringOr = string.trim().substring(1,string.length()-1);
            } else {
                queryStringAnd = stringBuilder.append(string).append(BLANK_STRING).toString();
            }
        }
 
        String queryStringAndTrim = queryStringAnd.trim();
        if(queryStringAndTrim.startsWith(OPEN_PARENTTHESIS) && queryStringAndTrim.endsWith(CLOSE_PARENTTHESIS)){
            queryStringAnd = queryStringAndTrim.substring(1,queryStringAndTrim.length()-1);
        }
 
        Matcher matcherOr = pattern.matcher(queryStringOr);
        Matcher matcherAnd = pattern.matcher(queryStringAnd);
 
        Map<String, Matcher> matcherMap = new ConcurrentHashMap<>();
        matcherMap.put("matcherOr", matcherOr);
        matcherMap.put("matcherAnd", matcherAnd);
        return matcherMap;
    }
}

Predicate的逻辑如下:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
import java.util.ArrayList;
import java.util.List;
 
import com.querydsl.core.types.dsl.BooleanExpression;
 
/**
 * This class is mainly used to classify all the query parameters
 */
public class PredicateBuilder {
 
    private static final String BLANK_STRING = " ";
 
    private static final String TILDE_STRING = "~~";
 
    private List<SearchCriteria> paramsOr;
 
    private List<SearchCriteria> paramsAnd;
 
    private BusinessPartnerMessageProvider messageProvider;
    
    public PredicateBuilder(BusinessPartnerMessageProvider messageProvider){
        paramsOr = new ArrayList<>();
        paramsAnd = new ArrayList<>();
    }
 
    public PredicateBuilder withOr(
            String key, String operation, Object value) {
        String keyAfterConverted = keyConverter(key);
        Object valueAfterConverted = value.toString().replaceAll(TILDE_STRING,BLANK_STRING).trim();
        paramsOr.add(new SearchCriteria(keyAfterConverted, operation, valueAfterConverted));
        return this;
    }
 
    public PredicateBuilder withAnd(
            String key, String operation, Object value) {
        String keyAfterConverted = keyConverter(key);
        Object valueAfterConverted = value.toString().replaceAll(TILDE_STRING,BLANK_STRING).trim();
        paramsAnd.add(new SearchCriteria(keyAfterConverted, operation, valueAfterConverted));
        return this;
    }
 
    protected String keyConverter(String key){
        return key;
    }
 
    public BooleanExpression buildOr(Class classType) {
        
        return handleBPBooleanExpressionOr(classType);
    }
 
    public BooleanExpression buildAnd(Class classType) {
 
        return handleBPBooleanExpressionAnd(classType);
    }
 
 
    private BooleanExpression handleBPBooleanExpressionOr(Class classType) {
 
        if (paramsOr.isEmpty()) {
            return null;
        }
        return buildBooleanExpressionOr(paramsOr, classType);
 
    }
 
    private BooleanExpression handleBPBooleanExpressionAnd(Class classType) {
        if (paramsAnd.isEmpty()) {
            return null;
        }
        return buildBooleanExpressionAnd(paramsAnd, classType);
 
    }
 
    private BooleanExpression buildBooleanExpressionOr(List<SearchCriteria> paramsOr, Class classType){
        List<BooleanExpression> predicates = new ArrayList<>();
        BooleanExpressionBuilder predicate;
        for (SearchCriteria param : paramsOr) {
 
            predicate = new BooleanExpressionBuilder(param, messageProvider);
 
            BooleanExpression exp = predicate.buildPredicate(classType);
 
            if (exp != null) {
                predicates.add(exp);
            }
        }
        BooleanExpression result = null;
        if(!predicates.isEmpty()) {
            result = predicates.get(0);
            for (int i = 1; i < predicates.size(); i++) {
                result = result.or(predicates.get(i));
            }
        }
        return result;
    }
 
    private BooleanExpression buildBooleanExpressionAnd(List<SearchCriteria> paramsAnd, Class classType){
        List<BooleanExpression> predicates = new ArrayList<>();
        BooleanExpressionBuilder predicate;
        for (SearchCriteria param : paramsAnd) {
 
            predicate = new BooleanExpressionBuilder(param, messageProvider);
 
            BooleanExpression exp = predicate.buildPredicate(classType);
 
            if (exp != null) {
                predicates.add(exp);
            }
        }
        BooleanExpression result = null;
        if(!predicates.isEmpty()) {
            result = predicates.get(0);
            for (int i = 1; i < predicates.size(); i++) {
                result = result.and(predicates.get(i));
            }
        }
        return result;
    }
 
}

BooleanExpressionBuilder的逻辑如下:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
import java.text.ParseException;
import java.text.SimpleDateFormat;
import java.time.ZoneOffset;
import java.util.Date;
import java.util.TimeZone;
 
import com.querydsl.core.types.dsl.BooleanExpression;
import com.querydsl.core.types.dsl.BooleanPath;
import com.querydsl.core.types.dsl.DateTimePath;
import com.querydsl.core.types.dsl.NumberPath;
import com.querydsl.core.types.dsl.PathBuilder;
import com.querydsl.core.types.dsl.StringPath;
 
public class BooleanExpressionBuilder {
 
    private SearchCriteria criteria;
    private BusinessPartnerMessageProvider messageProvider;
    private static final String NO_SUCH_FILED_MESSAGE = "NO_SUCH_FIELD_FOR_QUERY_PARAMETER";
    
  
    public BooleanExpressionBuilder(final SearchCriteria criteria ) {
        this.criteria = new SearchCriteria(criteria.getKey(),criteria.getOperation(),criteria.getValue());
   
    }
 
  
    public BooleanExpression buildPredicate(Class classType) {
        // the second param for PathBuilder constructor is the binding path.
        PathBuilder<Class> entityPath = new PathBuilder<>(classType, classType.getSimpleName());
        Boolean isValueMatchEndWith = criteria.getValue().toString().endsWith("*");
        Boolean isValueMatchStartWith = criteria.getValue().toString().startsWith("*");
        Boolean isOperationColon = ":".equalsIgnoreCase(criteria.getOperation());
        int searchValueLength = criteria.getValue().toString().length();
 
        StringPath stringPath = entityPath.getString(criteria.getKey());
        DateTimePath<Date> timePath = entityPath.getDateTime(criteria.getKey(), Date.class);
        NumberPath<Integer> numberPath = entityPath.getNumber(criteria.getKey(), Integer.class);
 
        if ((isOperationColon) && (!isValueMatchStartWith) && (!isValueMatchEndWith)) {
            return getEqualBooleanExpression(classType, entityPath, stringPath, timePath, numberPath);
        }
 
        if (">".equalsIgnoreCase(criteria.getOperation())) {
            return getGreaterThanBooleanExpression(classType, timePath, numberPath);
        }
 
        if ("<".equalsIgnoreCase(criteria.getOperation())) {
            return getLessThanBooleanExpression(classType, timePath, numberPath);
        }
 
        // !:means !=
        if ("!:".equalsIgnoreCase(criteria.getOperation())) {
            return getNotEqualBooleanExpression(classType, entityPath,
                    stringPath, timePath, numberPath);
        }
        //start with xxx
        if ((isOperationColon) && isValueMatchEndWith && (!isValueMatchStartWith)) {
            if (isSearchKeyValidForClass(classType))
                return stringPath
                        .startsWithIgnoreCase(criteria.getValue().toString().substring(0, searchValueLength - 1).trim());
        }
 
        if ((isOperationColon) && (!isValueMatchEndWith) && (isValueMatchStartWith)) {
            if (isSearchKeyValidForClass(classType))
                return stringPath.endsWithIgnoreCase(criteria.getValue().toString().substring(1, searchValueLength).trim());
        }
        //contain xxx
        if ((isOperationColon) && isValueMatchEndWith && isValueMatchStartWith) {
            return getContainsBooleanExpression(classType, searchValueLength, stringPath);
        }
        return null;
    }
 
    private BooleanExpression getContainsBooleanExpression(Class classType,
            int searchValueLength, StringPath stringPath) {
            try {
                Class fieldType = classType.getDeclaredField(criteria.getKey()).getType();
                if (fieldType.equals(String.class) && searchValueLength>1) {
                    return stringPath.containsIgnoreCase(criteria.getValue().toString().substring(1,searchValueLength-1).trim());
                }
                //if there are only a "*" in the seatch value, then
                if(fieldType.equals(String.class) && searchValueLength==1){
                    return stringPath.eq(criteria.getValue().toString());
                }
            } catch (NoSuchFieldException | SecurityException e) {
                
            }
        return null;
    }
 
    private boolean isSearchKeyValidForClass(Class classType) {
        try {
            Class fieldType = classType.getDeclaredField(criteria.getKey()).getType();
            if (fieldType.equals(String.class)) {
                return true;
            }
        } catch (NoSuchFieldException | SecurityException e) {
            throw new BadRequestValidationException(messageProvider.getMessage(NO_SUCH_FILED_MESSAGE,
                    new Object[] { criteria.getKey() }), e);
        }
        return false;
    }
 
    private BooleanExpression getNotEqualBooleanExpression(Class classType, PathBuilder<Class> entityPath,
            StringPath stringPath, DateTimePath<Date> timePath, NumberPath<Integer> numberPath) {
            try {
                Class fieldType = classType.getDeclaredField(criteria.getKey()).getType();
                if (fieldType.equals(Date.class)) {
                    dateTimeValueConverter();
                    return timePath.ne((Date) criteria.getValue());
                }
                if (fieldType.equals(Integer.class)) {
                    int value = Integer.parseInt(criteria.getValue().toString());
                    return numberPath.ne(value);
                }
                if (fieldType.equals(String.class)) {
                    return stringPath.ne(criteria.getValue().toString());
                }
                if (fieldType.equals(boolean.class)) {
                    booleanConverter();
                    BooleanPath booleanPath = entityPath.getBoolean(criteria.getKey());
                    return booleanPath.ne((Boolean) criteria.getValue());
                }
                if (fieldType.equals(Boolean.class)) {
                    booleanConverter();
                    BooleanPath booleanPath = entityPath.getBoolean(criteria.getKey());
                    return booleanPath.ne((Boolean) criteria.getValue());
                }
            } catch (NoSuchFieldException | SecurityException e) {
                throw new BadRequestValidationException();
            }
        return null;
    }
 
    private BooleanExpression getLessThanBooleanExpression(Class classType,
            DateTimePath<Date> timePath, NumberPath<Integer> numberPath) {
            try {
                Class fieldType = classType.getDeclaredField(criteria.getKey()).getType();
                if (fieldType.equals(Date.class)) {
                    dateTimeValueConverter();
                    return timePath.lt((Date) criteria.getValue());
                }
                if (fieldType.equals(Integer.class)) {
                    integerValueConverter();
                    return numberPath.lt((Integer) criteria.getValue());
                }
            } catch (NoSuchFieldException | SecurityException e) {
                throw new BadRequestValidationException(e.getCause());
            }
        return null;
    }
 
    private BooleanExpression getGreaterThanBooleanExpression(Class classType,
            DateTimePath<Date> timePath, NumberPath<Integer> numberPath) {
            // other data types do not make sense when use >
            try {
                Class fieldType = classType.getDeclaredField(criteria.getKey()).getType();
                if (fieldType.equals(Date.class)) {
                    dateTimeValueConverter();
                    return timePath.gt((Date) criteria.getValue());
                }
                if (fieldType.equals(Integer.class)) {
                    integerValueConverter();
                    return numberPath.gt((Integer) criteria.getValue());
                }
            } catch (NoSuchFieldException | SecurityException e) {
                throw new BadRequestValidationException(e.getCause());
            }
 
        return null;
    }
 
    private BooleanExpression getEqualBooleanExpression(Class classType, PathBuilder<Class> entityPath, StringPath stringPath,
            DateTimePath<Date> timePath, NumberPath<Integer> numberPath) {
        // :means =
            try {
                Class fieldType = classType.getDeclaredField(criteria.getKey()).getType();
                if (fieldType.equals(Integer.class)) {
                    integerValueConverter();
                    return numberPath.eq((Integer) criteria.getValue());
                }
                if (fieldType.equals(Date.class)) {
                    dateTimeValueConverter();
                    return timePath.eq((Date) criteria.getValue());
                }
                if (fieldType.equals(boolean.class)) {
                    booleanConverter();
                    BooleanPath booleanPath = entityPath.getBoolean(criteria.getKey());
                    return booleanPath.eq((Boolean) criteria.getValue());
                }
                if (fieldType.equals(Boolean.class)) {
                    booleanConverter();
                    BooleanPath booleanPath = entityPath.getBoolean(criteria.getKey());
                    return booleanPath.eq((Boolean) criteria.getValue());
                }
                if (fieldType.equals(String.class)) {
                    return stringPath.equalsIgnoreCase(criteria.getValue().toString());
                }
            } catch (NoSuchFieldException | SecurityException e) {
                throw new BadRequestValidationException(e.getCause());
            }
 
        return null;
    }
 
    // convert string to datetime
    private void dateTimeValueConverter() {
        criteria.setValue(convertToTimeStamp(criteria.getValue().toString()));
    }
 
    private void  booleanConverter() {
        if (criteria.getValue().toString().equalsIgnoreCase("true")) {
            criteria.setValue(true);
        } else if (criteria.getValue().toString().equalsIgnoreCase("false")) {
            criteria.setValue(false);
        } else {
            throw new BadRequestValidationException("Invalid Boolean");
        }
    }
 
    // convert string to Integer
    private void integerValueConverter() {
        criteria.setValue(Integer.parseInt(criteria.getValue().toString()));
    }
 
    private Date convertToTimeStamp(String time) {
        //convert date here
        return parsedDate;
    }
 
}

查询条件的抽象类SearchCriteria定义如下:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
public class SearchCriteria {
    private String key;
    private String operation;
    private Object value;
}

大致的实现逻辑如下图所示:

图片

比较关键的点有下面这些:

  • 对字符串的解析需要借助正则表达式的帮助,正则表达式决定了我们支持怎样的查询.
  • 由于字符串可以任意输入,存在无限种可能,对查询字符串的校验很关键也很复杂。
  • 不同逻辑的查询条件需要存放在不同的容器里面,因为他们的拼接逻辑不一样,一个是或一个是与
  • 不同的字段类型需要调用不同的生成Predicate的方法,例如String,Boolean和Date这些类型他们都有自己对应的查询实现
  • 生成子表的Predicate很复杂,与主表的查询条件一起查询时逻辑更加复杂,上面的逻辑拿掉了这一部分。但是这个功能是可以实现的。

实现过程中的难题

主表包含多个子表数据时的AND查询

距离说明,现在有数据定义如下:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
{
 "customerNumber": "5135116903",
 "customerType": "INDIVIDUAL",
 "createdBy": "Android.chen@sap.com",
 "changedBy": "Android.chen@sap.com",
 "createdAt": "2018-06-26T10:15:17.212Z",
 "changedAt": "2018-06-26T10:15:17.212Z",
 "markets": [{
  "marketId": "A1",
  "currency": "USD",
  "country": "US",
  "active": true
 }, {
  "marketId": "A2",
  "currency": "USD",
  "country": "US",
  "active": false
 }, {
  "marketId": "A3",
  "currency": "USD",
  "country": "US",
  "active": true
 }]
}

其中父节点表是customer,子节点markets信息存储在market表当中。

现在,假设我们有这样的查询:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
customerNumber: 5135116903 AND markets.active:false

没有疑问,上面的数据应该被查出来。现在查询条件变成下面这样:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
customerNumber: 5135116903 AND markets.active:false AND markets.marketId:A1

现在问题来了,语句的意思是此客户的marker既要是非active 的且ID要是A1,但是此客户又有多个market,从整个数组里来看,这个条件是满足的。但是从单个的market个体来看这个条件是不满足的。而我们作为用户的话希望得到的效果必然是无法查处此customer信息。

这会给实现带来问题,因为由于market是一个数组,在数据表中对应的就是几条记录,我们在解析并构建子表查询时,必须确保对于子表的查询条件是作用于单独的一个node,也就是单独的一条记录,而不是从整个数组当中去查,否则就会有问题。

来源:https://blog.csdn.net/topdeveloperr

我们创建了一个高质量的技术交流群,与优秀的人在一起,自己也会优秀起来,赶紧点击加群,享受一起成长的快乐。另外,如果你最近想跳槽的话,年前我花了2周时间收集了一波大厂面经,节后准备跳槽的可以点击这里领取

推荐阅读

··································

你好,我是程序猿DD,10年开发老司机、阿里云MVP、腾讯云TVP、出过书创过业、国企4年互联网6年。从普通开发到架构师、再到合伙人。一路过来,给我最深的感受就是一定要不断学习并关注前沿。只要你能坚持下来,多思考、少抱怨、勤动手,就很容易实现弯道超车!所以,不要问我现在干什么是否来得及。如果你看好一个事情,一定是坚持了才能看到希望,而不是看到希望才去坚持。相信我,只要坚持下来,你一定比现在更好!如果你还没什么方向,可以先关注我,这里会经常分享一些前沿资讯,帮你积累弯道超车的资本。

点击领取2022最新10000T学习资料

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2022-05-23,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 程序猿DD 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
十二、可观测性——监控与日志
在 Kubernetes 中,监控和日志属于生态的一部分,它并不是核心组件,因此大部分的能力依赖上层的云厂商的适配。Kubernetes 定义了介入的接口标准和规范,任何符合接口标准的组件都可以快速集成。
Yuyy
2022/09/21
7190
十二、可观测性——监控与日志
从零搭建一个基于 ELK 的日志、指标收集与监控系统
在需要私有化部署的系统中,大部分系统仅提供系统本身的业务功能,例如用户管理、财务管理、客户管理等。但是系统本身仍然需要进行日志的采集、应用指标的收集,例如请求速率、主机磁盘、内存使用量的收集等。同时方便的分布式系统日志的查看、指标的监控和告警也是系统稳定运行的一个重要保证。
问问计算机
2021/05/08
1.3K0
从零搭建一个基于 ELK 的日志、指标收集与监控系统
这些技术轮子,让监控落地成为现实!
先帝创业未半而中道崩殂,今监控天下三分。如下图所示,监控的天下被划分为基于 Tracing(调用链)监控、基于Metrics(指标)监控、基于Logging(日志) 的监控。
一猿小讲
2019/11/13
1.1K0
ELK日志监控分析系统的探索与实践(一):利用Filebeat监控Springboot日志
由于公司项目较多,所部署服务产生的日志也较多,以往查看服务器日志只能通过xshell、putty等SSH工具分别连接每台服务器,然后进入到各个服务器,执行Linux命令查看日志,这样可能会带来以下问题:
大刚测试开发实战
2022/11/14
2K1
ELK日志监控分析系统的探索与实践(一):利用Filebeat监控Springboot日志
这么多监控组件,总有一款适合你
监控是分布式系统的必备组件,能够起到提前预警、问题排查、评估决策等功效,乃行走江湖、居家必备之良品。
xjjdog
2019/09/24
4.5K0
这么多监控组件,总有一款适合你
搞定Prometheus普罗米修斯监控系统
AAA公司是一家电商网站,由于公司的业务快速发展,公司要求对现有机器进行为业务监控,责成运维部门来实施这个项目。
全栈程序员站长
2022/09/09
5.9K0
搞定Prometheus普罗米修斯监控系统
接近完美的监控系统—普罗米修斯
普罗米修斯(Prometheus)是一个SoundCloud公司开源的监控系统。当年,由于SoundCloud公司生产了太多的服务,传统的监控已经无法满足监控需求,于是他们在2012年决定着手开发新的监控系统,即普罗米修斯。
全栈程序员站长
2022/09/09
6.2K0
接近完美的监控系统—普罗米修斯
常见监控分为哪几类?
你们之中很多人多多少少都接触过监控,但是你所知道的监控,到底属于哪一类呢?这期我们就从下面这张图开始聊起。如图所示,可以清晰的看出,监控的世界可以被划分为基于 Logging 的监控、基于 Tracing 的监控、基于 Metrics 的监控。
一猿小讲
2019/09/25
1.4K0
常见监控分为哪几类?
腾讯云多Kubernetes的多维度监控实践
本次内容根据2017年11月4日 K8S Geek Gathering 沙龙深圳站腾讯云高级工程师王天夫的演讲内容整理而成。 本次分享的主要内容涉及腾讯云容器的顶层整体设计,包括产品功能,及提供的
腾讯云开发者社区
2017/11/15
3.4K0
腾讯云多Kubernetes的多维度监控实践
普罗米修斯
Prometheus(普罗米修斯)是一套开源的监控系统,其基本原理是通过 HTTP 协议周期性抓取被监控组件的状态,不需要任何 SDK 或者其他的集成过程,其架构如图:
六个核弹
2022/12/23
2.8K0
普罗米修斯
基于Elastic Stack的海量日志分析平台实践
随着58集团业务的飞速发展,日志数量也呈现指数级增长。传统的日志处理方案,已不再适用,此时急需一套功能强大、稳定可靠的日志处理系统。
Spark学习技巧
2019/10/24
1.3K0
基于Elastic Stack的海量日志分析平台实践
自从上了Prometheus,睡觉真香!
点击上方“芋道源码”,选择“设为星标” 管她前浪,还是后浪? 能浪的浪,才是好浪! 每天 10:33 更新文章,每天掉亿点点头发... 源码精品专栏 原创 | Java 2021 超神之路,很肝~ 中文详细注释的开源项目 RPC 框架 Dubbo 源码解析 网络应用框架 Netty 源码解析 消息中间件 RocketMQ 源码解析 数据库中间件 Sharding-JDBC 和 MyCAT 源码解析 作业调度中间件 Elastic-Job 源码解析 分布式事务中间件 TCC-Transaction
芋道源码
2022/05/25
7030
自从上了Prometheus,睡觉真香!
聊聊 Prometheus 监控
某某某公司是一家电商网站,由于公司的业务快速发展,公司要求对现有机器进行业务监控,责成运维部门来实施这个项目。
码猿技术专栏
2023/05/01
8010
聊聊 Prometheus 监控
普罗米修斯Prometheus监控神器
发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/161742.html原文链接:https://javaforall.cn
全栈程序员站长
2022/09/09
2K0
ELK日志监控分析系统的探索与实践(二):利用Metricbeat监控服务器系统资源指标
在ELK日志监控分析系统的探索与实践(一)中,我们介绍了利用ELK+Filebeat监控Springboot项目的日志,本篇则是重点介绍如何利用ELk+Metricbeat监控服务器系统CPU、内存、磁盘等系统指标。
大刚测试开发实战
2022/11/14
7890
ELK日志监控分析系统的探索与实践(二):利用Metricbeat监控服务器系统资源指标
全链路监控的起源&解决方案
APM(Application Performance Management)的核心思想是什么? 在应用服务各节点相互调用的时候,从中记录并传递一个应用级别的标记,这个标记可以用来关联各个服务节点之间的关系。比如两个应用服务节点之间使用HTTP作为传输协议的话,那么这些标记就会被加入到HTTP头中。可见如何传递这些标记是与应用服务节点之间使用的通讯协议有关的,常用的协议就相对容易加入这些内容,一些按需定制的可能就相对困难些,这一点也直接决定了实现分布式追踪系统的难度。它通过探针自动收集所需的指标,并进行分布式追踪。通过这些调用链路以及指标,APM会感知应用间关系和服务间关系,并进行相应的指标统计。如何衡量一个大规模集群的跟踪系统的优劣?它应该满足低损耗、应用透明的、大范围部署这三个需求的。
小傅哥
2020/07/14
2.3K0
全链路监控的起源&解决方案
5 款顶级 Kubernetes 日志监控工具
Kubernetes在容器编排市场中占主导地位,推动企业向微服务演进。微服务的每个实例都会生成大量日志事件,这些事件很快就变得难以管理。但更复杂的是当出现问题时,由于服务之间复杂的交互作用,以及可能的故障模式,导致很难找到根本原因。潜在的问题使得Kubernetes日志管理工具变得十分重要。
民工哥
2020/11/17
1.2K0
5 款顶级 Kubernetes 日志监控工具
一文搞懂Prometheus、Grafana(含腾讯云上实战)
通常来说,对于一个运行时的复杂系统,如果系统出了问题是很难排查的。因为你是不太可能在运行时一边检查代码一边调试的。因此,你需要在各种关键点加上监控,通过监控获取的数据,指导我们进一步工作,解决问题。
yuann
2021/01/06
53.7K1
一文搞懂Prometheus、Grafana(含腾讯云上实战)
云原生下日志方案的架构设计
原文链接:https://yq.aliyun.com/articles/717779
业余草
2019/11/18
1.1K0
SRE-面试问答模拟-监控与日志
Q: 什么是 Metrics? A: Metrics 是时间序列数据,表示系统状态和性能的数值。它们定期采集并记录,例如 CPU 使用率、内存消耗、请求响应时间等。
行者深蓝
2024/09/07
1240
推荐阅读
相关推荐
十二、可观测性——监控与日志
更多 >
LV.1
这个人很懒,什么都没有留下~
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
查看详情【社区公告】 技术创作特训营有奖征文