专栏首页后端技术漫谈[SpringBoot实战系列]整合ElasticSearch实现数据模糊搜索(Logstash同步Mysql数据)

[SpringBoot实战系列]整合ElasticSearch实现数据模糊搜索(Logstash同步Mysql数据)

实战系列

前言

本文介绍了如何整合搜索引擎elasticsearch与springboot,对外提供数据查询接口。

业务介绍

我的个人网站需要对mysql数据库内存储的京东商品进行模糊查询(模仿淘宝商品搜索),所以选择了将数据导入elasticsearch随后使用他来进行关键词查询。前端只需发送用户搜索的关键词和分页参数(可选),即可返回商品数据(json格式)

开发环境

组件介绍:

  • elasticsearch:搜索引擎,用于存储待搜索数据
  • logstash:用于将mysql中的商品数据同步到搜索引擎中
  • elasticsearch-head(可选):elasticsearch可视化工具
  • kibana(可选):elasticsearch可视化工具

本文测试环境:

  • springboot:1.5.16
  • elasticsearch:2.3.5(springboot1.5仅支持2.x的es)
  • logstash:6.5.4

开发步骤

使用Docker部署elasticsearch

  • docker下一键启动es,可根据需要的版本号对语句做修改
sudo docker run -it --rm --name elasticsearch -d -p 9200:9200 -p 9300:9300 elasticsearch:2.3.5

注意到该命令:

  • --rm参数:容器终止后销毁
  • -d:后台进程
  • -p 9200:9200 -p 9300:9300:开放了9200端口和9300端口

得到如图:

在这里插入图片描述

此时打开网页localhost:9200即可查看状态,显示类似为:

{
  "name" : "Ant-Man",
  "cluster_name" : "elasticsearch",
  "version" : {
    "number" : "2.3.5",
    "build_hash" : "90f439ff60a3c0f497f91663701e64ccd01edbb4",
    "build_timestamp" : "2016-07-27T10:36:52Z",
    "build_snapshot" : false,
    "lucene_version" : "5.5.0"
  },
  "tagline" : "You Know, for Search"
}

注意:docker的es默认对0.0.0.0公网开放

下载并使用logstash并导入数据

本文中要导入的是pm_backend下的表pm_jd_item内的全部京东商品数据

详细步骤参考:

http://blog.codecp.org/2018/04/16/Elasticsearch%E4%B9%8B%E4%BD%BF%E7%94%A8Logstash%E5%AF%BC%E5%85%A5Mysql%E6%95%B0%E6%8D%AE/

最终编写的jdbc.conf为:

schedule => "* * * * *"默认为每分钟同步一次

input {
  jdbc {
    jdbc_connection_string => "jdbc:mysql://localhost:3306/pm_backend"
    jdbc_user => "root"
    jdbc_password => "xxxxxxxxxx"
    jdbc_driver_library => "xxxxxxxx/mysql-connector-java-5.1.6.jar"
    jdbc_driver_class => "com.mysql.jdbc.Driver"
    jdbc_paging_enabled => "true"
    jdbc_page_size => "5000"
    statement=> "select * from pm_jd_item"
    schedule => "* * * * *"
    type => "pm_jd_item"
  }
}

output {
  elasticsearch {
    hosts => "localhost:9200"
    index => "pm_backend"
    document_type => "%{type}"
    document_id => "%{id}"
  }
  stdout {
    codec => json_lines
  }
}

在logstash目录下执行命令,完成数据的导入:

bin/logstash -f jdbc.conf

得到如图:

在这里插入图片描述

同步完成后,使用elasticsearch-head查看(或者用kibana,请随意):

在这里插入图片描述

整合进springboot

  1. 添加pom.xml
<!-- 搜索引擎:elastic-search-->
<dependency>
    <groupId>org.elasticsearch</groupId>
    <artifactId>elasticsearch</artifactId>
     <version>2.4.6</version>
</dependency>
<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-data-elasticsearch</artifactId>
</dependency>
<dependency>
    <groupId>org.springframework.data</groupId>
    <artifactId>spring-data-elasticsearch</artifactId>
</dependency>
  1. 修改application.properties
# elasticsearch
spring.data.elasticsearch.cluster-name=elasticsearch
#节点地址,多个节点用逗号隔开
spring.data.elasticsearch.cluster-nodes=127.0.0.1:9300
#spring.data.elasticsearch.local=false
spring.data.elasticsearch.repositories.enable=true
  1. 在需要进行搜索的实体类上添加@Document、@Id、@Field等标注,本例为JdItem.java
@Document(indexName = "pm_backend", type = "pm_jd_item")
public class JdItem implements Serializable {

    @Id
    private Integer id;

    @Field(type = FieldType.Long)
    private Long itemId;

    @Field(type = FieldType.Long)
    private Long categoryId;

    @Field(type = FieldType.String)
    private String name;
  1. 添加JdItemRepository继承ElasticsearchRepository
public interface JdItemRepository extends ElasticsearchRepository<JdItem, Integer>{
}
  1. 编写JdItemController中的查询接口findJdItemByName

代码截取自个人项目京东价格监控,仅供参考!

    /**
     * 根据商品名在pm_jd_item中搜索商品
     * @param itemName
     * @param startRow
     * @param pageSize
     * @return
     */
    @ApiOperation(value="查询商品", notes="查询商品")
    @RequestMapping(value = "/findJdItemByName", method = {RequestMethod.GET})
    public ResponseData<List<JdItem>> findJdItemByName(
            @ApiParam("用户输入的商品名") @RequestParam(value = "itemName") String itemName,
            @ApiParam("页码索引(默认为0)") @RequestParam(value = "startRow", required = false, defaultValue = "0") int startRow,
            @ApiParam("每页的商品数量(默认为10)") @RequestParam(value = "pageSize", required = false, defaultValue = "10") int pageSize
    ){
        ResponseData<List<JdItem>> responseData = new ResponseData<>();
        try {

            FunctionScoreQueryBuilder functionScoreQueryBuilder = QueryBuilders.functionScoreQuery().add(QueryBuilders.matchPhraseQuery("name", itemName), ScoreFunctionBuilders.weightFactorFunction(100)).scoreMode("sum").setMinScore(10);
            Pageable pageable = new PageRequest(startRow, pageSize);
            SearchQuery searchQuery = new NativeSearchQueryBuilder().withPageable(pageable).withQuery(functionScoreQueryBuilder).build();
            Page<JdItem> jdItems = jdItemRepository.search(searchQuery);
            // Page分页getTotalPages()返回了应有的页数,临时放在errorMsg传给前端
            responseData.jsonFill(1, String.valueOf(jdItems.getTotalPages()), jdItems.getContent());
        } catch (Exception e) {
            e.printStackTrace();
            responseData.jsonFill(2, e.getMessage(), null);
        }
        return responseData;
    }
}
  1. 运行springboot

调用findJdItemByName接口,得到:

在这里插入图片描述

整合分词器功能

请参考:https://github.com/medcl/elasticsearch-analysis-ik

参考

Docker安装ES & Kibana:

https://www.jianshu.com/p/fdfead5acc23

Elasticsearch之使用Logstash导入Mysql数据:

http://blog.codecp.org/2018/04/16/Elasticsearch%E4%B9%8B%E4%BD%BF%E7%94%A8Logstash%E5%AF%BC%E5%85%A5Mysql%E6%95%B0%E6%8D%AE/

本文分享自微信公众号 - Rude3Knife(Rude3Knife),作者:蛮三刀把刀

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-03-19

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 布隆过滤器 | 亿级数据处理原理与实战

    布隆过滤器(英语:Bloom Filter)是 1970 年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。主要用于判断一个元素是否在一个集合...

    Rude3Knife的公众号
  • 【设计模式自习室】适配器模式

    该系列会逐步更新于我的博客和公众号(博客见文章底部),也希望各位观众老爷能够关注我的个人公众号:后端技术漫谈,不会错过精彩好看的文章。

    Rude3Knife的公众号
  • Java虚拟机知识点快速复习手册(下)

    其中解析过程在某些情况下可以在初始化阶段之后再开始,这是为了支持 Java 的动态绑定。

    Rude3Knife的公众号
  • [Springboot实战系列]整合ElasticSearch实现数据模糊搜索(Logstash同步Mysql数据)

    本文介绍了如何整合搜索引擎elasticsearch与springboot,对外提供数据查询接口。

    后端技术漫谈
  • Elasticsearch 教程(1)安装【CentOS版】

    我们首先要配置java环境,这个需要Java8或者更新的包。一般执行以下命令时可以看看Java版本是否符合:

    魔王卷子
  • es的安装

    2、不能以root身份运行,因此需要新建一个用户专门运行elasticSearch

    爱撒谎的男孩
  • 手摸手 Elastic Stack 使用教程 - 环境安装

    在日常的开发中,会涉及到对一些中间件以及基础组件的使用,日志汇总分析、APM 监控、接口的健康检查、站内搜索,以及对于服务器、nginx、iis 等等的监控,最...

    程序员宇说
  • Java开发环境系列:全文搜索引擎elasticsearch的安装(windows、linux)

    Elastic Search要求使用较高版本JDK,本文使用D:\DevTools\jdk1.8.0_131,并配置环境变量

    架构师小跟班
  • ElasticSearch 6.x head插件安装

    ElasticSearch-head是一个H5编写的ElasticSearch集群操作和管理工具,可以对集群进行傻瓜式操作。

    py3study
  • ELK 基础安装配置

    老七Linux

扫码关注云+社区

领取腾讯云代金券