最近将公司的solr集群升级到了最新的6.5版本。 之前用了N年的是3点多的版本，那个时候solr还不支持自带的集群，集群方式都是自己实现的。 公司里用的最多的数据库就是mongodb了，大数据量存储，天生集群支持，分片更简单。 mongodb唯一不足的就是全文检索的能力，不过大部分公司都是用的搜索框架来单独提供搜索服务的。 下面介绍下mongodb怎么结合solr或者es来做搜索。 建索引方案一 solr或者es部分只存储需要搜索的索引和数据的主键ID。比如根据标题搜索，那么只建立标题索引。存储部分只存主
superl-url是一款开源的，并且功能强大的关键词URL采集工具，可以根据关键词，对搜索引擎内容检索结果的网址内容进行采集。 程序主要运用于安全渗透测试项目，以及批量评估各类CMS系统0DAY的影响程度，同时也是批量采集自己获取感兴趣的网站的一个小程序~~本来几年前就写好了，没什么技术含量，没想到小伙伴的使用需求还蛮大的，不敢私藏~~ 立了flag，
作者个人研发的在高并发场景下，提供的简单、稳定、可扩展的延迟消息队列框架，具有精准的定时任务和延迟队列处理功能。自开源半年多以来，已成功为十几家中小型企业提供了精准定时调度方案，经受住了生产环境的考验。为使更多童鞋受益，现给出开源框架地址：
这周优化了我们沙抖官网搜索的功能，这个搜索目前是根据视频标题进行匹配，之前是对用户输入的关键词进行了分词查找，比如用户输入【机器人】,这样的话，只要视频标题中有关键词的任意一个字都会被搜到，比如含有【人】字的标题会展示出来，并可能排的很靠前，所以我就对当前的搜索进行了优化，现在搜索是优先进行相邻短语查询 match_phrase，如果相邻短语查询结果小于2个就进行普通的分词查询，这个相邻短语查询是要求在请求字符串中的所有查询项必须都在文档中存在，文中顺序也得和请求字符串一致，且彼此相连。这样查询的话，标题中含有【机器人】的结果肯定在前。
最近工作上需要实现搜索功能，尝试了几种方案。虽然最终线上部署的还是最low的方案，但是中间的过程还是比较有意思的。业务上根据关键字查找内容。关键字的出处多来源于标题，文章描述等。主要实现方式有一些几种，各个方式各有利弊，需要权衡。
导语| Elasticsearch （ES）是一个分布式搜索和分析引擎，它能为我们提供全文搜索等各种丰富的功能，You know, for search (and analysis)。此前关于 Elasticsearch 大多都是调优分享、分布式相关，关于基础的文档基本是简单介绍，本文是从文档搜索实践出发介绍如何搭建一个全文搜索平台。本文不做 ES 的介绍，因此看文章需要了解 ES 相关基础知识。本文作者：allencao，腾讯应用开发工程师。 前言 最开始接到过一个需求，将部门内的研究报告与文档管理起来
使用select对列进行查询时，不仅可以直接以列的原始值作为结果，而且还可以将列值进行计算后所得值作为查询结果，即select子句可以查询表达式的值,表达式可由列名、常量及算术运算符组成。 查询结果计算列显示“无列名”,一般要给计算列加列标题。 其中：表达式中可以使用的运算符有：加+、减-、乘*、除/、取余%
既然我们已经建立了B+树，那么就要好好利用它来加速查询，而不是傻傻的去遍历整张表。
下载地址： https://www.elastic.co/cn/downloads/elasticsearch （目前最新版本为7.8）
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
之前开发项目的过程当中数据库存储的数据量都不是很大，在表的设计当中就只有一个主键索引。很少接触到数据库的索引，SQL 优化这些东西。公司目前的项目数据达到了百万级别了，让我优化一下慢 SQL，之前是懂一些 SQL 优化和索引相关的理论知识，没有实际操作过，特此记录优化的过程和思路，事实证明，理论和实操还是有不少区别的。
最近做的项目，有个需求(从Elastic Search取数据，业务运算后），每次要向MySQL插入1300万条数据左右。最初用MySQL的executemany()一次插入10000条数据，统计的时间如下：
举个例子： sku商品表 是不是得有id自增代表不用手动创建是吧 spu_id是不是的有。因为你这样商品是哪一个产品下的是吧。比如小米手机产品。商品是各种类型颜色。。。。的小米手机十八 商品标题是不是的有。因为介绍这个商品呀 images是不是应该一般的有。因为图片能勾起人人们的购买欲,. price是不是的有。不说比如要买这个手机多少钱的吗是吧 param是不是的有。各种颜色类型什么的呀 是否上架是否有效是不是也得有。 添加修改时间是不是也得有.
提到MySQL优化，索引优化是必不可少的。其中一种优化方式 ——索引优化，添加合适的索引能够让项目的并发能力和抗压能力得到明显的提升。
(a) 有一新记录(小王 13254748547 高中毕业 2007-05-06)请用SQL语句新增至表中
信息流是一种可以滚动浏览，持续给用户提供内容的数据形式。信息流源于内容信息平台，兴起于社交媒体、新闻资讯类平台。信息流内容会出现在外观相似、一个接连一个显示的版块中。近年来，信息流内容市场发展迅速，通常内嵌在各类 App 中，由平台主动推送，用户的抵达率高。而通过对用户的行为偏好进行跟踪分析建立算法推荐模型，当内容足够丰富时，可以为用户主动推荐无限多感兴趣的内容。
数据库设计(Database Design)是指对于一个给定的应用环境，构造最优的数据库模式，建立数据库及其应用系统，使之能够有效地存储数据，满足各种用户的应用需求（信息要求和处理要求）。在数据库领域内，常常把使用数据库的各类系统统称为数据库应用系统。 数据库设计的设计内容包括：需求分析、概念结构设计、逻辑结构设计、物理结构设计、数据库的实施和数据库的运行和维护。
上次在写了一篇关于MYSQL的优化器关于索引方面的问题的文章后，有同学说不对，当时答应在做更深入的测试，来深度证明MYSQL 的确在索引方面的一些问题。
作为一个 MySQL DBA，和大表打交道的次数想必不少，大表上的 ALTER 操作一般影响都很大，平时会用 Online DDL 工具来辅助操作，但是本文会介绍一种特殊的技巧来应对一部分大表上的 ALTER 需求。
(同时再次强调，这几篇关于MySQL的探究都是基于5.7版本，相关总结与结论不一定适用于其他版本)
以往的留守儿童爱心的管理，一般都是纸质文件来管理留守儿童爱心信息，传统的管理方式已经无法满足现代人们的需求；使用留守儿童爱心网站, 首先可以大幅提高留守儿童爱心信息检索，只需输入留守儿童爱心相关信息就能在数秒内反馈想要的结果；其次可存储大量的留守儿童爱心信息，同时留守儿童爱心信息安全性有更高的保障；这些优点大大提高运营效率并节省运营成本。因此，开发留守儿童爱心网站对留守儿童爱心信息进行有效的管理是很必要的，不仅提高了留守儿童爱心管理效率，增加了用户信息安全性，方便及时反馈信息给管理员，增加了与管理员之间的互动交流，更能提高用户的体验强度。
Elasticsearch也是基于Lucene的全文检索库，本质也是存储数据，很多概念与MySQL类似的。
这个系列属于个人学习网易云课堂MySQL数据库工程师微专业的相关课程过程中的笔记，本篇为其“MySQL业务优化与设计”中的MySQL数据类型相关笔记。
1、用于返回子串substr在字符串str中第一次出现的索引位置，没有找到子串时返回0。
搜索这个特性可以说是无处不在，现在很少有网站或者系统不提供搜索功能了，所以，即使你不是一个专业做搜索的程序员，也难免会遇到一些搜索相关的需求。搜索这个东西，表面上看功能很简单，就是一个搜索框，输入关键字，然后搜出来想要的内容就好了。
在大部分情况下,程序的瓶颈都在于数据库,所以为了减少数据库的压力,我们会通过缓存(减少数据库查询),分布式数据库,读写分离等方式去减少数据库本身的curd压力.
统计一张表的总数量，是我们开发中常有的业务需求，通常情况下，我们都是使用 select count(*) from t SQL 语句来完成。随着业务数据的增加，你会发现这条语句执行的速度越来越慢，为什么它会变慢呢？
在 MySQL 的主从架构在很多场景下都在使用，同时 MySQL 的同步延迟也是很多 DBA、运维、开发的同学经常面对的问题之一。本文围绕同步延迟的场景之一：无主键表，来看看延迟产生的原因，以及应对的策略。当然，从标题上也能看出来，给表建个主键是最好的办法，不过在关于这个问题，其实还有一些其他的方式可以尝试。
前面文章，我们学习了 MySQL 慢日志相关内容，当我们筛选得到具体的慢 SQL 后，就要想办法去优化啦。优化 SQL 的第一步应该是读懂 SQL 的执行计划。本篇文章，我们一起来学习下 MySQL explain 执行计划相关知识。
本文介绍了数据库查询优化和连接算法的相关内容。优化器是数据库中用于选择最佳执行计划的组件，分为基于代价的优化器和基于规则的优化器。优化器的目标是选择成本最低的访问计划，以最小的代价返回查询结果。连接算法是数据库中用于处理关系型数据库中的表连接操作，分为嵌套循环连接、块嵌套循环连接、索引嵌套循环连接等。在数据库应用中，优化器通过代价模型计算访问计划，选择成本最低的访问方式，提高查询效率。
数据库设计(Database Design)是指对于一个给定的应用环境，构造最优的数据库模式，建立数据库及其应用系统，使之能够有效地存储数据，满足各种用户的应用需求（信息要求和处理要求）。在数据库领域内，常常把使用数据库的各类系统统称为数据库应用系统。
本文以MySQL InnoDB引擎为基础，讲解索引相关概念以及优化手段，很适合开发以及业务同学参考，避免工作中因为DB性能导致的一系列雪崩问题。
在上一篇文章中，介绍了 InnoDB 索引的数据结构模型，今天我们再继续介绍一下 MySQL 索引有关的概念。
66aix是一款终极的AI助手工具，可以帮助您生成独特的内容，修复您已经存在的内容或改进它。您还可以从头开始生成完整的AI图像。同时，它还包括完整功能的语音转换文本AI转换和AI聊天机器人系统。
最常用的索引也就是B-tree索引和Hash索引，且只有Memory，NDB两种引擎支持Hash索引。
其实每天都有人私信我，如果遇到一些好的问题，我会拿来单独写文章的。比如，昨天就有人问我，like 查询 % 在前为什么不走索引？不能人云亦云，我们应该从根上理解它，为什么要这样设计？为什么不走索引？
ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。
在学习 MySQL 的过程中，也许你希望有个中文网站可以参考，或许你曾经在搜索引擎中寻找过此类网站。如果你有此类需求的话，那么下面介绍的这个网站你一定要收藏。
大家吼，我是你们的朋友煎饼狗子——喜欢在社区发掘有趣的作品和作者.【每日精选时刻】是我为大家精心打造的栏目，在这里，你可以看到煎饼为你携回的来自社区各领域的新鲜出彩作品。点此一键订阅【每日精选时刻】专栏，吃瓜新鲜作品不迷路！
数据库优化，主要包括数据表设计、索引、sql语句、表拆分、数据库服务器架构等方向的优化。
点击上方蓝字每天学习数据库 一起构建MySQL知识网络，我是林晓斌，今天的文章我们从索引说起。 林晓斌 林晓斌，网名丁奇，腾讯云数据库负责人，数据库领域资深技术专家。作为活跃的MySQL社区贡献者，丁奇专注于数据存储系统、MySQL源码研究和改进、MySQL性能优化和功能改进，在业务场景分析、系统瓶颈分析、性能优化方面拥有丰富的经验。其创作的《MySQL实战45讲》专栏受众已逾2万人。 你一定知道了，索引的作用是加快查询速度。比如有一个人口信息表，如果没有加索引，你要按照身份证号查找一个人，就得全表
说到搜索引擎，相信任何人都不会陌生，它包含着我们生活中方方面面的知识，存储着数亿计的信息，每当有人来问我东西的时候我只想说：
lasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。
假设你现在运营着一个论坛，论坛数据已经超过100W，很多用户都反映论坛搜索的速度非常慢，那么这时你就可以考虑使用Sphinx了（当然其他的全文检索程序或方法也行）。
MySQL 提供了一个 EXPLAIN 命令, 它可以对 SELECT 语句进行分析, 并输出 SELECT 执行的详细信息, 以供开发人员针对性优化.
最近学习极客时间的MySQL45讲，补充下对于MySQL方面的知识，也在这里把自己之前的疑惑问题记录下来，从中寻找答案。由于InnoDB为常用引擎，以下分期默认都是InnoDB场景。
在各类技术岗位面试中，似乎 MySQL 相关问题经常被问到。无论你面试开发岗位或运维岗位，总会问几道数据库问题。经常有小伙伴私信我，询问如何应对 MySQL 面试题。其实很多面试题都是大同小异的，提前做准备还是很有必要的。本篇文章简单说下几个常见的面试题，一起来学习下吧。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
