ElasticON AI 2023大会回顾：深入探索 Elasticsearch 与人工智能的融合之路

简介

在2023年的 ElasticON AI大会上，我们见证了Elasticsearch如何通过融合人工智能技术来推动搜索引擎的发展。

这篇博客旨在为Elastic技术从业者提供一份详实的技术总结，涵盖会议中的主要讨论点，并深入解析这些创新如何影响我们处理数据和信息的方式。

一、Elasticsearch 的演变与创新

1.Elasticsearch的起源与发展

Elastic的创始人兼首席技术官 Shay Banon 回忆了公司早期在一个码头上举行的会议，以及Elasticsearch是如何从一个基于Apache Lucene的简单文本搜索引擎，发展为今天的复杂搜索解决方案。

这个发展过程中，Elasticsearch不仅支持了价格范围过滤等复杂搜索需求，还引入了地理搜索功能，标志着它从一个纯文本搜索工具转变为一个全面的数据解决方案。

• 2.地理搜索的进化

提到地理搜索，Elasticsearch利用BKD树数据结构大幅提高了地理搜索的效率。这一创新是Elasticsearch应对智能手机时代地理搜索需求激增的关键，使其能够有效处理基于位置的搜索查询。

• 3.Apache Lucene的革新

讨论了Apache Lucene引入的doc value列式存储技术。这一技术使得Apache Lucene在数据聚合方面的效率和性能得到显著提升，为Elasticsearch提供了强大的后端支持。

搜索改变了世界使用数据的方式，Elasticsearch Github 103K+ Stars，148K+的提交，3500+开源作者。

二、人工智能在Elasticsearch中的应用

如下张图让我印象极为深刻，一颗标有“Gen AI”的小行星正冲向地球，暗示着人工智能（AI）的冲击力量正如同历史上导致恐龙灭绝的那次天体撞击。在这个寓意深刻的场景中，两只恐龙代表着“搜索”技术，它们似乎无视即将来临的变革，继续进行它们的活动。

传统的搜索技术可能会因忽视AI革命的浪潮而面临被淘汰的风险。

上图还“暗喻”了当前技术趋势下，创新与传统的碰撞，以及人工智能带来的颠覆性变化。Elastic公司在这里可能在强调，面对AI时代的到来，搜索技术需要进化和适应，以避免像恐龙一样的命运。这是一个强烈的视觉呼吁，要求业界意识到AI变革的紧迫性，并与时俱进。

Elastic创始人 Shay Banon 强调：越是在生成式 AI 普及的年代，搜索变得越发重要！

2.1 向量搜索的引入

Elasticsearch现在支持向量搜索，使其在处理和理解自然语言查询方面更加高效。这不仅提升了搜索的准确性，也极大地改善了用户体验。

Elasticsearch AI 发展路径如上图所示。

2.2 Elasticsearch相关性引擎（ESRE）

介绍了ESRE，它结合了传统的搜索技术和人工智能技术。ESRE的目标是提供更相关、更精确的搜索结果，使用户能够快速找到所需信息。

关于ESRE，其实官方的如下解读更为精准。

官方给出定义：Elasticsearch Relevance Engine，我翻译为：Elasticsearch 相关性引擎——也就是基于ES自带的语义搜索（注意不是关键词精准匹配和全文检索，而是基于向量的搜索），与外部大模型LLM（第三方HuggingFace开源或者自己定义的模型）集成，实现混合搜索。

ESRE 通过融合了传统的搜索技术和现代的AI技术来增强Elasticsearch的功能。它使用机器学习算法和自然语言处理来理解和处理查询，而不仅仅是依赖关键词匹配。这意味着ESRE能够理解查询的语义意图，并根据这些意图提供更加准确的搜索结果。

ESRE的关键特点：

• 向量搜索

ESRE利用向量搜索技术来理解查询和文档之间的关系，这种方法可以捕捉到词汇表面之下的含义，从而为用户提供与查询语义更为贴近的搜索结果。

• 自然语言处理

通过深度学习模型，ESRE能够处理自然语言，让搜索引擎能够理解人类的语言，而不仅仅是机器语言。

• 机器学习

ESRE使用机器学习算法不断优化搜索结果，通过用户互动来学习并改进其性能。

• 个性化

ESRE能够根据用户的搜索历史和行为模式来个性化搜索结果，提供更加定制化的搜索体验。

• 实时分析

ESRE能够实时分析大量数据，为用户提供最新的信息和洞察。

2.3 检索增强生成（RAG）模式

强调了 RAG 在结合大型语言模型和Elasticsearch搜索能力方面的重要性。这种结合方式为用户提供了更丰富和精确的信息回复，打开了搜索技术新的应用领域。

三、Elasticsearch的未来展望

3.1 作为AI助手的角色

Elastic公司展示了如何将Elasticsearch作为AI助手来提供更智能的数据分析和洞察。这一应用领域的拓展显示了Elasticsearch不仅仅是一个搜索引擎，更是一个全面的数据处理平台。

Elastic致力于将其在搜索和AI方面的核心技术优势转化为易于用户和开发者使用的产品和服务，目标是提供最佳的搜索+AI体验。

这预示了Elastic在未来搜索技术发展中，将继续强调用户体验和产品易用性，同时不断深化其在AI领域的技术投入。

3.2 开放性与兼容性

Elastic公司强调了将来Elasticsearch将保持对各种AI模型和生态系统的开放性。这表明Elasticsearch将能够支持更多定制化和专业化的使用场景。

3.3 简化复杂性，和十年前刚发布的 Elasticsearch 一样好用！

Elastic公司致力于简化Elasticsearch的使用体验，即使在处理复杂的AI模型和向量搜索时，也能保持用户友好。未来将 Lucene 打造为最好的向量数据库！

使用过向量检索的读者会有反馈：“比较臃肿和复杂”，而Elastic创始人 Shay Banon 强调未来的新特性，大模型的集成会像使用自定义分词那么简单好用。

尤其多次强调会像 Elasticsearch 10年前刚发布的时候一样简洁好用。其实这个功能，我非常期待！相信大家也和我一样期待！！

ps：如果这个功能免费，相信会有更多的用户“蜂拥而至”！

四、结论

ElasticON AI 2023大会展示了Elasticsearch在人工智能领域的最新进展和未来方向。

4.1 Elasticsearch 相比于其他向量数据库功能更为强大

Elasticsearch提供了一整套完整的功能，能够满足生成式人工智能应用的需要，而不仅限于传统的矢量数据库所能提供的点解决方案。这体现了Elasticsearch在数据搜索和处理方面的领先地位，以及其在AI时代继续创新和服务各行各业的能力。

后续再有人问你，Elasticsearch 和 其他向量数据库有什么不同或者优势，记得把这张图抛给他！

4.2 Elasticsearch 未来三大愿景

• 愿景1：使Lucene成为世界上最好的向量数据库

表明Elasticsearch背后的技术Apache Lucene的发展重点是成为顶级的向量数据库，这种数据库优化了对于向量形式数据的存储和搜索，特别是在支持机器学习和AI应用方面。

• 愿景2：使Elasticsearch成为最全面、最简单的面向AI应用的搜索平台

这一目标突出了Elasticsearch的愿景，不仅要提供强大和全面的搜索功能，还要确保其搜索平台对于开发人工智能应用来说用户友好且易于使用。

• 愿景3：成为AI生态系统中最开放的成员

强调Elasticsearch希望在AI生态系统中扮演一个开放和协作的角色，与云服务提供商（如AWS、Google Cloud、Microsoft Azure）、AI硬件提供商（如NVIDIA）以及AI和机器学习社区（如Hugging Face、OpenAI等）紧密合作。

下图展示了Elasticsearch对未来搜索技术的信心，并强调了搜索在人工智能（AI）应用中的核心作用。

• 1、搜索是人工智能的关键基础设施

强调搜索技术是构建智能AI系统的基石。随着AI技术的发展，能够理解和处理自然语言的搜索平台变得至关重要。

• 2、Elastic在搜索+AI方面处于领导地位 确立了Elasticsearch作为集成搜索和AI能力的领先平台的地位。

这意味着Elasticsearch不仅仅提供关键词匹配的搜索能力，还包括了对AI驱动的语义搜索和数据分析的支持。

• 3、未来使用Elastic和GAI会变得非常简单易上手

强调 Elasticsearch 平台的用户友好性，表明即使是对于AI应用开发者来说，使用Elasticsearch作为其搜索和数据分析的后台是一种无缝且容易上手的过程。

Elasticsearch正在为支持下一代 AI 应用做好准备，并致力于使这个过程对开发者和企业尽可能简单。这表明Elasticsearch已经在智能搜索领域取得了重要进展，并且正在积极为更广泛的AI集成做准备。

4.3 Elasticsearch 未来应用场景

上图展示了Elasticsearch在多个不同业务场景中的潜在应用。鼓励我们想象Elasticsearch可以应用于哪些不同的用例，强调其作为搜索引擎加上AI的能力，可以解决多种复杂的问题。

具体的应用场景包括：

• HR Helpdesk 人力资源帮助台方面

在人力资源帮助台方面，Elasticsearch可以帮助回答关于公司401k政策的具体细节，例如一个特定地点的员工如何加入。

• Customer Success 客户成功管理领域

在客户成功管理领域，Elasticsearch可以用来分析特定区域（如旧金山）的消费者购买行为，例如哪些产品打折最深，哪些促销活动表现最好。

• Ecommerce 电子商务领域

在电子商务中，Elasticsearch可以帮助用户确定建立特定项目（如加州Gilroy市1英亩后院的灌溉系统）所需的材料清单和工具。

• Regulatory Compliance 法规合规领域

在法规合规领域，Elasticsearch可以用来识别哪些最近的交易可能不符合即将到来的2025年的规定要求。

• Corporate Finance 企业财务领域

在企业财务领域，Elasticsearch可以总结财务年度2024年收入确认和费用分类的变化。

• Predictive Maintenance 预测性维护方面

在预测性维护方面，Elasticsearch可以基于传感器数据和最近的客户评价来决定何时安排特定设备单元的维修。

Elasticsearch作为一个多功能的搜索和分析工具，不仅限于传统的搜索功能，还包括了预测分析、数据分析和帮助决策等能力。通过这种多元化的应用，Elasticsearch证明了其在各行各业中的巨大潜力和价值。

一句话总结：Elasticsearch不仅是一款搜索引擎，它也是一个不断进化、与时俱进并融入AI生态系统的平台。Elasticsearch正致力于提升其核心技术，以便更好地服务于当前和未来的AI驱动应用。

参考

https://www.youtube.com/watch?v=vhmuyee5vnQ

推荐阅读

1. 全网首发！从 0 到 1 Elasticsearch 8.X 通关视频
2. 重磅 | 死磕 Elasticsearch 8.X 方法论认知清单
3. 如何系统的学习 Elasticsearch ？
4. 2023，做点事