首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >腾讯大厦Elastic2活动会2026年01月06日周六

腾讯大厦Elastic2活动会2026年01月06日周六

作者头像
用户7148769
发布2026-06-17 12:27:24
发布2026-06-17 12:27:24
1140
举报

一、会议基本信息

1. 时间:2026年01月10日(13点32分-17点48分)

2. 地点:腾讯大厦

3. 参会人员:刘晓国、Lou(新智锦秀Newmind的AI解决方案架构师)等多位讲师及现场参会者(含开发者、企业从业者、大学生、学术研究人员等)

4. 会议主题:Elastic相关产品技术分享、功能应用探讨及行业实践交流,涵盖安全测试、AI助手、向量搜索、RAG技术、MCP方案、数据存储架构、搜索模型等核心话题

感谢苗老师,课代表厉害了,感谢参会的志愿者们,辛苦了,2026年我们加油,从Elastic开始

感谢苗老师,课代表厉害了,感谢参会的志愿者们,辛苦了,2026年我们加油,从Elastic开始

二、会议主要内容

(一)安全测试与Elastic产品应用相关讨论

1. 安全测试机构与产品认可度:AV Comparatives是全球公认的权威安全测试机构,就像安全领域的“第三方裁判”,Intersight这款产品在该机构的多次测试中都排名靠前,和大家熟悉的卡巴斯基一样,都是靠谱的安全解决方案相关产品。值得一提的是,美国国防部的搜索业务都在使用Elastic产品,足以见得它的可靠性。

2. Elastic的收购背景:Elastic公司曾经收购了一家叫Endgame的公司,这家公司的产品解决方案质量检测通过率能达到90%以上,相当于给Elastic的产品实力又加了一层“buff”。

(二)AI助手功能、优势及使用场景

1. 产品定位与迭代:AI助手可不是普通的聊天工具,它是基于Elasticsearch平台升级到3.0版本的智能帮手。它能帮大家提高数据分析效率、让决策更准确,还能自动处理一些运维工作,就像一座桥梁,把大家自己的数据和先进的生成式AI连接起来。

2. 核心技术支撑:它背后融合了多种先进技术,比如能从数据里挖有用信息的数据挖掘、能让机器学东西的机器学习、能让机器懂人话的自然语言处理、能通过说话搜索的语音搜索技术,还有大模型和RAG技术。它还自带丰富的接口,能精准调用需要的功能,不用大家自己费劲琢磨。

3. 主要功能及操作:

- 数据处理全流程覆盖:从给数据结构起名,到提取、清洗杂乱数据,再到分析数据、做成直观的图表,甚至管理数据的“生命周期”(比如数据该存多久、什么时候清理),它都能搞定。还能自动生成数据索引规则、创建模板,把混乱的日志内容整理到对应的分类下,让数据变得整整齐齐。

- 便捷操作特性:不用大家掌握复杂的查询和图表工具,就像跟人说话一样,用自然语言告诉它需求就行。比如想“看一下最近一周的销售数据”,它就能直接处理。分析结果能随时做成图表,还能根据需要调整样式,轻松加到工作仪表板里;数据的管理和相关操作也能通过它完成,不用切换多个工具。

4. 实际应用场景举例:比如你需要更新航班延迟的相关数据,但又不会用专业的数据分析工具,这时用AI助手,跟它说“帮我更新最近航班延迟情况”,它就能快速帮你完成,不用自己手动操作一堆步骤。

5. 平台连接器支持:它就像个“万能接口”,能和Elastic自家的产品(比如Elasticsearch、Kibana)无缝对接,也能连外部工具,像云端硬盘、数据库、邮箱、存储文件的工具、聊天软件等都能兼容。如果有特殊需求,还能定制专属接口,甚至能通过爬虫从网上抓取需要的数据。

(三)向量搜索及AI agents知识讲解

1. 讲师自我介绍与学习资源分享:讲师刘晓国分享了自己从完全不懂到精通InDesign的学习经历,给初学者打了打气。他还推荐了实用的学习资源:B 站和Gitup上有相关视频教程,meetup是活动报名平台,后续22号、23号还有线上分享会;另外,白皮书里有详细的产品介绍、核心概念和安装步骤,跟着学就能入门。

2. Elastic产品背景与应用场景:这款产品的起源很有趣,它的CTO最初是想给妻子做一个能搜索菜单的APP,虽然菜单APP没做完,但这款搜索产品却火遍了全球。现在我们常用的抖音、小红书、快手、滴滴、美团、携程、微博、B 站等APP的搜索功能,背后都有它的支持;疫情防控时查行程、去公安局报案、查户口等场景,也用到了它的相关技术,它还被评为“改变世界的15个开源软件之一”。

3. 向量搜索核心知识讲解:

- AI时代的搜索需求:以前搜索只能输关键词,比如在文档里搜“腾讯”,只能找到包含“腾讯”两个字的内容。但AI时代的搜索不一样,它能懂你的意思和意图,比如你搜“想找一个能聊天的社交软件公司”,它能知道你要找腾讯;还能支持图片、声音、文字一起搜(多模态搜索),比如拍一张天安门的照片,能搜到相关的文字介绍和视频。

- 向量的通俗理解:向量其实就是把各种事物用数字描述出来,比如给相亲对象打分,年龄25岁、学历本科、身高175cm、距离3公里,把这些数字组合起来就是一个向量。图片也能转换成这样的数字组合。通过专门的技术,文字、图片等都能变成向量,然后根据数字之间的相似度排序,比如两个事物的数字组合越像,就说明它们越相关,搜索结果就会排在前面。

- Elastic的向量搜索优势:它能支持两种向量(密集向量和稀疏向量),还能自动把文字、图片等转换成向量,不用大家手动处理。它还会把传统的关键词搜索和向量搜索结合起来(混合搜索),让搜索结果更全面、更准确。同时通过硬件加速、数据压缩等技术,让搜索速度更快、更省资源。

4. Retrievers功能:它支持多种搜索方式,比如传统的关键词搜索、向量搜索等,还能调整不同搜索方式的权重。比如你觉得文字关键词搜索更靠谱,就可以给它加重点权重;如果是找相似图片,就给向量搜索加权重。还能结合行业专属模型(比如医疗、法律领域的专门模型),让搜索结果更贴合行业需求。

(四)RAG相关技术与应用讲解

1. ReRank的重要性:RAG简单说就是“让大模型不瞎猜”的技术。比如你用大模型搜“2025年北京最低工资标准”,它可能会因为数据过时瞎回答。而RAG会先从可靠的数据库里搜相关结果,再把结果交给大模型。但搜索结果可能有排序不准的情况,比如最相关的结果排在了第四位,ReRank就是把这些结果重新排序,把最相关的提到前面,让大模型能拿到准确的信息。

2. 相关工具与技术:

- Learning to rank:通过分析用户的行为数据来优化搜索排序,比如很多人搜“奶茶”后都点了“喜茶”的相关结果,系统就会把“喜茶”的结果排得更靠前。

- 脚本工具:如果搜索结果不多(比如前10个),可以用脚本工具精准计算它们的相似度,进一步提高结果的准确性,再交给大模型使用。

- Semantic text字段:能自动把长文本分成小块,比如一本PDF书,会分成一个个小段落,每个段落变成一个向量,这样搜索时能精准找到对应的段落,还能保证段落之间的语义连贯(比如前一个段落和后一个段落有重叠内容)。

3. RAG核心价值与实现原理:

- 核心价值:解决大模型的“幻觉”问题(也就是瞎回答)。大模型的知识有保质期,而且不知道大家的私有数据(比如公司内部的业务数据),RAG能把这些私有数据存到专门的数据库里,搜索时提取相关结果,让大模型基于这些准确数据回答,避免瞎猜。

- 实现流程:你提出问题后,先在向量数据库里搜索,既可以用关键词搜,也可以用向量搜,拿到结果后排序优化,再把最相关的5-10个结果和你的原始问题一起交给大模型,大模型就能给出准确答案。

4. 多模态支持与第三方集成:它能支持图片、文字、声音等多种类型的搜索,还能和微软、IBM、阿里、腾讯等公司的产品对接,这些公司有强大的技术能力,能进一步提升搜索和分析效果。

5. Demo演示与应用场景:讲师现场演示了很多实用功能,比如搜“我想喝饮料”,能搜到“我想喝果汁”的相关结果;搜“中国搜索公司”,能精准找到百度;还能查询产品的操作记录、检测网站是否被攻击、把枯燥的传感器数据做成直观的仪表板、搜索音乐片段找到对应的完整歌曲等。还有AI Builder功能,能创建专属的智能助手,比如创建一个“统计员工平均年龄”的助手,直接问它就能得到结果;playground能导入小说、PDF等文件,直接对文件提问,比如导入《爱丽丝梦游仙境》,能问“主角遇到了哪些奇怪的生物”。

(五)基于MCP方案的数据处理及应用讨论

1. MCP方案背景与核心价值:传统的RAG技术处理海量数据时会“犯难”,比如数据库里有几千万条数据,它会一次性返回一大堆,大模型根本处理不了。而MCP方案就像给大模型配了一个“智能导航”,不用让大模型看所有数据,而是让它精准找到需要的数据。比如你想查“2024年公司的销售冠军”,MCP会直接定位到相关的销售数据,不用大模型从几千万条数据里翻找。

2. MCP核心模块与工作原理:

- 核心模块:主要包括“客户端”(你用来提问的工具,比如电脑、手机)和“服务端”(介于你和数据库之间的“中转站”),核心功能是“资源管理”和“工具调用”,现在用得最多的是“工具调用”,也就是让大模型知道该用哪个工具查数据。

- 工作流程:你用自然语言提问(比如“查一下最近7天网站的攻击情况”),问题先传到大模型,大模型判断需要调用数据库工具,就会通过MCP服务端发送查询请求,服务端会负责验证身份、对接数据库,最后把查询结果返回给你。

3. 实战演示与工具优势:

- 实用功能演示:讲师现场展示了如何用它监控机器运行状态,比如查机器的日志、流量数据,它能自动整理索引、编写查询规则,快速告诉你机器上运行了哪些程序;还能查网站的访问数据,比如最近30分钟有多少人访问、有没有VPN相关访问;甚至能检测网站的攻击情况,比如最近7天有多少次高危攻击、中危攻击,这些攻击有没有被成功拦截。

- 工具优势:不用大家预先设置复杂规则,大模型会自动判断该怎么做、分几步做。支持在自己公司内部部署(私有部署),数据不会泄露;接口兼容,不管对接哪个厂家的产品,操作方式都差不多;而且是开源的,大家能免费下载使用。

4. 相关讨论:现场参会者还聊了开源项目怎么运行、Docker工具的配置难点、AI一体机的价格和性能、哪些AI相关产品值得关注等话题。

(六)数据存储架构及搜索场景建设讨论

1. 混合存储架构:Elastic采用“SSP + Cloud”的存储方式,简单说就是数据刚产生时存在快速存储设备(SSP)上,方便快速读取;时间久了之后,会自动转移到更稳定、更省钱的存储设备(TOP)上,既保证了使用效率,又能降低存储成本。

2. 数据写入与生命周期管理:数据写入时,会有主数据和备份数据(副本),主数据会做完整处理,备份数据只记录和主数据的差异,这样能节省资源、提高写入速度。数据会存放在三个地方(主设备、备份设备、云端),后续会慢慢清理掉不需要的备份数据,最终只保留核心数据,既安全又不浪费存储空间。

3. 腾讯云ES搜索场景建设与优化:

- 核心需求:搜索场景需要满足“高可靠”(比如全年99.99%的时间都能正常使用,也就是4个9的SLA)、“高安全”(防止数据泄露)、“高性能”(搜索速度快),还能及时发现并处理异常情况(比如搜索服务卡顿、数据导入失败)。

- 优化措施:支持在不同地区部署服务,比如在北京和上海都部署,就算一个地区的服务出问题,另一个地区能继续用;还会提供统一的访问地址和节点管理,方便大家维护。

(七)公司搜索模型及相关工作介绍

1. 团队与模型发展:公司的模型团队和Elastic的团队合并后,成员分布在北美、欧洲、新加坡等地,一起研发模型。从2023年开始,模型从1.0版本迭代到3.0版本,从只能处理单一类型数据(比如只有文字),发展到能处理文字、图片等多种数据(多模态);从只能用一种向量描述事物,发展到能用多种向量,搜索和分析能力越来越强。还推出了专门的模型,比如能识别图片和文字关联的模型、能检索代码的模型等,部分模型还被其他公司(比如千问)作为对比评测的参考模型,得到了行业认可。

2. Reader系列产品:

- Gina Reader API:它的功能很实用,你给它一个网页链接,它能帮你爬取网页上的数据,还能把杂乱的网页内容(比如带广告、多余格式的内容)整理成整洁的Markdown格式,方便后续分析和使用,在行业内很受欢迎。

- Rader LLM:在Gina Reader的基础上做了升级,能更精准地转换内容,现在还支持把PDF文件的内容转换成整洁的格式,后续还会持续优化PDF处理功能。

3. 行业分析与模型集成:现在搜索领域技术更新很快,比如模型能支持更多维度的数据、能压缩数据节省资源等。金纳模型(公司的核心模型品牌)会融入Elastic的产品生态,作为默认推荐模型,同时大家也可以选择其他品牌的模型(比如Copilot、千问)。而且公司的模型都会开源,大家能在Hugging Face平台上免费获取,还能看到详细的技术报告和使用教程。

4. RAG中排序模型相关:传统的排序模型只看单个结果和查询的相关性,比如搜“苹果”,只会把包含“苹果”且相关性高的结果排在前面,可能会出现很多重复或相似的内容。新模型(V3)会同时看多个结果之间的关系,比如避免把重复的内容都排在前面,保证结果的多样性,让你能获取更全面的信息。这个新模型已经开源,大家能在GitHub上下载,后续还会在新加坡的AI 2026大会上做技术分享。

(八)多模态模型相关研究与应用探讨

1. 端到端评测与结果分析:讲师团队做了实际测试,用常见的数据集(比如HotpotQA、Wiki等)测试模型效果,用“回答准确率”作为评估标准。结果显示,新模型(V3)的排序效果更好,对应的回答准确率也更高;新的选择性排序策略在数据干净、无重复的理想场景下效果提升不明显,但在真实场景(比如多个来源的搜索结果混合、数据有重复)下,能明显提升结果质量;还能通过设置阈值过滤不相关的结果,比如只保留相关性大于0.1的结果,减少无用信息,让大模型处理起来更高效。

2. 未来发展方向:

- 动态K值:现在RAG技术默认只返回前5个或前10个结果,但不同查询需要的结果数量不一样,比如简单问题3个结果就够,复杂问题可能需要15个结果。未来会根据查询的复杂程度、数据的长度等,自动调整返回的结果数量(动态K值),让搜索更贴合需求。

- 技术迭代:现在搜索优化主要靠“对比学习”技术,未来会引入“强化学习”等新技术,让模型能自动优化结果多样性、判断信息价值等。

- 多模态检索普及:图片、文字、声音等多模态一起搜索会成为重要方向。以前搜图片里的文字,需要先识别文字再搜索,现在的多模态模型能直接把图片和文字转换成统一的向量,不用单独识别文字,搜索更高效。公司早在去年4月就推出了支持图文搜索的模型(Rock M0),虽然模型体积稍大,但在PDF、图像文档搜索等场景下表现很好。现在千问等大厂也推出了多模态模型,会让更多人接受这种搜索方式。

3. QA环节:

- 模态鸿沟问题:以前跨模态搜索(比如用文字搜图片)存在“偏见”,比如文字查询更倾向于匹配文字结果,就算图片更相关也可能排在后面。现在通过技术优化,这个问题已经大幅改善,跨模态搜索的准确性提高了很多。

- RAG与传统OCR的关系:RAG技术能变革传统OCR(文字识别)的使用方式,比如以前OCR识别图片文字后,还需要手动搜索,而RAG能自动把OCR识别结果和向量搜索结合起来,直接返回相关的完整结果,不用手动多步操作。

(九)模型部署及相关技术问题讨论

1. 模型兼容性与使用方式:模型能用于压缩数据、优化上下文,还能作为工具链调用其他模型和搜索方案。它的接口是行业通用标准,就像大家都用USB接口充电一样,不管对接哪个厂家的产品,调用方式都差不多,和调用ChatGPT的接口一样简单。腾讯开源了相关模型,大家能免费下载,也能在自己公司的服务器上部署(私有部署),不用依赖外部平台。

2. 技术问题解答:

- 模型本地训练与安全:如果是公司自己的模型,能在本地训练,部署时可以选择不把模型文件放到云上,内部程序会在部署完成后删除相关文件,不用担心数据泄露。

- 缓存大小与命中率:缓存大小一般在50-400之间,实际使用中可能更大,相关理论在实践中的具体应用,会有专业人员后续对接解答。

- 频繁写入与强制合并:如果频繁往数据库里写数据,会产生很多小数据块(segment),搜索时需要遍历所有小数据块,速度会变慢。强制合并就是把这些小数据块合并成一个大数据块,减少遍历次数,提高搜索速度。大家可以在控制台设置定时合并任务,比如每天晚上11点合并,避开业务高峰期(比如有些公司的业务高峰期在夜里1-2点)。

3. 会议组织细节:因为会议时间有限,讲师和参会者的发言都尽量精简;现场的部分凳子是早到的参会者帮忙摆放的,氛围很融洽。

三、会议总结

本次会议全面覆盖了Elastic相关的技术、产品应用和行业实践,讲师用通俗易懂的语言分享了丰富的专业知识和实操经验,把复杂的技术概念转化成了大家能理解的日常场景案例。参会者积极交流探讨,从安全测试、AI助手、向量搜索,到RAG技术、MCP方案、数据存储和模型部署,每个环节都讨论得很深入。既有技术原理的详细解读,也有实际应用场景的落地分享,不仅让大家学到了实用的技术知识,还为后续工作开展、技术学习和行业合作提供了重要参考,有效促进了参会者之间的知识共享与经验交流。

感谢苗老师,课代表厉害了,感谢参会的志愿者们,辛苦了,2026年我们加油,从Elastic出发

感谢苗老师,课代表厉害了,感谢参会的志愿者们,辛苦了,2026年我们加油,从Elastic出发

感谢苗老师,课代表厉害了,感谢参会的志愿者们,辛苦了,2026年我们加油,从Elastic出发

感谢苗老师,课代表厉害了,感谢参会的志愿者们,辛苦了,2026年我们加油,从Elastic出发

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2026-01-10,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 黄宏亮数字 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档