前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >专栏 >将chatGPT与传统搜索引擎结合——创建新一代的搜索引擎

将chatGPT与传统搜索引擎结合——创建新一代的搜索引擎

原创
作者头像
点火三周
修改于 2023-01-31 01:08:07
修改于 2023-01-31 01:08:07
3.6K0
举报
文章被收录于专栏:Elastic Stack专栏Elastic Stack专栏

不到40天,ChatGPT的日活量已突破千万!而当年同样引起轰动的Instagram达到这一成就足足花了355天。

这代表着我们正在广泛且快速地接受被chatGPT重新定义的知识查询与获取的方式。

而这个需求在过去的20年中,是由类似google,baidu这样的搜索引擎所定义和满足的。现在,范式革命正在出现。这也是为什么google对于chatGPT与微软走得很近,如此紧张的原因。

因为chatGPT与必应的结合,必然会带来一场新的革命,甚至可能是颠覆式的。本文将尝试讨论如何构建基于人工智能语言理解和AIGC的搜索引擎的可能,来提前一窥未来。

为什么我们会更接受chatGPT的模式

我们可以先从传统搜索引擎来看,我们是怎么进行交互的。

我们在搜索框中输入我们想要查询或者感兴趣的关键字,或者描述。

而后搜索引擎在搜索时的工作步骤大致如下:

  1. 接收用户的查询请求
  2. 利用索引(Index)来快速定位包含关键字的网页
  3. 排序和排名(Ranking),使用各种因素(如网页内容、链接等)来决定搜索结果的排列顺序
  4. 返回排名最高的搜索结果给用户
需要筛选的列表
需要筛选的列表

在没有chatGPT之前,我们大多数时候是非常满足这种一次性的交互的。我们可以通过多次独立的搜索最终获取我们需要的答案。

但chatGPT出现之后,游戏的方式被改变了。它解决的主要问题在于:

  1. 自然语言处理能力强:chatGPT可以理解自然语言查询,并回答相关问题,而搜索引擎通常只能处理简单的关键词查询。
  2. 上下文认知能力:chatGPT可以根据用户提供的上下文信息来理解查询并回答问题,搜索引擎通常只针对单次查询进行回答。
  3. 交互性强:chatGPT可以进行更加深度的交互和延展交互,而搜索引擎通常只返回一组搜索结果。
  4. 更好的用户体验:chatGPT可以生成易于理解的结果,而搜索引擎返回的结果通常是一些网页链接,需要用户自己去浏览。

这样,无论是从知识获取的效率,还是深度交互和延展上,我们都获得了极大的满足和提升。

更接近人类交互的方式:明确、直接
更接近人类交互的方式:明确、直接

我们不再需要筛选结果,不需要点击网页等待跳转,不再需要分割多次查询,可以直接延伸交互,甚至是可以纠错。形象点的描述,搜索引擎更像是一本高效实时的字典,而chatGPT更像是一个知识渊博的老师,能跟你交流,告诉你想要知道的知识,虽然它可能犯错。但一样的,搜索引擎也可能犯错,毕竟有邪恶的SEO的存在,或者本身就是包含了错误内容的答案。

chatGPT相对于搜索引擎的不足之处

我们提到的可能的范式革命的出现,并不是用chatGPT这样的聊天机器人直接取代搜索引擎。因为chatGPT并不能取代搜索引擎,ChatGPT是一个大型语言模型,它相对于搜索引擎有以下不足之处:

  1. 准确性:尽管ChatGPT已经被训练了大量的数据,具有很高的回答率,但它仍然存在错误和误导信息的可能。(但搜索引擎同样存在错误和误导)
  2. 数据更新:ChatGPT在训练时截止到2021年
  3. 知识范围:ChatGPT的知识是有限的,没有搜索引擎的知识库那么丰富
  4. 生成速度:与搜索引擎相比,生成结果的速度可能更慢,因为需要计算和生成结果
  5. 推理能力:搜索引擎可以根据查询词进行关键字匹配,但ChatGPT不具备这样的推理能力

但正如最开始提到的,ChatGPT的模式正在被广泛且快速的接受,因为它弥补了传统搜索引擎在理解和交互上的不足,一旦我们适应了新的事物,陈旧与低效的方式总会被替代,就如电子相机替代机械相机,因为我们可以美图,可以交互。

chatGPT与传统搜索引擎结合

正如Keras之父所说,“搜索与生成根本就是两个问题,原理上就决定了两者无法相互取代。”我们要做不是用chatGPT

取代搜索引擎,Keras之父没有说完的是:生成式AI和搜索引擎是互补关系,我们需要的是结合两者优势的新一代工具。

这种新型搜索引擎将利用chatGPT等生成式AI负责交互的部分:利用chatGPT的语言理解能力来更好地理解用户的查询,也将利用chatGPT的生成能力,给我们组织更明确和直接的内容,并记录上下文,开展更有深度和延展性的交互。

而搜索引擎将隐藏在交互接口的背后,并使用传统搜索引擎的索引和排名算法来为AI提供补充和校准。

这种结合将帮助提高搜索体验和满足用户的查询需求。

其具体工作原理可以如下:

  1. 查询解释:使用chatGPT或类似的语言模型来解释查询的意图(包括是否是包含上下文的互动式交互),判断是否是chatGPT无法回答的问题或是否是最新信息的检索。
  2. 搜索结果获取:当查询是chatGPT无法回答的问题时,使用传统搜索引擎来获取最相关的网页。
  3. 搜索结果理解:使用chatGPT或类似的语言模型来理解搜索结果并生成易于理解的结果。
  4. 结果生成模块:将语言理解和排名的结果结合生成最终的搜索结果,并记录上下文

这种方式能够更好地理解用户的查询意图,并为用户提供更准确的搜索结果,提高搜索体验。

同时,可以在界面上明确的告知结果生成的过程,并包含搜索引擎介入时的相关网页链接。当用户认为结果并不准确,或并非最新的结果时,可以反馈,以帮助AI增强学习。

架构示意图如下:

架构示意图
架构示意图

因此,交互会看起来像这样,当交互搜索引擎无法直接回答时,将给客户提供网页链接,并根据预处理模型的理解,以及客户反馈,通过增强学习来强化AI模型的能力,学习新的知识。

期望中的交互搜索
期望中的交互搜索

总结

以前,科学家的研究成果到应用于大众生活,这条路很远很长。但AI领域,一个算法的研究,可能第二天就能影响我们的生活。这种现象是因为AI技术的发展速度非常快,新算法的研究成果可以在短时间内迅速被应用到各个领域,并产生实际影响。与传统科学研究相比,AI研究成果的落地速度要快得多;AI在改变我们生活方式和工作方式方面发挥的作用,会以我们想象不到的方式到来。

不要觉得这很遥远,可能在不远的几个月内,你将体验到这种新的搜索引擎。

对于我们普通人来说,AI技术将带来一场内在的社会变革,我们无需深入掌握人工智能的奥秘,但如果能将它应用到日常生活和工作中,你的效率和生活质量将比那些不使用AI的人大大提高。只需要将其作为日常生活和工作的一个工具,就能够发挥其强大的威力,使你超越从未使用AI的人!

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
HTTP - HTTP/2 知识点
在《图解HTTP》的读书笔记[《图解HTTP》- HTTP协议历史发展(重点)]当中介绍了一部分关于HTTP/2的内容,但是内容比较简短没有过多深入,本文对于HTTP/2 协议做一个更深入的介绍。
阿东
2022/10/20
1.7K2
HTTP - HTTP/2 知识点
《HTTP/2 基础教程》 阅读摘要
最近粗线了不少 HTTP2 相关的帖子和讨论,感觉新一轮的潮流在形成,所以最近找了本 HTTP2 相关书籍做知识储备,刚好记成笔记以备后询 ~
前端下午茶
2019/06/27
1.1K0
《HTTP/2 基础教程》 阅读摘要
原来你是这样的http2
目前HTTP/2.0(简称h2)已经在广泛使用(截止2018年8月根据Alexa流行度排名的头部1千万网站中,h2占比约29%,https://w3techs.com/technologies/details/ce-http2/all/all)。写此文章的目的是:h2作为较新的技术,并逐渐占有率广泛,虽然目前有更新的QUIC,但其实现思路类似于h2。颠覆以往的HTTP/1.x,H2的创造性的技术值得我们细细品味。此篇文章根据笔者在h2开发经验和思考,向你介绍全面的h2知识以及是非功过。本篇更注重于帮助读者理解h2的设计思路、亦可作为一篇RFC导读或者总结。
mariolu
2018/08/23
2.5K2
原来你是这样的http2
二、《图解HTTP》- HTTP协议历史发展(重点)
这一章节基本上大部分为个人扩展,因为书中的内容讲的实在是比较浅。本文内容非常长,另外哪怕这么长也只是讲到了HTTP协议的一部分而已,HTTP协议本身十分复杂。
阿东
2022/08/12
6590
二、《图解HTTP》- HTTP协议历史发展(重点)
半小时搞懂 HTTP、HTTPS和HTTP2
HTTP 超文本传输​​协议是位于 TCP/IP 体系结构中的应用层协议,它是万维网的数据通信的基础。
谭光志
2020/09/28
5.2K0
HTTP2基础教程-读书笔记(四)
记录一下HTTP/2的底层原理,帮助理解协议实现细节。 连接 每个端点都需要发送一个连接作为最终确认使用的协议,并建立http/2连接的初始设置。客户端和服务器各自发送不同的连接前导(preface)
前端黑板报
2018/03/21
1.1K0
HTTP2基础教程-读书笔记(四)
HTTP2学习笔记
http1.1过于庞大,有很多实现的细枝末节很难彻底实现。导致客户端和服务端的互用性存在问题。
用户7962184
2020/11/20
5330
HTTP/2探索第二篇——工具及应用
由于不同环境过于复杂,本文仅基于Mac OS和Linux来讲解工具及应用。 目录结构: HTTP/2环境搭建Step by step wireshark使用 fiddler使用(会持续更新) nginx的简单配置 h2o服务器及其Server Push策略思想简介 —— h2o实现的可感知缓存的Server Push,我们借用终端的力量应该能实现的更好 curl —— 涉及到HTTP2的调试 nghttp —— 一个HTTP2客户端请求工具,可以显示出请求的Frame nghttpd —— 一个HTTP2服
小时光
2018/01/29
3.1K0
HTTP/2学习笔记
上图中流A和B没有依赖关系,权重分别为12和4,则A和B获取资源的比例为3/4、1/4;C依赖于D,则D需要等待C后分配资源。
用户1472179
2019/04/01
1.3K0
HTTP探索之路 - HTTP 1 / HTTP 2 / QUIC
从1989年万维网(www)诞生,HTTP(HyperText Transfer Protocol)经历了众多版本迭代,WebSocket也在期间萌芽。1991年HTTP/0.9被发明;1996年出现了HTTP/1.0;2015年HTTP/2正式发布;2020年HTTP/3或能正式使用。以下将会简单介绍。 一、HTTP 1.1 与 HTTP 2 1.1 HTTP 1.1 的缺陷 高延迟 — 队头阻塞(Head-Of-Line Blocking) 无状态特性 — 阻碍交互 明文传输 — 不安全
用户1097444
2022/06/29
8060
HTTP探索之路 - HTTP 1 / HTTP 2 / QUIC
WEB性能--HTTP 2.0介绍
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
从入门到进错门
2019/09/25
9410
温故知新,HTTP/2
去年年底,据国际互联网工程任务组( IETF )消息,HTTP-over-QUIC 实验性协议将被重命名为 HTTP/3,即有望成为 HTTP 协议的第三个正式版本,也就是说HTTP/3可能要来了。 该消息是如此的惹人注目,是因为HTTP是我们身边的协议,Web应用都离不开它。
半吊子全栈工匠
2019/01/23
5530
5G网络SBA架构HTTP2安全威胁分析
5G网络的出现大幅提高了网络的传输速率和带宽,正在为广泛的新兴产业提供服务。在5G网络中,其核心网的控制面采用服务化架构(SBA,Service Based Architecture)设计,其信令传输使用第二版超文本传输协议(HTTP/2),应用程序接口(API)则用于各种服务的交付,因此核心网架构的转变也给5G网络带来了很多潜在的网络安全挑战。本文解读了2022年12月发表在《IEEE Communications Magazine》(IF=11.2)杂志上的一篇文章《A Security Assessment of HTTP/2 Usage in 5G Service Based Architecture》,由于篇幅问题,本文首先对5G SBA架构及其安全特性进行了介绍,并对5G SBA架构中HTTP/2协议安全威胁进行了分析。
绿盟科技研究通讯
2023/08/31
9330
5G网络SBA架构HTTP2安全威胁分析
再谈HTTP2性能提升之背后原理—HTTP2历史解剖
即使千辛万苦,还是把网站升级到http2了,遇坑如《phpcms v9站http升级到https加http2遇到到坑》。
周陆军
2019/01/28
1.8K1
Nginx学习之HTTP/2.0配置
哎呀,一不小心自己的博客也是HTTP/2.0了,前段时间对网站进行了https迁移并上了CDN,最终的结果是这酱紫的(重点小绿锁,安全标示以及HTTP/2.0请求)。 科普 随着互联网的快速发展,HT
小柒2012
2018/04/13
1.2K0
Nginx学习之HTTP/2.0配置
HTTP/2:HTTP/1.1你该进步了
HTTP2的优点我们后面会一一列出,但是一个新的东西的升级必须要做到向前兼容才能快速推广,因为只有这样才能减少对用户的影响。
shysh95
2021/12/04
1.1K0
HTTP/2:HTTP/1.1你该进步了
一文读懂 HTTP/1HTTP/2HTTP/3
作者:charryhuang,腾讯 CSIG 前端开发工程师 从 1989 年万维网(www)诞生,HTTP(HyperText Transfer Protocol)经历了众多版本迭代,WebSocket 也在期间萌芽。1991 年 HTTP0.9 被发明。1996 年出现了 HTTP1.0。2015 年 HTTP2 正式发布。2020 年 HTTP3 或能正式使用。以下将会简单介绍。 HTTP1.1 与 HTTP2 HTTP1.1 的缺陷 高延迟 — 队头阻塞(Head-Of-Line Blocki
腾讯技术工程官方号
2020/02/10
1.5K0
一文读懂 HTTP/1HTTP/2HTTP/3
解密HTTP/2与HTTP/3 的新特性
HTTP/2 相比于 HTTP/1.1,可以说是大幅度提高了网页的性能,只需要升级到该协议就可以减少很多之前需要做的性能优化工作,当然兼容问题以及如何优雅降级应该是国内还不普遍使用的原因之一。
浪里行舟
2019/10/18
9000
HTTP协议之:HTTP/1.1和HTTP/2
HTTP的全称是Hypertext Transfer Protocol,是在1989年World Wide Web发展起来之后出现的标准协议,用来在WWW上传输数据。HTTP/1.1是1997年在原始的HTTP协议基础上进行的补充和优化。
程序那些事
2021/08/26
1.9K0
终、《图解HTTP》读书笔记 - 汇总篇(总结)
又一本网络基础的书啃完了,这本书建议结合[[《网络是怎么样连接的》读书笔记 - 汇总篇]]这一篇读书笔记食用(当然也可以直接看原书)。
阿东
2022/12/06
6590
终、《图解HTTP》读书笔记 - 汇总篇(总结)
相关推荐
HTTP - HTTP/2 知识点
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
查看详情【社区公告】 技术创作特训营有奖征文