大家好！我是开源君，一个热衷于软件开发和运维的工程师。本频道我专注于分享Github和Gitee上的高质量开源项目，并致力于推动前沿技术的分享。
暨2021年“十四五”规划将数字政府提上国家顶层设计后，今年两会期间，数字经济、智慧城市再一次成为各界关注的焦点。
针对这些棘手的问题，百度深耕产业界，选取NLP领域三大高频场景——检索、问答、情感分析，推出面向真实应用场景的系统功能，覆盖金融、电商零售、文娱、旅游、房地产、生活服务等多个行业，等均已基于相关方案成功完成业务上线。
问答系统是自然语言处理领域一个很经典的问题，它用于回答人们以自然语言形式提出的问题，有着广泛的应用。其经典应用场景包括：智能语音交互、在线客服、知识获取、情感类聊天等。常见的分类有：生成型、检索型问答系统；单轮问答、多轮问答系统；面向开放领域、特定领域的问答系统。本文涉及的主要是在检索型、面向特定领域的问答系统，通常称之为——智能客服机器人。
1、程序员多大年纪算高龄，届时该何去何从？ 随着年龄的增长，程序员会相对难以保持技能更新。许多人宁愿留在自己的舒适区，不冒任何风险。即使公司愿意给予他们很好地报酬，但…… 2、开源项目为什么都爱把动
大模型（LLM）相关理论研究与工程实践随着 GPT3 的发布，在学术界、工业界大爆发，备受各行各业关注，并涌现出一些赋能行业、促进生产力、生产关系变革的实践。GPT3 [1] 以及斯坦福计算机学院近 100+ 教授联名论文 [2] 将大模型列为第三轮 AI 浪潮，相对于传统的机器学习与深度学习，以 GPT3 为例的大模型涌现出处理各类任务的新范式：zero-shot、few-shot、in-context 等，同时也支持深度学习领域的 finetune，新范式让大模型能够低成本、快速处理各种任务，极大的缩短了数据准备与工程开发流程。
我们也很激动地看到 AI 巨头不断地开源最新、最快的模型，例如谷歌开源了语言模型 BERT，已经在所有 benchmark 数据集上取得了突破。
信息爆炸的时代，更需要我们拥有高效获得文档信息的能力。随着人工智能技术的快速发展，智能问答系统已逐渐成为提升这一能力的重要手段之一。2022 年以来，以 GPT-3 模型为代表的大规模语言模型能力的不断提升，为智能文档问答带来了新的机遇，前不久 GPT-4 模型的震撼发布更是再次颠覆人们的认知。 GPT 爆火后，人们往往聚焦于其巨大的模型和令人惊叹的自然语言生成能力，而少有人谈到如此具体的技术解析。 近日，亚马逊云科技联合 Jina AI 举办 Tech Talk 主题活动。Jina AI 联合创始人兼 C
https://tianchi.aliyun.com/competition/entrance/532126/information
问耕 编译整理 量子位 出品 | 公众号 QbitAI 今天一大早，Yann LeCun就转发了一条消息：Facebook开源了DrQA的代码。 DrQA是一个开放域问答系统。 关于DrQA，Facebook还发表了一篇论文《Reading Wikipedia to Answer Open-Domain Questions（阅读维基百科来回答开放域问题）》。这篇论文也入选了下周即将在温哥华召开的ACL 2017大会。 论文的作者为来自斯坦福的Danqi Chen（陈丹琦，之前毕业于清华姚班），以及来自Fac
工欲善其事必先利其器。做人工智能，必然少不了基础框架。深度学习领域两大主流框架TensorFlow和PyTorch，一个是来自Google，另一个来自于Facebook. 国内其实也有不少框架，百度的Paddle算是做得最早的，除此之外，还有华为的MindSpore等等。
ASP.NET MVC 系列文章 以下文章属于ASP.NET MVC 1.0 正式版 ASP.NET MVC雕虫小技 1-2 ASP.NET MVC 重点教程一周年版 第十一回 母版页、用户自定义控件及文件上传 ASP.NET MVC 重点教程一周年版 第十回 请求Controller ASP.NET MVC 重点教程一周年版 第九回 HtmlHelper ASP.NET MVC 重点教程一周年版 第八回 Helper之演化 用ASP.NET MVC自己管理自己的View：ASP.NET MVC File
从搜索引擎，一直到自动问答系统，自然语言处理（NLP）系统的发展已经极大地增强了我们获取文本信息的能力，帮我们节省了很多用来记忆和查找的时间精力。今天，每当我们脑海中涌现出问题的时候，我们的第一反应都是去搜索引擎（谷歌、百度、必应）上搜索一下。
Django Django - Django。 Channels - Channels旨在增强Django的异步能力，同时让Django不仅仅局限于Request-Response模型，能够支持WebSocket、HTTP2推送和背景任务。2015年出现的十大流行Python库 。 Django-Baker - Django Baker可以帮助开发者快速启动项目。只要提供app名称，Django Baker就可以根据models.py文件中的models，自动生成视图、表单、URL、admin页面以及
自从 ChatGPT、Stable Diffusion 发布以来，各种相关开源项目百花齐放，着实让人应接不暇。
若朴 编译整理 量子位 出品 | 公众号 QbitAI 刚刚，Google开源了一套问答游戏App系统。 通过一套模板工具可以，你只要给出问题和答案，就能搞出一套功能齐备的AI问答游戏。这套问答系统基
我们正在经历一个 Data + AI 的黄金时期，AI 已在大数据领域展现出巨大的潜力。QCon 全球软件开发大会·广州站邀请到 Datafuse Labs 联合创始人张雁飞老师分享题为《Databend: 大模型时代的 Cloud Warehouse 设计探索》的演讲，本文为 Databend 公众号由此整理。 完整幻灯片下载： https://qcon.infoq.cn/2023/guangzhou/presentation/5257
智能问答 (Intelligent Question Answering, IQA) 是自然语言处理（NLP）中的一个核心子领域，旨在设计和开发可以解析、理解并回答用户提出的自然语言问题的系统。这些系统的目标不仅仅是返回与问题相关的文本，而是提供精确、凝练且直接的答案。
为了从整体上描述基于文档的限定领域对话式问答系统要实现的功能，使用户能够对本系统有一个全面正确的认识，同时给程序开发者一个关于系统的使用，系统的功能模块，以及系统的各种技术解决方案一个详细的说明。
本项目主要围绕着特定领域知识图谱(Domain-specific KnowledgeGraph:DKG)融合方案：技术知识前置【一】-文本匹配算法、知识融合学术界方案、知识融合业界落地方案、算法测评KG生产质量保障讲解了文本匹配算法的综述，从经典的传统模型到孪生神经网络“双塔模型”再到预训练模型以及有监督无监督联合模型，期间也涉及了近几年前沿的对比学习模型，之后提出了文本匹配技巧提升方案，最终给出了DKG的落地方案。这边主要以原理讲解和技术方案阐述为主，之后会慢慢把项目开源出来，一起共建KG，从知识抽取到知识融合、知识推理、质量评估等争取走通完整的流程。
ChatGPT 所取得的巨大成功，使得越来越多的开发者希望利用 OpenAI 提供的 API 或私有化模型开发基于大语言模型的应用程序。然而，即使大语言模型的调用相对简单，仍需要完成大量的定制开发工作，包括 API 集成、交互逻辑、数据存储等。
机器之心报道 编辑：李泽南 企业智能化转型才是 AI 应用最先成熟的方向？ 港交所 8 月 13 日披露，知名人工智能平台公司第四范式已向港交所主板提交上市申请。高盛、中金公司为联席保荐人。 第四范式成立于 2014 年 9 月，根据灼识咨询报告，在 2020 年，第四范式在中国以平台为中心的决策型 AI 市场排名第一。不同于计算机视觉赛道上众所周知的「AI 四小龙」，第四范式聚焦决策型 AI 领域，提供以平台为中心的人工智能解决方案，可帮助企业实现人工智能快速规模化的转型落地，发掘数据隐含规律并以超越人
对话系统是自然语言处理的一个热门话题，而自然语言理解则是对话系统的关键组成部分，现有的很多自然语言理解工具往往以服务的方式获取（Google 的 API.ai, Facebook 的 Wit.ai 等），使用这些服务往往需要向服务提供商提供自己的数据，并且根据自己业务调试模型很不方便。本文为大家介绍了一种新方法，即如何基于 rasa 搭建一个中文对话系统。 在近期 AI 研习社举办的线上免费公开课上，来自北京邮电大学网络技术研究院的张庆恒分享了基于 rasa nlu 构建自己的自然语言理解工具，并结合 r
本篇介绍聊天机器人中出现的比较早的一种：问答系统。问答系统跟检索技术很相似，基本的功能就是，用户可以向系统咨询信息，系统通过“检索”，向用户返回精准、有效的信息。所以，常常有人说，问答系统是搜索引擎的最终形态。
机器之心发布 机器之心编辑部 机器之心《2020-2021 全球 AI 技术趋势发展报告》节选：顶会趋势（NeurIPS）分析。 2021 年伊始，机器之心发布《2020-2021 全球 AI 技术趋势发展报告》，基于顶会、论文及专利等公共数据、机器之心专业领域数据仓库，通过数据挖掘定位七大趋势性 AI 技术领域。 此外，该报告还邀请了近 100 位专家学者通过问卷调查，形成对这七大技术领域近年发展情况、成熟度与未来趋势的综合总结，并基于 2015-2020 年间的开源论文与专利语料，结合机器之心自有的新闻
在这篇文章中，我们将介绍这几天开源的三种数据集，它们与已有的通用数据集都不太一样，且更关注精细化的任务。例如在谷歌开源的 QA 数据集中，它里面都是真实的搜索问题，答案也都是从维基百科查找的。这种大型的真实数据集更适合训练一个不那么「低智商」的 QA 对话系统，也更符合成年人实际会问的一些问题。
3.1 选择服务器环境，这里我选择Linux系统的centos环境，然后再自己安装宝塔面板，大家可以自行先安装一下。
市场调研公司MarketsandMarkets提供的数据显示，预计全球向量数据库市场的价值将从2020年的3亿2000万美元激增至2025年的10亿5000万美元，这一增长对应的年均复合增长率为26.8%。
前段时间敖丙在和腾讯云工作人员接触的时候，他们发现我骨骼惊奇还在对手工作过有丰富的经验，所以希望我跟他们共事，但是前提是希望我对向量数据库足够了解。
你是否曾经在谷歌上随意搜索过一些问题？比如「世界上有多少个国家」，当你看到谷歌向你展示的是准确的答案，而不只是链接列表时，你是否感到十分惊讶？这个功能显然很酷炫也很有用，但是它仍然有局限。如果你搜索一个稍微复杂的问题，比如「我需要骑多长时间的自行车才能消耗掉一个巨无霸汉堡的卡路里」，你不会直接从谷歌搜索那里得到一个好的答案（即使任何人都可以通过谷歌搜索给出的第一个或第二个链接的内容得到答案）。
AI 科技评论按：当前，整个人工智能领域对自然语言处理技术的热情可谓空前高涨。一方面，这是由于借着深度学习的东风，计算机在各种自然语言处理任务中的表现有了突飞猛进的提高；另一方面，人们生活中大量的信息检索、语音识别、文本分析等应用对粒度更细、精度更高的专用自然语言模型提出了越来越高的要求。可以预见，随着信息时代数据量的不断增长以及人类社会中语料资源的不断丰富，自然语言处理研究将不断面临新的挑战。
问答系统对结构化知识的整理和运营成本高，使企业场景中问答应用的扩展性受到较大挑战。文档问答对数据的组织形式要求降低，是对更少的人工、更多的智能的一种有价值的探索。本次直播从问答系统的发展历程谈起，聊聊问答系统的现状和应用；介绍文档问答系统的优势及困难、应用场景；分享一些我们的算法技术实践工作；最后谈谈从算法到产品的思考。
自动问答（Question Answering, QA）是指利用计算机自动回答用户所提出的问题以满足用户知识需求的任务。不同于现有搜索引擎，问答系统是信息服务的一种高级形式，系统返回用户的不再是基于关键词匹配排序的文档列表，而是精准的自然语言答案。
自从2020年OpenAI发布GPT-3之后，大型语言模型（LLM）就在世界上广受欢迎，一直保持稳定的增长。直到2022年底，对于LLM和生成AI等广泛领域的兴趣才开始迅速增长，这可能是因为大量关于GPT-3的重大进展推动了这一趋势。Google发布了名为LaMDA的具有“有感知能力”的聊天机器人，首个高性能且开源的LLM——BLOOM也已经发布。此外，OpenAI还发布了他们的下一代文本嵌入模型和下一代“GPT-3.5”模型。在LLM领域取得巨大飞跃后，OpenAI推出了名为ChatGPT的新模型，使LLM成为人们关注的焦点。同时，Harrison Chase创造的LangChain也应运而生，这个库的创建者只花费了几个月的时间就构建出了令人惊叹的功能，尽管它还处于早期阶段。
AI 科技评论：不久前，斯坦福大学的计算机科学博士陈丹琦的一篇长达 156 页的毕业论文《Neural Reading Comprehension and Beyond》成为「爆款文章」，一时引起了不小轰动。而本文是她与同样师从 Christopher Manning 的同学 Peng Qi 一起发表的文章，两位来自斯坦福大学的 NLP 大牛在文中一起探索了机器阅读的最新进展。AI 科技评论编译如下。
在数字化时代，数据的安全存储与高效检索是科技界持续关注的热点。近年来，大语言模型（LLM）的崛起不仅在自然语言处理领域引起了革命性的变革，也对知识库问答系统提出了新的解决方案。最近，一个名为Langchain-Chatchat的开源项目，利用最新的技术研发动态，引起了科技界的广泛关注。本文旨在深入探索Langchain-Chatchat的核心技术、实现机制、安装配置及其未来发展前景。
机器之心发布 机器之心编辑部 开放域问答（Open-domain QA）一直是自然语言处理领域的重要研究课题。百度从面向端到端问答的检索模型出发，提出了RocketQA训练方法，大幅提升了对偶式检索模型的效果，为实现端到端问答迈出了重要的一步。RocketQA已逐步应用在百度搜索、广告等核心业务中，并将在更多场景中发挥作用。 近日，百度提出了面向端到端问答的检索模型训练方法 RocketQA，该方法针对模型训练中存在的问题，通过跨批次负采样（cross-batch negatives）、去噪的强负例采样（d
1调研问卷系统 DWSurvey 项目简介：DWSurvey 是一款方便、高效、实用的调研问卷系统，一款基于 JAVA WEB 的开源问卷表单系统。 项目特色： 全新体验、流程简单 以一种全新的设计体
一部问答系统发展史就是一部人工智能发展史。早在1950年的图灵测试就提出：如果人类无法通过问答将机器和人区分开，那么这个机器就可以被认为具有智能。问答系统和人工智能有着密不可分的关系。从基于规则和结构化数据的自动问答，到基于精细设计神经网络的文本问答，再到T5[1]将一切文本任务都转化为问答，我们足以看出自动问答系统在走向机器智能的过程中的重要性。
机器之心报道 作者：Hecate He 来自微软、浙江大学等机构的研究者提出了一种 one-shot DNN 剪枝框架，无需微调即可从大型神经网络中得到轻量级架构，在保持模型高性能的同时还能显著降低所需算力。 大型神经网络学习速度很快，性能也往往优于其他较小的模型，但它们对资源的巨大需求限制了其在现实世界的部署。 剪枝是最常见的 DNN 压缩方法之一，旨在减少冗余结构，给 DNN 模型瘦身的同时提高其可解释性。然而，现有的剪枝方法通常是启发式的，而且只针对特定任务，还非常耗时，泛化能力也很差。 在一篇标题为
聊天机器人本质上是一个范问答系统，既然是问答系统就离不开候选答案的选择，利用深度学习的方法可以帮助我们找到最佳的答案。
Milvus 是一款开源的向量相似度搜索引擎，支持使用多种 AI 模型将非结构化数据向量化，并为向量数据提供搜索服务。Milvus 集成了 Faiss、Annoy 等广泛应用的向量索引库，开发者可以针对不同场景选择不同的索引类型。使用 Milvus 就可以以相当低的成本研发出最简可行产品。
机器之心报道 编辑：杜伟、陈萍 首尔大学的这项「实时匹配背景颜色」研究可称得上人造伪装技术的一次重大飞跃。 在生物界，变色龙是当之无愧的「伪装高手」。为了逃避天敌的侵犯和接近自己的猎物，这种爬行动物常在人们不经意间改变身体颜色，然后一动不动地将自己融入周围的环境之中。 图源：wikipedia 变色龙不是通过聚集或分散皮肤细胞内的色素来变色，而是依赖皮肤细胞中的结构改变，来影响皮肤反射光线的方式。科学家们一直以来想要模仿变色龙的天然变色能力，但需要解决一大难题：能够表达大量颜色，并根据背景环境控制和改变
导读：智能问答系统是自然语言处理的一个重要分支。今天我们将利用分词处理以及搜索引擎搭建一个智能问答系统。 本文经授权转自公众号CSDN（ID：CSDNnews）
文本相似在问答系统中有很重要的应用，如基于知识的问答系统（Knowledge-based QA），基于文档的问答系统（Documen-based QA），以及基于FAQ的问答系统（Community-QA）等。像 对于问题的内容，需要进行相似度匹配，从而选择出与问题最接近，同时最合理的答案。本节介绍 基于tf-idf的余弦距离计算相似度。
ChatGPT|ChatGPT丨小智ai丨chatgpt丨人工智能丨OpenAI丨聊天机器人丨AI语音助手丨GPT-3.5丨开源AI平台
文本相似在问答系统中有很重要的应用，如基于知识的问答系统（Knowledge-based QA），基于文档的问答系统（Documen-based QA），以及基于FAQ的问答系统（Community-QA）等。像 对于问题的内容，需要进行相似度匹配，从而选择出与问题最接近，同时最合理的答案。本节介绍 基于编辑距离相似度。
文本相似在问答系统中有很重要的应用，如基于知识的问答系统（Knowledge-based QA），基于文档的问答系统（Documen-based QA），以及基于FAQ的问答系统（Community-QA）等。像 对于问题的内容，需要进行相似度匹配，从而选择出与问题最接近，同时最合理的答案。本节介绍 基于simhash相似度。
知识库问答技术主要基于知识库来帮助人们快速、准确地获取所需信息。目前，关于中文知识库问答系统的研究成果较少且以信息抽取的问答方法为主，这类方法往往通过结合大量复杂的特征与模型实现，尽管回答准确度高，但难以落地于实际场景。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
