首页
学习
活动
专区
工具
TVP
发布

程序生活

专栏作者
437
文章
459416
阅读量
57
订阅数
【中科院计算所】WSDM 2024冠军方案:基于大模型进行多文档问答
会话式多文档问答旨在根据检索到的文档以及上下文对话来回答特定问题。 在本文中,我们介绍了 WSDM Cup 2024 中“对话式多文档 QA”挑战赛的获胜方法,该方法利用了大型语言模型 (LLM) 卓越的自然语言理解和生成能力。
致Great
2024-03-01
2690
vllm的SamplingParams参数
致Great
2024-02-03
2080
500行Python代码构建的AI搜索工具!
一个500行Python代码构建的AI搜索工具,而且还会开源,试了一下麻雀虽小该有的都有。
致Great
2024-01-27
1100
推荐两个工具:DeepSpeed-FastGen和DataTrove
GPT-4 和 LLaMA 等大型语言模型 (LLM) 已成为服务于各个级别的人工智能应用程序的主要工作负载。从一般聊天模型到文档摘要,从自动驾驶到软件堆栈每一层的副驾驶,大规模部署和服务这些模型的需求猛增。虽然 DeepSpeed、PyTorch 等框架可以在 LLM 训练期间定期实现良好的硬件利用率,但这些应用程序的交互性和开放式文本生成等任务的较差算术强度已成为现有系统中推理吞吐量的瓶颈。
致Great
2024-01-21
2140
使用KTO进行更好、更便宜、更快速的LLM对齐
KTO全称为Kahneman-Tversky Optimisation,这种对齐方法使在我们的数据上对大型语言模型(LLM)进行对齐变得前所未有地容易和便宜,而且不会损害性能。大型语言模型的成功在很大程度上得益于与人类反馈的对齐。如果ChatGPT曾经拒绝回答您的问题,很可能是因为它被训练为避免说出有争议的内容。然而,对于公司来说,对他们自己的LLM进行对齐一直是困难的。下面我们简单介绍下KTO方法,这种方法可以提高LLM的整体性能和质量,同时节省成本。
致Great
2024-01-20
2230
RLHF 和 DPO:简化和增强语言模型的微调
人类反馈强化学习 (RLHF) 是人工智能领域的一种前沿方法,它利用人类偏好和指导来训练和改进机器学习模型。 RLHF的核心是一种机器学习范式,它结合了强化学习和监督学习的元素,使人工智能系统能够以更加人性化的方式学习和做出决策。 RLHF的重要性在于它有可能解决人工智能中的一些基本挑战,例如需要模型来理解和尊重人类的价值观和偏好。传统的强化学习模型通过与环境交互产生的奖励来学习,而 RLHF 则不同,它引入了人类反馈作为宝贵的指导来源。这种反馈可以帮助人工智能系统导航复杂的决策空间,与人类价值观保持一致,并做出更明智和道德的选择。RLHF 已经在从自然语言处理和推荐系统到机器人和自动驾驶汽车的广泛领域中找到了应用。通过将人类反馈纳入训练过程,RLHF有能力提高模型性能,增强用户体验,并为人工智能技术的负责任发展做出贡献。
致Great
2024-01-18
9140
RAG常见七大坑
这篇论文主要探讨了构建检索增强生成系统(Retrieval Augmented Generation, RAG)时可能遇到的七个失败点。论文通过三个案例研究来展示这些失败点,并分享了作者团队的经验和教训。
致Great
2024-01-16
2020
大模型关于Lora论文集合
论文地址:https://arxiv.org/pdf/2401.04151.pdf
致Great
2024-01-12
1690
【LLM 论文阅读】NEFTU N E: LLM微调的免费午餐
指令微调对于训练llm的能力至关重要,而模型的有用性在很大程度上取决于我们从小指令数据集中获得最大信息的能力。在本文中,我们提出在微调正向传递的过程中,在训练数据的嵌入向量中添加随机噪声,论文实验显示这个简单的技巧可以提高指令微调的效果,通常有很大的优势,而不需要额外的计算或数据开销。
致Great
2024-01-10
1960
大模型生成解码参数速查
致Great
2024-01-09
720
通义千问 - Code Qwen能力算法赛道季军方案
代码是人类创造的高质量语言之一,通过高度的抽象来代替形式多样的自然语言,最终转换为具体程序来代替人类完成任务,其具有精确性、逻辑性和可执行性等优点。所以代码能力也成为大语言模型(LLMs)的核心能力,我们期待 LLMs 可以帮助人类进行辅助编程、漏洞修复、甚至是全自动代码生成等工作。
致Great
2024-01-08
1180
图神经网络17-DGL实战:节点分类/回归
对于图神经网络来说,最常见和被广泛使用的任务之一就是节点分类。 图数据中的训练、验证和测试集中的每个节点都具有从一组预定义的类别中分配的一个类别,即正确的标注。 节点回归任务也类似,训练、验证和测试集中的每个节点都被标注了一个正确的数字。
致Great
2023-08-26
3600
CI框架中base_url关于[::1]的问题
致Great
2023-08-26
1400
MySQLi使用解析----连接数据库
致Great
2023-08-26
1340
Qt学习(五)------实例定时关机小程序
-s 是关闭此计算机 -t 是延迟多长时间关闭 ,后面跟秒数 例如 shutdown -s -t 60 意思是说60秒后关闭此计算
致Great
2023-08-26
2950
Qt学习(五)-----自定义电子时钟
一、自定义电子时钟的实现 自己参照(http://blog.csdn.net/yiyaaixuexi/article/details/6747737),然后自己琢磨实现了一下,在ui设计器上添加几个6个Button(显示数字)和两个label(“:”);通过setIcon设置图标,将图片显示到Button上
致Great
2023-08-26
1810
Qt学习(四)---实例涂鸦画板mspaint
一、Qt图形绘制 自己在Qt开源社区在自学yafeilinux前辈的《Qt快速入门系列教程》中的图形篇,结合所学的知识,可以做一个涂鸦板实例
致Great
2023-08-26
3190
Qt学习(三)---------常见问题总结
因为新安装的VS2013缺少shell32.lib这个文件,我们可以通过copy C盘下(我的路径:D:\Program Files (x86)\Microsoft Visual Studio 12.0\VC\lib)的到VS2013安装目录下(D:\Program Files (x86)\Microsoft Visual Studio 12.0\VC\lib)中
致Great
2023-08-26
1400
Qt学习(二)------实例mynotepad制作
最近在看高老师的视频教程,自己跟着做了一个txt编辑器,功能很简单,能实现编辑,保存,撤销,复制粘贴等基础功能;关于那边有一些特效
致Great
2023-08-26
1280
Qt学习(一)--了解信号与槽
2、面向对象。独立于标准C/C++,必须借助QT工具moc(MetaObjectComplier),C++预处理器,为高层次事件处理自动生成所需要附加代码 3、必须把事件和相关代码联系起来,才能对事件作出相应。才能使不同类型的对象之间能够相互通信
致Great
2023-08-26
820
点击加载更多
社区活动
Python精品学习库
代码在线跑,知识轻松学
【玩转EdgeOne】征文进行中
限时免费体验,发文即有奖~
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·干货材料·成员作品·最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档