腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

SimpleAI

专栏作者

103

文章

137588

阅读量

36

订阅数

【它真来了吗？RulaiGPT：如~来~】训练一个如来GPT，发现事情并没有那么简单...

gpt 基础论文模型数据

这个小项目是基于我最近的一个Github —— LLM-Tuning 实现的，本文涉及到的相关的代码、数据集、教程都在仓库里，建议点个Star⭐️后配合本文食用😃🫡：

2023-09-12

2590

SUFE AI Lab@KDD'23：一种基于异常得分分布的通用损失函数

函数框架模型数据异常

https://kdd.org/kdd2023/research-track-papers/

2023-09-01

2440

基于 LoRA 的 RLHF: 记一次不太成功但有趣的百川大模型调教经历

强化学习 model 模型数据 LoRa

为了节省训练资源，快速了解整个 RLHF 的过程，我这里每一步的训练，都采用 LoRA 微调的方式：使用 LoRA 进行 SFT，使用 LoRA 训练 Reward Model，以及使用 LoRA 来进行强化学习 PPO 过程。

2023-09-01

1.4K0

使用 HC3 数据集来让 baichuan-7B 有对话能力

短信基础开发模型数据

baichuan-7B 是百川智能开发的一个强大的中文基座模型，然后它本身并不具备对话能力。为了让它能够像 ChatGPT 一样进行对话，我们需要进行对话风格的微调。本项目就是一个简单的尝试，通过一万多条对话数据来使 baichuan-7B 拥有基础的对话能力。

2023-09-01

3010

「ChatGPT 对比与检测」研究项目被 LLM@IJCAI'23 收录！研究回顾

chatgpt 测试模型数据 LLM

时间过得真快，离当初开始「ChatGPT 对比与检测」这个科研项目已经过去了半年之久，而这半年，正是大模型（LLM）百花齐放、群模乱舞的半年，我当初也想不到，半年时间之内，国内外能突然迸发出这么多表现惊艳的大模型，整个NLP社区的研究范式、应用方式都发生了巨大变化。（前情提要：首个人类－ChatGPT对比语料集开源！人工测评，语言学分析，检测器模型都在这里）

2023-09-01

3860

有趣实验分享 | 百川智能的 baichuan-7B 能猜到我的心思？

搜索引擎 chatgpt 互联网模型搜索

昨天的文章里，有一小部分是展示百川智能的 baichuan-7B 的 LoRA 微调的结果，其中有一个点我在跟实验室里老师同学讨论的时候大家觉得很有意思，这里分享给读者：

2023-09-01

2230

两行代码开启 LoRA 微调 && LLM 情感实体抽取实践

模型实践数据 LoRa LLM

仓库地址：https://github.com/beyondguo/LLM-Tuning

2023-09-01

8080

大模型思维链经典论文阅读之——Zero-shot CoT, Manual CoT, AutoCoT

zero 测试论文模型数学

ChatGPT 以及 GPT4 作为纯自回归式语言模型，本不应该期待其有什么推理能力，尤其是数学推理，但是他们在基础的推理任务上却十分让我们惊艳（当然肯定不能作为专业的数学解题工具），这让我们非常好奇大模型（LLM）这么多参数里面到底藏了些什么好东西，怎么去激发大模型的潜能给我们带来更多惊喜。

2023-09-01

6380

OpenAI是如何“魔鬼调教” GPT的？——InstructGPT论文解读

ChatGPT的论文尚未放出，也不知道会不会有论文放出，但是根据公开资料显示，其训练方式，跟OpenAI之前的一个工作——InstructGPT基本无异，主要是训练数据上有小的差异，因此我们可以从InstructGPT的论文中，窥探ChatGPT强大的秘密。本文主要（粗略）解读一下InstructGPT的论文——Training language models to follow instructions with human feedback.

2023-02-13

2.4K0

作为普通NLP科研人员对ChatGPT的一些思考

根据媒体报道，ChatGPT全球用户数已经突破了一百万，早早火出了圈。我朋友圈里的做金融的、做健身教练的、做英语培训的，都玩起了ChatGPT，我一个做NLP的，却迟迟没有去体验，主要是因为有一种疲惫感，热点太多了跟不上了。昨天终于觉得，如果再不体验一下，就真的落伍了，无奈国内无法注册，于是找了人在美国刚下飞机的好哥们要了一个手机号，终于顺利注册。

2023-02-13

7340

条件语言模型中的OOD检测与选择性生成

background detection distribution embedding lm

在conditional language model（CLM）任务（主要是summarization，translation）中，而由于language generation主要是通过auto-regressive的方式，错误更容易积累，因此OOD问题可能更严重。

2023-02-13

1.4K0

我们开发了第一款中英双语ChatGPT检测器，还有...

https 网络安全腾讯云测试服务

当晚我很晚才睡着，但是第二天一大早就醒了，兴冲冲得跟几个好友讨论了这个事儿，经过一番讨论，我们觉得这是个有价值的事儿，值得一做！接着我们在一个更大的群里（孤勇AI研究者群hhh），对这个话题展开了热烈讨论。当天晚上，我们便组建了一个由海内外6所高校或企业的博士生/工程师组成的8人团队，为了一个共同的目标：

2023-02-09

4930

首个人类－ChatGPT对比语料集开源！人工测评，语言学分析，检测器模型都在这里

https 网络安全腾讯云测试服务 github git

我们提出了首个「人类-ChatGPT 问答对比语料集」，也是最早开发ChatGPT检测器的团队，过去40天我们熬了很多夜，除了艰难的数据收集过程，还做了大量人工测评（图灵测试，有用性测试等）、语言学分析以及各种类型的检测器的开发。作为一个纯纯的中国学生团队，甚至多数人最初都素不相识，我们一开始是觉得难以完成最初的设想的，但经过40天的奋战，我们最初想做的基本都做到了，真心为我们团队感到自豪！感谢并肩作战的好兄弟们！❤️❤️ 请大家关注我们的论文： https://arxiv.org/pdf/2301.07597

2023-02-09

4380

好久不见，介绍一下，这位是GENIUS：一个基于“草稿”进行文本生成、数据增强的“小天才”模型

https 网络安全 NLP 服务

前言：朋友们好啊，好久不见。最近半年比较忙，因此好久没有更新了。今年3月份，我开始了在MSRA NLC组的研究实习，如今转眼已经过去了9个月。这也是我读博士以来目前压力最大的一段时光，中间也有很多故事，这里暂不赘述，等日后有闲心了再详细分享给大家。今天想跟大家简单介绍一下我这过去9个月“养”出的一个模型——GENIUS。非常感激MSRA的老师们和我们上财AI实验室的导师们在这期间给予的指导和鼓励，感谢老婆在封城期间操劳家里的一切柴米油盐让我全身心科研，当然还有很多同学给予的帮助，这里就不一一列举啦。

2022-12-01

5080

Mixture-of-Experts (MoE) 经典论文一览

https 网络安全

最近接触到 Mixture-of-Experts (MoE) 这个概念，才发现这是一个已经有30多年历史、至今依然在被广泛应用的技术，所以读了相关的几篇经典论文，在这里总结一下。

2022-12-01

1.3K0

Google的 Pathways（理想）与 PaLM（现实）

https 网络安全

2022年3月，Google发布了Pathways系统，用于更高效地训练大型模型：

2022-11-30

4580

数据地图---使用Training Dynamics来映射和诊断数据集

github https git 开源网络安全

最近看到一篇很有趣的文章，发表于EMNLP-20，作者团队主要来自AllenAI：

2022-11-30

4050

盘点Controllable Text Generation(CTG)的进展

NLP 服务 linux

A Survey of Controllable Text Generation using Transformer-based Pre-trained Language Models，一篇2022年1月上传到Arxiv上的一篇综述文章，作者团队里面有周明和宋大为两个大佬。（比较奇怪的是论文使用的是ACM Journal的模板，还有DOI号，但是搜索DOI却发现是另外一篇无关的文章，所以不知道这个文章到底发表在哪里、有无发表。但不管怎么，这依然是一篇很好的综述，对可控制的文本生成这个领域的工作做了很好的梳理和总结，值得一读。）

2022-04-19

6930

LAMBADA——用GPT-2来做文本数据增强

NLP 服务深度学习

本文提出的方法称为language-model-based data augmentation（LAMBADA）。

2022-04-19

8160

XLNet发表在NeurIPS-19上，是BERT之后相当有名的一个工作，这里简单总结一下它的要点。

2022-04-19

3150

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态