暂无搜索历史
关注我公众号的朋友们，抱歉了，转眼本号已经断更了9个月了，这大半年一直很忙，实习、写博士论文，更重要的是我角色转变了——当爹了！所以得忙着照顾老婆孩子哈哈，实在...
这个小项目是基于我最近的一个Github —— LLM-Tuning 实现的，本文涉及到的相关的代码、数据集、教程都在仓库里，建议点个Star⭐后配合本文食用😃...
https://kdd.org/kdd2023/research-track-papers/
为了节省训练资源，快速了解整个 RLHF 的过程，我这里每一步的训练，都采用 LoRA 微调的方式：使用 LoRA 进行 SFT，使用 LoRA 训练 Rewa...
baichuan-7B 是百川智能开发的一个强大的中文基座模型，然后它本身并不具备对话能力。为了让它能够像 ChatGPT 一样进行对话，我们需要进行对话风格的...
时间过得真快，离当初开始「ChatGPT 对比与检测」这个科研项目已经过去了半年之久，而这半年，正是大模型（LLM）百花齐放、群模乱舞的半年，我当初也想不到，半...
昨天的文章里，有一小部分是展示百川智能的 baichuan-7B 的 LoRA 微调 的结果，其中有一个点我在跟实验室里老师同学讨论的时候大家觉得很有意思，这里...
仓库地址：https://github.com/beyondguo/LLM-Tuning
ChatGPT 以及 GPT4 作为纯自回归式语言模型，本不应该期待其有什么推理能力，尤其是数学推理，但是他们在基础的推理任务上却十分让我们惊艳（当然肯定不能作...
ChatGPT的论文尚未放出，也不知道会不会有论文放出，但是根据公开资料显示，其训练方式，跟OpenAI之前的一个工作——InstructGPT基本无异，主要是...
根据媒体报道，ChatGPT全球用户数已经突破了一百万，早早火出了圈。我朋友圈里的做金融的、做健身教练的、做英语培训的，都玩起了ChatGPT，我一个做NLP的...
在conditional language model（CLM）任务（主要是summarization，translation）中，而由于language ge...
当晚我很晚才睡着，但是第二天一大早就醒了，兴冲冲得跟几个好友讨论了这个事儿，经过一番讨论，我们觉得这是个有价值的事儿，值得一做！接着我们在一个更大的群里（孤勇A...
我们提出了首个「人类-ChatGPT 问答对比语料集」，也是最早开发ChatGPT检测器的团队，过去40天我们熬了很多夜，除了艰难的数据收集过程，还做了大量人工...
前言： 朋友们好啊，好久不见。最近半年比较忙，因此好久没有更新了。今年3月份，我开始了在MSRA NLC组的研究实习，如今转眼已经过去了9个月。这也是我读博士以...
最近接触到 Mixture-of-Experts (MoE) 这个概念，才发现这是一个已经有30多年历史、至今依然在被广泛应用的技术，所以读了相关的几篇经典论文...
2022年3月，Google发布了Pathways系统，用于更高效地训练大型模型：
最近看到一篇很有趣的文章，发表于EMNLP-20，作者团队主要来自AllenAI：
A Survey of Controllable Text Generation using Transformer-based Pre-trained Lan...
本文提出的方法称为language-model-based data augmentation（LAMBADA）。
暂未填写公司和职称
暂未填写所在城市
