Ryan_OVO

腾讯云

开发者社区

文档建议反馈控制台

首页TVP

LV1

发表了文章 2024-06-132024-06-13 10:32:42

聊聊GLM-4-9B开源模型的微调loss计算

网上已经有很多关于微调的文章，介绍各种方式下的使用，这里不会赘述。我个人比较关心的是微调时的loss计算逻辑，这点在很多的文章都不会有相关的描述，因为大多数人都...

Ryan_OVO 2024-06-132024-06-13 10:32:43

模型、数组、开源、glm、input

发表了文章 2024-04-232024-04-23 08:11:45

聊聊从大模型来看NLP解决方案之UIE

自然语言处理NLP任务的实现，相比较以前基于传统机器学习算法实现方法，现在越来越集中使用大模型来实现。通过——数据标注-模型训练-模型调优/微调-模型压缩-...

Ryan_OVO 2024-04-232024-04-23 08:11:45

模型、实践、nlp、解决方案、框架

发表了文章 2024-04-172024-04-17 08:37:33

聊聊大模型的屏蔽词工程

在做微调训练时，鉴于业务场景的需要，可能会存在微调数据集中含有敏感词汇，譬如：自杀、跳楼等。而开源模型可能没有做敏感词汇的屏蔽工程。因此可能就会出现不可预控的现...

Ryan_OVO 2024-04-172024-04-17 08:37:33

开源、框架、模型、数据、算法

发表了文章 2024-04-102024-04-10 09:20:38

聊聊ChatGLM3多用户并发API调用的问题

目前在公司内部4张A10的GPU服务器上部署了ChatGLM3开源模型；然后部署了官方默认的web_demo、api_demo两种模式；重新设计了前端，支持H5...

Ryan_OVO 2024-04-102024-04-10 09:20:38

api、并发、部署、接口、模型

发表了文章 2024-03-282024-03-28 09:00:37

聊聊大模型"打字机"效果的背后技术——SSE

SSE：Server Sent Event；服务器发送事件。 Server-Sent Events（SSE）是一种由服务器向客户端推送实时数据的技术。它是构建...

Ryan_OVO 2024-03-282024-03-28 09:00:37

事件、sse、客户端、连接、模型

发表了文章 2024-03-272024-03-27 08:06:48

聊聊多模态大模型处理的思考

多模态：文本、音频、视频、图像等多形态的展现形式。目前部门内业务要求领域大模型需要是多模态——支持音频/文本。从个人思考的角度来审视下，审视下多模态大模型的...

Ryan_OVO 2024-03-272024-03-27 08:06:48

语音、语音合成、开源、embedding、模型

发表了文章 2024-03-262024-03-26 08:17:23

聊聊ShareGPT格式的微调数据集

function_call表示函数调用，什么是函数调用？其作用是什么？由于大模型的数据一般都是截止于某个时间点之前的数据，不具备实时性。比如，我要问今天的天...

Ryan_OVO 2024-03-262024-03-26 08:17:23

脚本、开发、模型、设计、数据

发表了文章 2024-03-212024-03-21 09:20:45

聊聊心理医疗领域大模型的落地思考

近来，工作偏向于心理医疗领域方面的大模型，仅从领域大模型的落地，聊聊个人的一些思考。

Ryan_OVO 2024-03-212024-03-21 09:20:45

开源、产品、模型、数据、医疗

发表了文章 2024-03-192024-03-19 08:03:32

聊聊大模型微调训练全流程的思考

参考现有的中文医疗模型：MedicalGPT、CareGPT等领域模型的训练流程，结合ChatGPT的训练流程，总结如下：在预训练阶段，模型会从大量无标注文...

Ryan_OVO 2024-03-192024-03-19 08:03:33

医疗、模型、数据、算法、优化

发表了文章 2024-03-172024-03-17 08:18:23

聊聊ChatGLM-6B医疗数据微调

参考了多个医疗大模型，如扁鹊、灵心等，重新思考了下微调的方案以及数据集的格式；基于ChatGLM/其它LLM整合多种微调方法的非官方实现的框架，审视其数据集格式...

Ryan_OVO 2024-03-172024-03-17 08:18:23

模型、数据、医疗、开源、脚本

发表了文章 2024-03-162024-03-16 08:19:16

聊聊大模型的微调实现及其应用

模型的微调有多种方式，对于入门的来说，一般都是基于官方的文档微调；最近发现很多开源库，其目的就是支持应用多种微调策略来微调模型，简化模型的微调门槛。比如 Cha...

Ryan_OVO 2024-03-162024-03-16 08:19:16

架构设计、框架、模型、数据、开源

发表了文章 2024-01-132024-01-13 10:40:59

聊聊ChatGLM-6B源码分析(二)

GLM模型中位置编码是2D的，有两层的位置表示，分别是序列的位置表示和mask block的位置表示。由get_position_ids函数处理。positio...

Ryan_OVO 2024-01-132024-01-13 10:41:00

hidden、self、编码、模型、源码分析

发表了文章 2024-01-132024-01-13 10:40:04

聊聊ChatGLM中P-tuning v2的应用

论文PDF地址：https://arxiv.org/pdf/2110.07602.pdf

Ryan_OVO 2024-01-132024-01-13 10:40:04

hidden、prefix、self、torch、模型

发表了文章 2024-01-092024-01-09 13:54:11

聊聊ChatGLM-6B的源码分析

作用：在微调时（以P-Tuning V2为例），方法训练时冻结模型的全部参数，只激活PrefixEncoder的参数。其源码如下，整体来看是比较简单的。

Ryan_OVO 2024-01-092024-01-09 13:54:11

hidden、self、size、函数、源码分析

发表了文章 2024-01-072024-01-07 10:49:56

聊聊从源码来看ChatGLM-6B的模型结构

ChatGLM是transformer架构的神经网络模型，因此从transformer结构入手，分析其源码结构。 transformer结构：

Ryan_OVO 2024-01-072024-01-07 10:50:19

编程

发表了文章 2024-01-042024-01-04 08:06:50

聊聊ChatGLM6B的微调脚本及与Huggingface的关联

本文首先分析微调脚本trainer.sh的内容，再剖析ChatGLM是如何与Huggingface平台对接，实现transformers库的API直接调用Cha...

Ryan_OVO 2024-01-042024-01-04 08:06:54

变量、脚本、模型、配置、源码

发表了文章 2023-12-302023-12-30 08:03:33

聊聊流式数据湖Paimon(五)

在IDEA中创建Flink项目，由于没有Flink的archetype，因此需要手动创建一下。参考：idea快速创建flink项目，至此Flink的项目框架...

Ryan_OVO 2023-12-302023-12-30 08:03:38

flink、数据湖、version、脚本、框架

发表了文章 2023-12-292023-12-29 09:09:39

聊聊流式数据湖Paimon(四)

Paimon中的表被多流填充数据且打宽维度后，支持流读、批读的方式提供完整的Changelog给下游。

Ryan_OVO 2023-12-292023-12-29 09:09:40

数据湖、null、snapshot、time、数据

发表了文章 2023-12-262023-12-26 09:09:05

聊聊流式数据湖Paimon(三)

如果表没有定义主键，则默认情况下它是仅追加表类型(Append Only Table)。根据桶(Bucket)的定义，我们有两种不同的仅追加模式："Appe...

Ryan_OVO 2023-12-262023-12-26 09:09:08

存储、数据湖、内存、数据、压缩

发表了文章 2023-12-262023-12-26 09:06:33

聊聊流式数据湖Paimon(二)

Apache Paimon 最典型的场景是解决了 CDC (Change Data Capture) 数据的入湖；CDC 数据来自数据库。一般来说，分析需求是不...

Ryan_OVO 2023-12-262023-12-26 09:06:34

数据库、存储、数据湖、数据、同步

12 3 4 5 6 7 8 9 10 下一页

个人简介

暂未填写公司和职称
暂未填写个人简介
暂未填写技能专长
暂未填写学校和专业
暂未填写个人网址
暂未填写所在城市
加入社区时间：2018-02-08

个人成就

获得 289 次赞同
文章被阅读 73.5K 次

关注了：2关注者：24

Ryan_OVO

聊聊GLM-4-9B开源模型的微调loss计算

聊聊从大模型来看NLP解决方案之UIE

聊聊大模型的屏蔽词工程

聊聊ChatGLM3多用户并发API调用的问题

聊聊大模型"打字机"效果的背后技术——SSE

聊聊多模态大模型处理的思考

聊聊ShareGPT格式的微调数据集

聊聊心理医疗领域大模型的落地思考

聊聊大模型微调训练全流程的思考

聊聊ChatGLM-6B医疗数据微调

聊聊大模型的微调实现及其应用

聊聊ChatGLM-6B源码分析(二)

聊聊ChatGLM中P-tuning v2的应用

聊聊ChatGLM-6B的源码分析

聊聊从源码来看ChatGLM-6B的模型结构

聊聊ChatGLM6B的微调脚本及与Huggingface的关联

聊聊流式数据湖Paimon(五)

聊聊流式数据湖Paimon(四)

聊聊流式数据湖Paimon(三)

聊聊流式数据湖Paimon(二)

个人简介

个人成就

社区

活动

资源

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

Ryan_OVO

聊聊GLM-4-9B开源模型的微调loss计算

聊聊从大模型来看NLP解决方案之UIE

聊聊大模型的屏蔽词工程

聊聊ChatGLM3多用户并发API调用的问题

聊聊大模型"打字机"效果的背后技术——SSE

聊聊多模态大模型处理的思考

聊聊ShareGPT格式的微调数据集

聊聊心理医疗领域大模型的落地思考

聊聊大模型微调训练全流程的思考

聊聊ChatGLM-6B医疗数据微调

聊聊大模型的微调实现及其应用

聊聊ChatGLM-6B源码分析(二)

聊聊ChatGLM中P-tuning v2的应用

聊聊ChatGLM-6B的源码分析

聊聊 从源码来看ChatGLM-6B的模型结构

聊聊ChatGLM6B的微调脚本及与Huggingface的关联

聊聊流式数据湖Paimon(五)

聊聊流式数据湖Paimon(四)

聊聊流式数据湖Paimon(三)

聊聊流式数据湖Paimon(二)

社区

活动

资源

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

聊聊从源码来看ChatGLM-6B的模型结构