首页
学习
活动
专区
工具
TVP
发布

数据分析与挖掘

专栏作者
1070
文章
987496
阅读量
58
订阅数
怎么让英文大语言模型支持中文?(三)进行指令微调
这里是最后一部分了:怎么让英文大语言模型支持中文?(三)对预训练模型进行指令微调。
西西嘛呦
2023-07-10
7680
怎么让英文大预言模型支持中文?(二)继续预训练
代码已上传到github: https://github.com/taishan1994/chinese_llm_pretrained
西西嘛呦
2023-07-10
4900
怎么让英文大预言模型支持中文?(一)构建自己的tokenization
代码地址:https://github.com/taishan1994/sentencepiece_chinese_bpe
西西嘛呦
2023-07-10
1.4K0
【python】linux下安装python的一般方法
下载python 这里以安装python3.7.1为例: wget https://www.python.org/ftp/python/3.7.1/Python-3.7.1.tgz 编译和安装python prefix是指定python安装的位置 cd Python-3.7.1 ./configure --prefix=/home/work/envs/python3.7.1 && make && make install 设置软连接 ln -s /home/work/envs/python3.7.1/b
西西嘛呦
2023-05-07
3440
你还弄不清xxxForCausalLM和xxxForConditionalGeneration吗?
大语言模型目前一发不可收拾,在使用的时候经常会看到transformers库的踪影,其中xxxCausalLM和xxxForConditionalGeneration会经常出现在我们的视野中,接下来我们就来聊聊transformers库中的一些基本任务。
西西嘛呦
2023-04-27
9110
LLM(大语言模型)解码时是怎么生成文本的?
源码地址:transformers/configuration_utils.py at v4.28.1 · huggingface/transformers (github.com)
西西嘛呦
2023-04-27
3.7K0
1使用accelerate
虽然这对常规大小的模型来说非常有效,但当我们处理一个巨大的模型时,这个工作流程有一些明显的局限性:在第1步,我们在RAM中加载一个完整版本的模型,并花一些时间随机初始化权重(这将在第3步被丢弃)。在第2步,我们在RAM中加载另一个完整版本的模型,并使用预训练的权重。如果你正在加载一个具有60亿个参数的模型,这意味着你需要为每个模型的副本提供24GB的RAM,所以总共需要48GB(其中一半用于在FP16中加载模型)。
西西嘛呦
2023-04-27
1.5K0
GPT-NER:通过大型语言模型的命名实体识别
讲在前面,chatgpt出来的时候就想过将其利用在信息抽取方面,后续也发现了不少基于这种大语言模型的信息抽取的论文,比如之前收集过的:
西西嘛呦
2023-04-27
7030
怎么裁剪LLM(大语言模型)的vocab(词表)?
对于一些多语言的大语言模型而言,它的词表往往很大。在下游使用这些模型的时候,可能我们不需要其它的一些语言,例如只需要中文和英文,此时,我们可以对其vocab进行裁剪,既可以大大减少参数量,也能够保留模型的性能,接下来以Bloom模型为例看看是怎么进行操作的。
西西嘛呦
2023-04-27
1.1K0
你也可以动手参数有效微调:LoRA、Prefix Tuning、P-Tuning、Prompt Tuning
随着大语言模型的流行,如何让大模型在消费级GPU上进行微调训练成为了热点。掌握参数有效微调成为每个自然语言处理工程师必不可少的技能,正好hugging face开源了一个PEFT库,让我们也能够自己动手去了解参数有效微调。接下来以中文情感分析(二分类)去了解下参数有效微调。
西西嘛呦
2023-04-27
2K0
DyLoRA:使用动态无搜索低秩适应的预训练模型的参数有效微调
DyLoRA: Parameter-Efficient Tuning of Pretrained Models using Dynamic Search-Free Low Rank Adaptation
西西嘛呦
2023-04-27
1.1K0
Chinese-LLaMA-Alpaca技术报告
EFFICIENT AND EFFECTIVE TEXT ENCODING FOR CHINESE LL AMA AND ALPACA
西西嘛呦
2023-04-27
1.3K0
1数据集
Towards Better Instruction Following Language Models for Chinese: Investigating the Impact of Training Data and Evaluation
西西嘛呦
2023-04-27
2780
COIG:开源四类中文指令语料库
CHINESE OPEN INSTRUCTION GENERALIST: A PRELIMINARY RELEASE
西西嘛呦
2023-04-27
6320
用GPT4进行指令微调
代码:https://instruction-tuning-with-gpt-4.github.io/
西西嘛呦
2023-04-08
1.1K0
LLaMA:开放和高效的基础语言模型
https://github.com/facebookresearch/llama
西西嘛呦
2023-04-08
1.2K0
GLM: General Language Model Pretraining with Autoregressive Blank Infilling
ChatGPT已经火了一段时间了,国内也出现了一些平替,其中比较容易使用的是ChatGLM-6B:https://github.com/THUDM/ChatGLM-6B ,主要是能够让我们基于单卡自己部署。ChatGLM的基座是GLM: General Language Model Pretraining with Autoregressive Blank Infilling论文中提出的模型,接下来我们来看看。
西西嘛呦
2023-03-31
2.2K0
利用ChatGPT进行情感分析
代码地址:https://github.com/taishan1994/ChatSA
西西嘛呦
2023-03-31
1.4K0
colab上更换python版本或者换成tensorflow1.x版本
目前colab已经不支持使用:%tensorflow_version 1.x来切换使用tensorflow1.x版本了。 解决方法如下:
西西嘛呦
2023-02-23
1.4K0
PaLM中使用的激活函数:SwiGLU
我们不难发现,激活函数就是对x乘以一些数,以对某些值进行约束。 GLU(Gated Linear Unit),其一般形式为:
西西嘛呦
2023-02-16
3.8K0
点击加载更多
社区活动
Python精品学习库
代码在线跑,知识轻松学
【玩转EdgeOne】征文进行中
限时免费体验,发文即有奖~
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·干货材料·成员作品·最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档