腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
数据分析与挖掘
专栏作者
举报
1070
文章
987715
阅读量
58
订阅数
订阅专栏
申请加入专栏
全部文章
编程算法
java
网络安全
https
python
html
xml
c++
sql
spring
腾讯云测试服务
go
github
数据库
http
javascript
git
神经网络
深度学习
容器
机器学习
pytorch
tensorflow
numpy
开源
网站
面向对象编程
bash
人工智能
存储
函数
二叉树
模型
linux
hadoop
数据
php
opencv
css
日志服务
mybatis
数据结构
排序
node.js
打包
ide
tcp/ip
django
缓存
model
指针
bash 指令
文件存储
jsp
容器镜像服务
json
android
api
int
vue.js
maven
token
NLP 服务
servlet
jar
批量计算
对象
语法
云数据库 SQL Server
云数据库 Redis
tomcat
class
队列
命令行
注解
jdk
keras
include
ls
max
变量
表单
测试
配置
权限
数据类型
数组
ajax
mvc
mapreduce
爬虫
卷积神经网络
正则表达式
数据分析
add
dataset
map
set
编译
二进制
集合
论文
设计
搜索
统计
性能
jquery
eclipse
unix
分布式
yum
jdbc
线性回归
grep
大数据
虚拟化
ascii
com
config
epoch
error
file
init
list
native
path
public
self
static
遍历
编码
服务器
连接
优化
终端
字符串
费用中心
数据挖掘
c#
bootstrap
typescript
matlab
中文分词
访问管理
yarn
shell
图像识别
dns
决策树
npm
markdown
rabbitmq
socket编程
unicode
Elasticsearch Service
absolute
algorithm
bind
centos7
count
cpu
default
email
factory
gpt
hidden
integer
key
label
leetcode
mask
matrix
mean
nlp
object
output
position
precision
private
properties
random
request
return
scanf
select
sh
size
sort
stack
state
stl
super
text
time
tree
txt
typedef
url
百度
编译器
磁盘
管理
基础
接口
进程
浏览器
内存
内核
前端
事件
视频
数据同步
效率
对象存储
ios
c 语言
perl
.net
scala
r 语言
ecmascript
嵌入式
access
flask
struts
ubuntu
centos
apache
nginx
命令行工具
NAT 网关
知识图谱
图像处理
渲染
vr 视频解决方案
webpack
xslt & xpath
serverless
游戏
jvm
ssh
hive
hashmap
推荐系统
asp
zookeeper
aop
单元测试
kernel
ntp
数据处理
windows
nat
nest
腾讯云开发者社区
任务调度
防火墙
迁移
模型测试
汽车
教育
abstract
app
asynchronous
axios
backbone
binary
blur
bokeh
boolean
boot
break
bug
cat
chatgpt
chmod
classification
classpath
click
cmd
controller
cookie
cron
crontab
csv
daemon
dao
data
dataflow
date
desktop
detection
devtools
dfs
difference
distributed
double
dp
effects
el
elasticsearch
element
entity
eos
execution
extends
filter
final
fold
footer
foreach
forms
func
function
get
goto
gpu
h2
h2o
hash
having
hdfs
history
identity
image
input
insert
interpolation
intersection
intervals
io
join
kill
latex
layer
layout
line
load
localhost
location
logout
matplotlib
min
mkdir
models
module
monitor
neo4j
null
padding
parameters
pid
png
prediction
prefix
prompt
protected
ps
python3
queue
range
rank
repeat
replace
reshape
response
root
route
rows
rpm
runtime
search
selector
sequence
service
settings
share
shutdown
sql语句
status
string
struct
target
tensor
tensorboard
timeout
title
torch
trie
union
unsigned
vector
view
virtual
watch
web
wiki
word
xpath
zero
表格
博客
部署
操作系统
插件
产品
程序
程序员
代理
代码规范
登录
递归
翻译
工作
工作流
架构
监控
可视化
量化
排序算法
事务
算法
索引
同步
网络
系统
消息队列
研发
异常
硬件
原理
装饰器
作用域
搜索文章
搜索
搜索
关闭
怎么让英文大语言模型支持中文?(三)进行指令微调
dataset
input
token
模型
数据
这里是最后一部分了:怎么让英文大语言模型支持中文?(三)对预训练模型进行指令微调。
西西嘛呦
2023-07-10
769
0
怎么让英文大预言模型支持中文?(二)继续预训练
dataset
model
size
模型
数据
代码已上传到github: https://github.com/taishan1994/chinese_llm_pretrained
西西嘛呦
2023-07-10
490
0
怎么让英文大预言模型支持中文?(一)构建自己的tokenization
eos
model
self
token
模型
代码地址:https://github.com/taishan1994/sentencepiece_chinese_bpe
西西嘛呦
2023-07-10
1.4K
0
【python】linux下安装python的一般方法
python
linux
python3
编译
连接
下载python 这里以安装python3.7.1为例: wget https://www.python.org/ftp/python/3.7.1/Python-3.7.1.tgz 编译和安装python prefix是指定python安装的位置 cd Python-3.7.1 ./configure --prefix=/home/work/envs/python3.7.1 && make && make install 设置软连接 ln -s /home/work/envs/python3.7.1/b
西西嘛呦
2023-05-07
344
0
你还弄不清xxxForCausalLM和xxxForConditionalGeneration吗?
config
hidden
model
self
模型
大语言模型目前一发不可收拾,在使用的时候经常会看到transformers库的踪影,其中xxxCausalLM和xxxForConditionalGeneration会经常出现在我们的视野中,接下来我们就来聊聊transformers库中的一些基本任务。
西西嘛呦
2023-04-27
913
0
LLM(大语言模型)解码时是怎么生成文本的?
model
text
token
模型
搜索
源码地址:transformers/configuration_utils.py at v4.28.1 · huggingface/transformers (github.com)
西西嘛呦
2023-04-27
3.7K
0
1使用accelerate
gpu
磁盘
工作
模型
内存
虽然这对常规大小的模型来说非常有效,但当我们处理一个巨大的模型时,这个工作流程有一些明显的局限性:在第1步,我们在RAM中加载一个完整版本的模型,并花一些时间随机初始化权重(这将在第3步被丢弃)。在第2步,我们在RAM中加载另一个完整版本的模型,并使用预训练的权重。如果你正在加载一个具有60亿个参数的模型,这意味着你需要为每个模型的副本提供24GB的RAM,所以总共需要48GB(其中一半用于在FP16中加载模型)。
西西嘛呦
2023-04-27
1.5K
0
GPT-NER:通过大型语言模型的命名实体识别
gpt
遍历
论文
模型
数据
讲在前面,chatgpt出来的时候就想过将其利用在信息抽取方面,后续也发现了不少基于这种大语言模型的信息抽取的论文,比如之前收集过的:
西西嘛呦
2023-04-27
703
0
怎么裁剪LLM(大语言模型)的vocab(词表)?
model
path
token
编码
模型
对于一些多语言的大语言模型而言,它的词表往往很大。在下游使用这些模型的时候,可能我们不需要其它的一些语言,例如只需要中文和英文,此时,我们可以对其vocab进行裁剪,既可以大大减少参数量,也能够保留模型的性能,接下来以Bloom模型为例看看是怎么进行操作的。
西西嘛呦
2023-04-27
1.1K
0
你也可以动手参数有效微调:LoRA、Prefix Tuning、P-Tuning、Prompt Tuning
model
prefix
prompt
模型
数据
随着大语言模型的流行,如何让大模型在消费级GPU上进行微调训练成为了热点。掌握参数有效微调成为每个自然语言处理工程师必不可少的技能,正好hugging face开源了一个PEFT库,让我们也能够自己动手去了解参数有效微调。接下来以中文情感分析(二分类)去了解下参数有效微调。
西西嘛呦
2023-04-27
2K
0
DyLoRA:使用动态无搜索低秩适应的预训练模型的参数有效微调
基础
模型
排序
搜索
性能
DyLoRA: Parameter-Efficient Tuning of Pretrained Models using Dynamic Search-Free Low Rank Adaptation
西西嘛呦
2023-04-27
1.1K
0
Chinese-LLaMA-Alpaca技术报告
部署
量化
模型
数据
性能
EFFICIENT AND EFFECTIVE TEXT ENCODING FOR CHINESE LL AMA AND ALPACA
西西嘛呦
2023-04-27
1.3K
0
1数据集
开源
模型
数据
效率
性能
Towards Better Instruction Following Language Models for Chinese: Investigating the Impact of Training Data and Evaluation
西西嘛呦
2023-04-27
278
0
COIG:开源四类中文指令语料库
开源
翻译
工作流
模型
数据
CHINESE OPEN INSTRUCTION GENERALIST: A PRELIMINARY RELEASE
西西嘛呦
2023-04-27
632
0
用GPT4进行指令微调
开源
gpt
模型
数据
性能
代码:https://instruction-tuning-with-gpt-4.github.io/
西西嘛呦
2023-04-08
1.1K
0
LLaMA:开放和高效的基础语言模型
函数
模型
内存
数据
优化
https://github.com/facebookresearch/llama
西西嘛呦
2023-04-08
1.2K
0
GLM: General Language Model Pretraining with Autoregressive Blank Infilling
编码
架构
论文
模型
设计
ChatGPT已经火了一段时间了,国内也出现了一些平替,其中比较容易使用的是ChatGLM-6B:https://github.com/THUDM/ChatGLM-6B ,主要是能够让我们基于单卡自己部署。ChatGLM的基座是GLM: General Language Model Pretraining with Autoregressive Blank Infilling论文中提出的模型,接下来我们来看看。
西西嘛呦
2023-03-31
2.2K
0
利用ChatGPT进行情感分析
汽车
教育
chatgpt
代理
数据
代码地址:https://github.com/taishan1994/ChatSA
西西嘛呦
2023-03-31
1.4K
0
colab上更换python版本或者换成tensorflow1.x版本
python
tensorflow
目前colab已经不支持使用:%tensorflow_version 1.x来切换使用tensorflow1.x版本了。 解决方法如下:
西西嘛呦
2023-02-23
1.4K
0
PaLM中使用的激活函数:SwiGLU
asynchronous
dataflow
distributed
我们不难发现,激活函数就是对x乘以一些数,以对某些值进行约束。 GLU(Gated Linear Unit),其一般形式为:
西西嘛呦
2023-02-16
3.8K
0
点击加载更多
社区活动
Python精品学习库
代码在线跑,知识轻松学
点击查看
【玩转EdgeOne】征文进行中
限时免费体验,发文即有奖~
立即参加
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·干货材料·成员作品·最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档