首页
学习
活动
专区
工具
TVP
发布

Small Code

alanlee.fun
专栏成员
88
文章
202202
阅读量
40
订阅数
理解 PyTorch 中的 gather 函数
我遇到的代码是 NLP 相关的,代码中用 torch.gather() 来将一个 tensor 的 shape 从 (batch_size, seq_length, hidden_size) 转为 (batch_size, labels_length, hidden_size) ,其中 seq_length >= labels_length 。
Alan Lee
2021-12-07
1.7K0
Lemmatization VS Stemming
简单来说,两者都是对词的归一化,但 Stemming(中文一般译为词干提取,以下简称 stem)更为简单、快速一些,通常会使用一种启发式方法去掉一个词的结尾。 Lemmatization(中文一般译为词形还原,以下简称 lemma)更为「智能」一些,上下文相关,有一个 vocab,不在其中的词不会被处理:
Alan Lee
2021-03-22
9490
理解编辑距离
顾名思义,编辑距离(Edit distance)是一种距离,用于衡量两个字符串之间的远近程度,方式是一个字符串至少需要多少次基础变换才能变成另一个字符串,可应用在拼写检查、判断 DNA 相似度等场景中。根据可操作的基础变换不同,可分为以下几种:
Alan Lee
2020-10-29
1.2K0
BERT 是如何构建模型的
前面我写了一篇文章来讲 BERT 是如何分词的,现在,轮到该说说 BERT 模型是如何定义的了。
Alan Lee
2020-06-24
2.4K0
有意思的 lstrip 和 removeprefix(Python 3.9)
Python 3.9 的新特性中,有两个新的字符串方法:str.removeprefix(prefix, /)、str.removesuffix(suffix, /),前者是去除前缀,后者是去除后缀。
Alan Lee
2020-05-26
1K0
PDF 转图片时丢字的一种可能解决方案
Python 中 PDF 转图片一般用的是 pdf2image。有时我们会发现 PDF 转出来的图片都是空白,或者缺失了一些字,具体表现就是一些应该有字的区域是空白。由于某些原因我不能把出现问题的文件放上来,不过大致就是这个情况。
Alan Lee
2020-04-10
3.6K0
二分查找真的很快吗
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
Alan Lee
2019-10-30
9850
BERT 是如何分词的
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
Alan Lee
2019-10-22
4.1K0
理解 Python 中的 for 循环
我们将通过一些「gotchas」(陷阱)来开始今天的旅程。等我们知道 Python 中的 for 循环的原理时,我们再回过头来看这些 gotchas,并解释原因。
Alan Lee
2019-07-11
5.2K0
MATLAB 批量文件重命名(详细解释)
版权声明:本文为博主原创文章,未经授权禁止转载。 https://blog.csdn.net/u010099080/article/details/49915743
Alan Lee
2019-05-27
2.1K0
【TensorFlow】TensorFlow 的线性回归
前面 有篇博文 讲了讲Ubuntu环境下安装TensorFlow,今天来说一说在TensorFlow中如何进行线性回归。
Alan Lee
2019-05-26
7080
Python 中 strptime 的简单使用
strptime是python datetime库中的函数,用于将一个日期字符串转成datetime日期格式便于后期处理,使用格式为datetime.strptime(date_string, format),其中date_string 就是要转成日期的字符串,format 根据date_string 不同而不同,format 有以下格式:
Alan Lee
2019-05-26
7090
Python NumPy 基础
这两天读完《利用Python进行数据分析》 这本书的第4章:NumPy 基础:数组和矢量计算 后,在进行下一步阅读高级应用前,先整理本章内容,做个笔记备查,也好加深印象。在往下看前请确保你已经安装了NumPy 库,并且已经使用 import numpy as np 加载numpy库。如果 还没有安装,那么可以在cmd(windows下)中使用 pip install numpy 命令安装,ubuntu下也可以使用 sudo apt-get install python-numpy 命令安装。
Alan Lee
2019-05-26
1.3K0
【Python】小谈 numpy 数组占用内存空间问题
版权声明:本文为博主原创文章,未经授权禁止转载。 https://blog.csdn.net/u010099080/article/details/53411703
Alan Lee
2019-05-26
1.7K0
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档