首页
学习
活动
专区
工具
TVP
发布

大鹅专栏:大数据到机器学习

从大数据计算到机器学习,你需要了解这些。专注于Hadoop生态 Spark 机器学习 深度学习
专栏作者
127
文章
264260
阅读量
46
订阅数
【ES三周年】ElasticSearch 简要技术总结与Spark结合使用实践
ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎。它是一个实时的分布式搜索和分析引擎。它可以帮助你用几秒钟内搜索百万级别的数据。
大鹅
2023-02-14
1.6K0
GNN系列 综述 GNN GCN GraphSAGE GAT 简单理解 及调优Trick
图(graph)是一种数据结构,图神经网络(Graph Neural Network)应该是深度学习在图结构数据上的一些模型、方法和应用。常见的图结构由节点(node)和边(edge)构成,节点包含了实体(entity)信息,边包含实体间的关系(relation)信息。
大鹅
2022-09-04
2K0
【玩转 Cloud Studio】使用Cloud Studio 进行python开发最佳实践
作为一个Python开发,经常需要把各种pip lib安装到自己的电脑上,导致自己的电脑存储占用越来越多而且越来越卡。如果我们有一个物美价廉的远程开发平台,每个月还有1000分钟(2C4G)免费额度的远程开发平台,可以把lib都安装上去在上面进行开发工作,那不是美滋滋?Cloud Studio就应运而生啦。每个月1000分钟,换算成小时就是41个小时,非常够用了。
大鹅
2022-08-22
1.9K8
NLP任务之中文拼写 语法纠错 介绍与综述
在很多中文NLP相关的落地场景都会涉及到文本纠错的相关技术,例如跟各种形式机器人的语音或者文字对话,或者用手机扫描相关的PDF或者图片,或者跟人聊天时用输入法打字等等,无论是通过ASR识别的语音信息,通过OCR识别得到的图片信息,还是用户真实通过输入法的文字,都有可能出现错误。这些错误会影响文本的可读性,不利于人和机器的理解,如果这些错误不加处理,会传播到后续的环节,影响后续任务的效果。常见的中文错误类型包括以下几种:
大鹅
2022-07-20
3.6K1
GNN系列 GCN简述 推导理解 及 DGL 源码解析
深度学习一直都是被几大经典模型给统治着,如CNN、RNN等等,它们无论再CV还是NLP领域都取得了优异的效果,那这个GCN是怎么跑出来的?是因为我们发现了很多CNN、RNN无法解决或者效果不好的问题——图结构的数据。
大鹅
2022-07-17
1.9K0
腾讯云GPU最佳实践-使用jupyter pycharm远程开发训练
作为炼丹工程师,GPU毫无疑问会给我们训练模型带来极高的效率提升,但是一般实际开发都是本地编写然后复制代码到GPU机器上面运行,这样效率就会有一定的折损,而且同时维护两套环境可能还会偶尔会有报错。那么为什么我们不直接远程到GPU机器上直接进行开发呢?
大鹅
2022-04-23
2.8K0
【玩转Lighthouse】使用轻量云服务器搭建jupyter服务器
背景 Jupyter Notebook简介 Jupyter Notebook是一款开源的Web应用,类似于Web笔记本,我们可以使用它编写代码、公式、Markdown解释性文本和绘图,并且可以把创建好的文档进行分享。 Jupyter Notebook最为方便的功能在于其可以实时运行代码,并且返回代码段的运行结果,支持可视化、IDE等能力,大大提高了模型搭建和分析的效率。 目前已经广泛应用于数据处理、数据模拟、统计建模、机器学习等重要领域。 image.png 结合轻量云服务器的优点,我们可以实现快速开发
大鹅
2022-04-20
2.4K1
标签平滑 Label Smoothing 详解及 pytorch tensorflow实现
标签平滑(Label smoothing),像L1、L2和dropout一样,是机器学习领域的一种正则化方法,通常用于分类问题,目的是防止模型在训练时过于自信地预测标签,改善泛化能力差的问题。
大鹅
2022-01-27
2K3
XGBoost 实现文本分类与sklearn NLP库TfidfVectorizer
在文本分类任务中经常使用XGBoost快速建立baseline,在处理文本数据时需要引入TFIDF将文本转换成基于词频的向量才能输入到XGBoost进行分类。这篇博客将简单阐述XGB进行文本分类的实现与部分原理。
大鹅
2021-12-23
2.4K1
句法依存分析背景 基本概念 及常用方法
句法结构分析又称短语结构分析(phrase structure parsing),也叫成分句法分析(constituent syntactic parsing),用于获取整个句子的句法结构;
大鹅
2021-12-21
1.8K0
【技术种草】CKafka调优笔记 消费堆积 服务CPU未跑满应该如何解决?
Proxy服务负责消费CKafka消息并解析,并分发消息至不同的CKafka topic。近期发现Proxy服务消费CKafka有消息堆积,且服务所在CVM CPU与内存资源大概只占用50%左右。
大鹅
2021-11-19
2K3
ESIM 短文本匹配 模型解读分析
ESIM是一个综合应用了BiLSTM和注意力机制的模型,在文本匹配中效果十分强大.
大鹅
2021-11-12
1.8K0
深度学习中的文本分类方法汇总相关代码及调优trick
Fasttext是Facebook推出的一个便捷的工具,包含文本分类和词向量训练两个功能。
大鹅
2021-11-06
1.5K0
NLP任务汇总简介与理解
序列标注(Sequence labeling)是我们在解决NLP问题时经常遇到的基本问题之一。在序列标注中,我们想对一个序列的每一个元素标注一个标签。一般来说,一个序列指的是一个句子,而一个元素指的是句子中的一个词。比如信息提取问题可以认为是一个序列标注问题,如提取出会议时间、地点等。
大鹅
2021-10-06
3.2K0
GPT/GPT2/DialoGPT 详解对比与应用-文本生成与对话
GPT 的全名:Generative Pre-Training,其论文标题是 Improving Language Understanding by Generative Pre-Training。
大鹅
2021-09-15
8.2K0
基于GPT2制作一个chatbot
想必大家都有经历,处于多种原因有个很好的朋友不再跟你聊天了,那么可不可以用他的微信聊天记录来大致还原一下这个人的聊天习惯语气甚至是喜欢发的表情包等等呢?
大鹅
2021-09-14
2K0
机器学习 深度学习中激活函数sigmoid relu tanh gelu等汇总整理
这篇博客主要总结一下常用的激活函数公式及优劣势,包括sigmoid relu tanh gelu
大鹅
2021-09-12
1.8K0
wide & deep 模型与优化器理解 代码实战
wide & deep模型是Google在2016年发布的一类用于分类和回归的模型。该模型应用到了Google Play的应用推荐中,有效的增加了Google Play的软件安装量。目前wide & deep模型已经开源,并且在TensorFlow上提供了高级API。
大鹅
2021-09-12
2.2K2
深度学习常用优化器汇总整理
为机器学习项目选择好的优化器不是一项容易的任务。流行的深度学习库(如 PyTorch 或 TensorFLow)提供了多种优化器选择,它们各有优缺点。并且,选择不合适的优化器可能会对机器学习项目产生很大的负面影响。这使得选择优化器成为构建、测试和部署机器学习模型过程中的关键一环。
大鹅
2021-09-05
1.7K0
NLP烤面筋
https://l1nwatch.gitbook.io/interview_exercise/stackoverflow-about-python/python-zhong-guan-jian-zi-yield-you-shi-mo-zuo-yong
大鹅
2021-09-01
1.2K4
点击加载更多
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天,分 10000 元奖品池!
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档