首页
学习
活动
专区
工具
TVP
发布

程序生活

专栏作者
436
文章
468598
阅读量
57
订阅数
【CCF2022】Web攻击检测与分类识别 baseline
赛程规划: 参赛报名:2022年8月20日(10点)-10月10日(24点) 线上参赛:2022年8月27日(10点)-10月16日(24点) 复现提交:2022年10月17日-10月23日(16点前) 代码审核:2022年10月24日-2022年11月2日 公布晋级:2022年11月3日-2022年11月6日 决赛答辩:2022年11月18日(暂定)
致Great
2022-09-26
6190
nlp-with-transformers实战-01_transformers简介
  2017年,谷歌的研究人员发表了一篇论文,提出了一种用于序列建模的新型神经网络架构。 被称为Transformer的这一架构在机器翻译任务上的表现优于循环神经网络(RNN),在翻译质量和训练成本方面都是如此。
致Great
2022-03-30
4740
ERNIE 3.0 Titan:最强中文预训练模型
本文介绍了一个中文大语言模型。作者提出了名为ERNIE 3.0的统一框架,用于预训练大规模知识增强模型,并训练了一个具有 100 亿个参数的模型。 ERNIE 3.0 在各种 NLP 任务上的表现优于最先进的模型。为了探索扩展 ERNIE 3.0 的性能,作者在PaddlePaddle平台上训练了具有多达2600亿个参数的百亿参数模型 ERNIE 3.0 Titan。此外,作者设计了一个自监督的对抗损失和一个可控的语言建模损失,使ERNIE 3.0 Titan 生成可信且可控的文本。为了减少计算开销和碳排放,作者为 ERNIE 3.0 Titan 提出了一个在线蒸馏框架,其中教师模型将同时教授学生和自我训练。ERNIE 3.0 Titan是迄今为止最大的中文密集预训练模型。实证结果表明,ERNIE 3.0 Titan在 68 个NLP数据集上的表现优于最先进的模型。
致Great
2022-01-06
9050
深度学习优化器中的变形金刚:Ranger21
论文题目:RANGER21: A SYNERGISTIC DEEP LEARNING OPTIMIZER 论文链接:https://arxiv.org/pdf/2106.13731.pdf
致Great
2021-11-24
5200
给Bert加速吧!NLP中的知识蒸馏论文 Distilled BiLSTM解读
论文题目:Distilling Task-Specific Knowledge from BERT into Simple Neural Networks 论文链接:https://arxiv.org/pdf/1903.12136.pdf
致Great
2021-11-24
6370
一个易用且高效的基于 PyTorch 的 MoE 模型训练系统.
FastMoE 是一个易用且高效的基于 PyTorch 的 MoE 模型训练系统.
致Great
2021-11-24
1.3K0
Spektral:使用TF2实现经典GNN的开源库
Spektral工具还发表了论文: 《Graph Neural Networks in TensorFlow and Keras with Spektral》 https://arxiv.org/abs/2006.12138
致Great
2021-07-21
8690
Multi-Scale Convolutional Neural Networks for Time Series Classification
通过降采样的变换,实现在不同时间尺度的序列上的特征提取。 通过滑动平均的变换,实现对噪音的抵抗性。
致Great
2021-03-03
5650
深度学习模型实战-深度学习模型在各大公司实际生产环境的应用讲解文章
仓库地址:https://github.com/DA-southampton/Tech_Aarticle/edit/master/README.md
致Great
2021-02-22
8860
图神经网络(02)-基于Graph的传统机器学习理论
图学习任务 我们简单回顾下,上一节我们介绍了,图的机器学习任务主要是以下三种: Node Level:节点级别 Link Level:边级别 Graph Level:图级别 并且三部分难度依次是由
致Great
2021-01-29
5451
Kaggle系列-IEEE-CIS Fraud Detection第一名复现
想象一下,站在杂货店的收银台,身后排着长队,收银员没有那么安静地宣布您的信用卡被拒绝了。在这一刻,你可能没有想到决定你命运的数据科学。 非常尴尬有木有?当然你肯定有足够的资金为50个最亲密的朋友办一场盛大的纳乔派对,然后你又试了一次,但是还是同样的结果。此时你只能站在另外一边,让收银员为下一个客户服务时,你收到了银行的短信。“如果你真的想花500美元买切达干酪,请按1。” 虽然现在可能很麻烦(而且常常很尴尬),但这种防欺诈系统实际上每年为消费者节省数百万美元。来自ieee计算智能协会(ieee-cis)的研究人员希望在改善客户体验的同时,提升这个数字。有了更高准确度的欺诈检测率,您就可以在没有麻烦的情况下继续使用您的芯片。 ieee-cis在各种人工智能和机器学习领域,包括深层神经网络、模糊系统、演化计算和群智能等等。今天,他们正与世界领先的支付服务公司Vesta Corporation合作,为防欺诈行业寻求最佳解决方案,现在邀请您也加入此次挑战。 在本次竞赛中,您将在一个具有挑战性的大型数据集上对你的机器学习模型进行基准测试。这些数据来自Vesta的真实电子商务交易,并且包含了从设备类型到产品功能的各种特征。您还可以创建新的特征来改善结果。 如果成功,您将提高全球数百万人的欺诈交易警报的有效性,帮助数十万企业减少欺诈损失并增加收入。当然,你也可以为你自己减少误报的麻烦。
致Great
2021-01-21
5480
文本点击率预估挑战赛-冠亚季军方案总结
搜索中一个重要的任务是根据query和title预测query下doc点击率,本次大赛参赛队伍需要根据脱敏后的数据预测指定doc的点击率,结果按照指定的评价指标使用在线评测数据进行评测和排名,得分最优者获胜。
致Great
2021-01-18
6760
【DataFountain-CV训练赛】
比赛链接:https://www.datafountain.cn/competitions/488/datasets
致Great
2021-01-06
1.1K0
教程:如何直接从可视化CNN layers中的特征
注意:在这里,我们只关心构建CNN模型并观察其特征图(feature map),我们不关心模型的准确性。
致Great
2021-01-06
8670
DataFountain训练赛汇总,成长在于不断学习
背景:随着数据量的不断积累,海量时序信息的处理需求日益凸显。作为时间序列数据分析中的重要任务之一,时间序列分类应用广泛且多样。时间序列分类旨在赋予序列某个离散标记。传统特征提取算法使用时间序列中的统计信息作为分类的依据。近年来,基于深度学习的时序分类取得了较大进展。基于端到端的特征提取方式,深度学习可以避免繁琐的人工特征设计。如何对时间序列中进行有效的分类,从繁芜丛杂的数据集中将具有某种特定形态的序列归属到同一个集合,对于学术研究及工业应用具有重要意义。
致Great
2020-12-29
7270
转 Target Encoding之Smoothing
原文:https://www.cnblogs.com/bjwu/p/9087071.html
致Great
2020-12-16
1K0
中文分词工具 MiNLP-Tokenizer
MiNLP-Tokenizer是小米AI实验室NLP团队自研的中文分词工具,基于深度学习序列标注模型实现,在公开测试集上取得了SOTA效果。其具备以下特点:
致Great
2020-11-26
1.5K0
零基础入门NLP - 新闻文本分类 方案整理
比赛链接:https://tianchi.aliyun.com/forum/#raceId=531810 以下资料整理自比赛论坛,感谢这些无私开源的选手们,以下是整理TOP5方案的主要思路和模型,以便大家学习
致Great
2020-11-24
1.6K0
Datawhale 零基础入门CV赛事-Task5 模型集成
在机器学习中的集成学习可以在一定程度上提高预测精度,常见的集成学习方法有Stacking、Bagging和Boosting,同时这些集成学习方法与具体验证集划分联系紧密。
致Great
2020-06-03
2730
Datawhale 零基础入门CV赛事-Task4 模型训练与验证
为此本章将从构建验证集、模型训练和验证、模型保存与加载和模型调参几个部分讲解,在部分小节中将会结合Pytorch代码进行讲解。
致Great
2020-06-03
5850
点击加载更多
社区活动
RAG七天入门训练营
鹅厂大牛手把手带你上手实战
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档