调参的一些个人拙见

最近的事。。浓缩成下面的一张图。

调参有哪些方法呢?

  1. 语料处理。这个是之后一切操作的基础。有人或许认为算法是最重要的,其实不然,语料处理真的真的是最重要的。就比如中文语料处理,全角转半角,繁体转简体,大写转小写(中文语料也可能有英文呀)。语料处理好了,能提高好个点。
  2. 代码问题。有时候你虽然调出最高的参数了,可是你不能在此还原这样一抹一样的数据,为什么呢?我有一次就是这样。原因是没有给随机数喂种子。。。这个写代码切记切记。还有一个,就是要记得每次训练语料前,shuffle一下,shuffle和不shuffle差距还真是挺大的。
  3. 算法。一般算法都跑一边之后,效果明显好过其他的那个算法一般就是适合这个数据的算法了。每个算法有自己的参数,
  4. 预训练embedding。一般情况下会有效果,前提是一定要用对预训练数据。
  5. 调超参数。调参的方面有很多,简单常见的有lr(经验值SGD 0.01,Adam 0.001),batch_size,embed_dim等,深入的有weight_decay(权重衰退),lr_decay(学习率衰退),初始化模型参数等。
  6. 不同的参数用不同的优化器优化。如果你想让Embedding稀疏parse更新(就是只更新一部分参数,其他的都是全部更新的),那么就需要用到这样的方法。

明天继续调参,争取超过论文的最高值。

原文发布于微信公众号 - 深度学习自然语言处理(zenRRan)

原文发表时间:2018-03-04

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏达观数据

达观数据搜索引擎排序实践(上篇)

前言 随着互联网的深入发展,人类已然进入大数据时代。如何在浩瀚的数据海洋里高速有效的获取有价值的信息,正是促使大数据技术具备走向众多企业的潜力。搜索引擎作为获取...

4589
来自专栏专知

机器翻译新时代:Facebook 开源无监督机器翻译模型和大规模训练语料

【导读】基于深度学习的机器翻译往往需要数量非常庞大的平行语料,这一前提使得当前最先进的技术无法被有效地用于那些平行语料比较匮乏的语言之间。为了解决这一问题,Fa...

52111
来自专栏数据科学与人工智能

【算法】TextRank算法为文本生成关键字和摘要

TextRank算法基于PageRank,用于为文本生成关键字和摘要。其论文是:

972
来自专栏CSDN技术头条

干货 | 机器学习在web攻击检测中的应用实践

一、背景 在web应用攻击检测的发展历史中,到目前为止,基本是依赖于规则的黑名单检测机制,无论是web应用防火墙或ids等等,主要依赖于检测引擎内置的正则,进行...

2009
来自专栏深度学习入门与实践

【深度学习系列】PaddlePaddle垃圾邮件处理实战(一)

3814
来自专栏架构之路

蓄水池抽样-Reservoir Sampling

 英文原文:hadoop-stratified-randosampling-algorithm         译者:bruce-accumulate    ...

3063
来自专栏机器学习之旅

python开发:特征工程代码模版(二)

正题开始: 这篇文章是入门级的特征处理的打包解决方案的python实现汇总,如果想get一些新鲜血液的朋友可以叉了,只是方便玩数据的人进行数据特征筛选的代码集...

1553
来自专栏人工智能头条

用机器学习识别随机生成的C&C域名

3493
来自专栏量化投资与机器学习

【Python量化投资】金融应用中用matplotlib库实现的数据可视化

Python中,matplotlib可以视为数据可视化的基准和主力。尽管有许多其他的可视化库,但是matplotlib已经确立了一个标杆,在许多情况下,它都是健...

2795
来自专栏AI科技大本营的专栏

AI实践精选:艺术家如何应用RNN(循环神经网络)创作AI化的艺术作品

文章导读:这篇文章不是为了全面深入的介绍循环神经网络(recurrent neural networks),而是为那些没有任何机器学习(machine lear...

3567

扫码关注云+社区