调参的一些个人拙见

最近的事。。浓缩成下面的一张图。

调参有哪些方法呢?

  1. 语料处理。这个是之后一切操作的基础。有人或许认为算法是最重要的,其实不然,语料处理真的真的是最重要的。就比如中文语料处理,全角转半角,繁体转简体,大写转小写(中文语料也可能有英文呀)。语料处理好了,能提高好个点。
  2. 代码问题。有时候你虽然调出最高的参数了,可是你不能在此还原这样一抹一样的数据,为什么呢?我有一次就是这样。原因是没有给随机数喂种子。。。这个写代码切记切记。还有一个,就是要记得每次训练语料前,shuffle一下,shuffle和不shuffle差距还真是挺大的。
  3. 算法。一般算法都跑一边之后,效果明显好过其他的那个算法一般就是适合这个数据的算法了。每个算法有自己的参数,
  4. 预训练embedding。一般情况下会有效果,前提是一定要用对预训练数据。
  5. 调超参数。调参的方面有很多,简单常见的有lr(经验值SGD 0.01,Adam 0.001),batch_size,embed_dim等,深入的有weight_decay(权重衰退),lr_decay(学习率衰退),初始化模型参数等。
  6. 不同的参数用不同的优化器优化。如果你想让Embedding稀疏parse更新(就是只更新一部分参数,其他的都是全部更新的),那么就需要用到这样的方法。

明天继续调参,争取超过论文的最高值。

原文发布于微信公众号 - 深度学习自然语言处理(zenRRan)

原文发表时间:2018-03-04

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏量子位

手把手教你用Python实现自动特征工程

任何参与过机器学习比赛的人,都能深深体会特征工程在构建机器学习模型中的重要性,它决定了你在比赛排行榜中的位置。

3095
来自专栏机器之心

学界 | 斯坦福提出神经任务编程NTP:让机器人从层级任务中学习

选自arXiv 机器之心编译 参与:朱乾树、蒋思源 斯坦福视觉与学习实验室与加州大学提出神经任务编程(NTP),它可以将指定任务作为输入,并递归地将该任务分解成...

3639
来自专栏架构之路

蓄水池抽样-Reservoir Sampling

 英文原文:hadoop-stratified-randosampling-algorithm         译者:bruce-accumulate    ...

3363
来自专栏达观数据

达观数据搜索引擎排序实践(上篇)

前言 随着互联网的深入发展,人类已然进入大数据时代。如何在浩瀚的数据海洋里高速有效的获取有价值的信息,正是促使大数据技术具备走向众多企业的潜力。搜索引擎作为获取...

4779
来自专栏深度学习

机器学习在web攻击检测中的应用实践

一、背景 通俗地讲,任何一个的机器学习问题都可以等价于一个寻找合适变换函数的问题。例如语音识别,就是在求取合适的变换函数,将输入的一维时序语音信号变换到语义空间...

3845
来自专栏人工智能头条

递归神经网络不可思议的有效性(下)

1703
来自专栏专知

机器翻译新时代:Facebook 开源无监督机器翻译模型和大规模训练语料

【导读】基于深度学习的机器翻译往往需要数量非常庞大的平行语料,这一前提使得当前最先进的技术无法被有效地用于那些平行语料比较匮乏的语言之间。为了解决这一问题,Fa...

59511
来自专栏深度学习之tensorflow实战篇

SPSS Modeler 介绍决策树

本文将通过 SPSS Modeler 介绍决策树 (Decision tree) 演算法于银行行销领域的应用实例。通过使用网路公开电销资料建立不同决策树模型,分...

3648
来自专栏章鱼的慢慢技术路

解救小哈——DFS算法举例

2768
来自专栏数据科学与人工智能

【算法】TextRank算法为文本生成关键字和摘要

TextRank算法基于PageRank,用于为文本生成关键字和摘要。其论文是:

1072

扫码关注云+社区

领取腾讯云代金券