首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

[自动调参]深度学习模型的超参数自动化调优详解

在实践中,经验丰富的机器学习工程师和研究人员会培养出直觉,能够判断上述选择哪些 可行、哪些不可行。也就是说,他们学会了调节超参数的技巧。但是调节超参数并没有正式成 文的规则。如果你想要在某项任务上达到最佳性能,那么就不能满足于一个容易犯错的人随意 做出的选择。即使你拥有很好的直觉,最初的选择也几乎不可能是最优的。你可以手动调节你 的选择、重新训练模型,如此不停重复来改进你的选择,这也是机器学习工程师和研究人员大 部分时间都在做的事情。但是,整天调节超参数不应该是人类的工作,最好留给机器去做。

01

Adversarial Reinforcement Learning for Unsupervised Domain Adaptation

将知识从已有的标记域转移到新的域时,往往会发生域转移,由于域之间的差异导致性能下降。 领域适应是缓解这一问题的一个突出方法。 目前已有许多预先训练好的神经网络用于特征提取。 然而,很少有工作讨论如何在源域和目标域的不同预训练模型中选择最佳特性实例。通过采用强化学习我们提出了一种新的方法来选择特征,再两个域上学习选择最相关的特征。具体地说,在这个框架中,我们使用Q-learning来学习agent的策略来进行特征选择, 通过逼近action-value来进行决策。 在选择最优特征后,我们提出一种对抗分布对齐学习来改进预测结果。 大量的实验证明,该方法优于目前最先进的方法。

01

机器学习笔记P1(李宏毅2019)

从最左上角开始看: Regression(回归):输出的目标是一个数值。如预测明天的PM2.5数值。 接下来是Classification(分类):该任务的目标是将数据归为某一类,如进行猫狗分类。 在分类任务中,将涉及线性和非线性的模型。其中,非线性的模型包含了Deep-Learning,SVM,决策树,K-NN等等。 结构化学习相对于回归或者分类来说,输出的是一个向量,结构化学习的输出可以是图像、语句、树结构等等。目前最火的的GAN就是一个典型的结构化学习样例。 回归、分类和结构化学习可以归为有监督任务,除此之外还有半监督任务以及无监督任务。 有监督模型对于模型的输入全部都是有标签的数据,半监督模型对于模型的输入,部分是有标签的数据,部分是没有标签的数据。无监督模型对于模型的输入全部都是没有标签的数据。 除此之外,因为手动对数据进行标注的代价很大,因此可以考虑将其他领域以及训练好的模型迁移到自己的任务中来,这叫做迁移学习。 目下,还有另外一个当下很火的技术叫做Reinforcement Learning(增强学习)。增强学习和监督学习的主要区别是:在有监督学习中,我们会对数据给出标签,然后拿模型得到的结果与结果进行对比,将结果进行一些处理之后用来优化模型。而在增强学习中,我们不会给模型正确的答案,取而代之的是我们会给模型一个分数,以此来表示模型结果的好坏程度。在增强学习中,模型并不知道为什么不好,只知道最终的结果评分。

02
领券