问Google

EN

我不认为你会发现这些资源的细节--这是商业秘密。我敢打赌，谷歌首先将一个庞大的语言模型作为基础，让用户按照自己的数据对其进行微调，就像任何常见的转移学习一样。

至于他们是如何训练基本模型的，我发现最接近的是在2021年左右开发的路径语言模型PaLM，它被描述为“一个五千四百亿个参数，密集激活的变压器语言模型，在‘6144号TPU v4芯片’上训练。”尽管谷歌可能会保持更多的黑暗魔法，但PaLM已经是最先进的了。

正如你所知道的，自动ML可以有一个一般的含义。为了更好地了解其含义，一些论文可以帮助您了解有关auto ml的一些想法(也可以在NLP中应用)。本论文可能会有帮助。

机器学习在广泛的应用中的成功导致了对机器学习系统的日益增长的需求，这些系统可以被非专家使用。为了在实际应用中有效，这类系统需要为手头的新数据集自动选择一个好的算法和特征预处理步骤，并设置各自的超参数。最近的工作已经开始解决这一自动机器学习(AutoML)问题，借助有效的贝叶斯优化方法。