首页
学习
活动
专区
圈层
工具
发布
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    谷歌创造ImageNet1K新纪录:性能不佳的微调模型不要扔,求一下平均权重就能提升性能

    最近,谷歌等机构发现: 性能不好的微调模型先不要扔,求一下平均权重! 就能在不增加推理时间以及内存开销的情况下,提高模型的准确性和鲁棒性。...将它扩展到多个图像分类以及自然语言处理任务中,也能提高模型的分布外性能,并改善新下游任务的零样本性能。...之前也有研究证明,沿单个训练轨迹进行权重平均,可以提高随机初始化训练模型的性能。 作者正是从这些结论中受到启发。...其中greedy soup是最主要采用的实现,因为它的性能比直接均匀地平均所有权重更高。...结果经过module soup操作后,两者在分布内和自然分布转移(distribution shifts)测试集上的表现都比最佳的单个微调模型性能更佳。

    96430

    AI-Bind:标注不佳的蛋白质-配体结合预测

    图中可以看出两种模型在前两种场景下性能依旧良好,但在第三种场景下,对于新的蛋白质和配体数据,模型的预测性能都有所下降。这说明现有模型对于新出现的蛋白质和配体数据,预测能力会大幅下降。...图4 两种模型不同情况下的预测性能 表1显示了打乱训练集中的SMILE和蛋白质的氨基酸序列,同时不改变每个节点的正负标注情况下的DeepPurpose的预测性能。...表1 打乱数据后的模型预测性能 3.2 AI-Bind模型性能验证 图5展示了经过网络采样后的均衡样本训练下,三种模型的性能。...图中可以看出,由于消除了样本的不均衡,DeepPurpose对于新蛋白质和配体的结合预测性能有所提升,而AI-Bind的VecNet在新蛋白质和配体的结合预测方面性能最佳。...图5 均衡样本下三种模型的预测性能 图6展示了DrugBank中药物分子与食品数据库(NCFD)中的天然化合物分别作为输入的AI-Bind性能,可以看出天然化合物的结合预测性能与药物分子的预测性能相当,

    70910
    领券