首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    CVPR 2021 | AttentiveNAS:通过注意力采样改善神经架构搜索

    神经结构搜索(NAS)在设计最先进的(SOTA)模型方面表现出了巨大的潜力,既准确又快速。近年来,BigNAS 等两阶段 NAS 将模型训练和搜索过程解耦,取得了良好的搜索效率。两阶段 NA S在训练过程中需要对搜索空间进行采样,这直接影响最终搜索模型的准确性。尽管均匀抽样的广泛应用是为了简化,但它不考虑模型性能的帕累托前沿,而帕累托前沿是搜索过程中的主要关注点,因此错过了进一步提高模型精度的机会。在这项工作中,我们建议关注于采样网络,以提高性能的帕累托。在训练过程中,本文还提出了有效识别帕累托网络的算法。无需额外的再训练或后处理,就可以通过广泛的 FLOPs 同时获得大量的网络。本文发现的模型家族 AttentiveNAS 模型在 ImageNet 上的准确率最高,从77.3%到80.7%,优于包括 BigNAS、Once-for-All networks 和 FBNetV3 在内的 SOTA 模型。并且本文还实现了 ImageNet 的精度为80.1%,只需491 MFLOPs。

    02

    多目标演化算法 | 从参考点出发,求解高维多目标优化问题!

    从社会生活的角度出发,最优化问题普遍存在于我们的日常生活中。例如,人们往往追求利润的最大化、投资风险的最小化等。随着科学技术和生产生活的日益发展,人们面临的优化问题也日渐复杂。其中,多目标优化问题是一类典型的代表。顾名思义,多目标优化问题即人们需同时优化多个目标,且各目标之间往往存在冲突。例如,生产经营者往往希望用最小的代价获得最大的收益;人们购买汽车时,除了考虑价格外,还会考虑汽车的性能、舒适度等(见图一)。而演化算法(见图二)是模拟生物界自然选择和自然进化的随机启发式算法,现已成为当前解决复杂多目标优化问题的有效工具之一。其中,香港城市大学张青富教授提出的MOEA/D目前已成为求解多目标优化问题最流行的算法框架[1-2]。

    04

    NSGA-II多目标遗传算法概述

    Non dominated sorting genetic algorithm -II NSGA-Ⅱ是目前最流行的多目标遗传算法之一,它降低了非劣排序遗传算法的复杂性,具有运行速度快,解集的收敛性好的优点,成为其他多目标优化算法性能的基准。 NSGA-Ⅱ就是在第一代非支配排序遗传算法的基础上改进而来,其改进主要是针对如上所述的三个方面: ①提出了快速非支配排序算法,一方面降低了计算的复杂度,另一方面它将父代种群跟子代种群进行合并,使得下一代的种群从双倍的空间中进行选取,从而保留了最为优秀的所有个体; ②引进精英策略,保证某些优良的种群个体在进化过程中不会被丢弃,从而提高了优化结果的精度; ③采用拥挤度和拥挤度比较算子,不但克服了NSGA中需要人为指定共享参数的缺陷,而且将其作为种群中个体间的比较标准,使得准Pareto域中的个体能均匀地扩展到整个Pareto域,保证了种群的多样性。

    02

    粒子群优化(PSO)算法概述

    PSO(PSO——Particle Swarm Optimization)(基于种群的随机优化技术算法) 粒子群算法模仿昆虫、兽群、鸟群和鱼群等的群集行为,这些群体按照一种合作的方式寻找食物,群体中的每个成员通过学习它自身的经验和其他成员的经验来不断改变其搜索模式。 Kennedy和Eberhart提出粒子群算法的主要设计思想与两个方面的研究密切相关: 一是进化算法,粒子群算法和进化算法一样采用种群的方式进行搜索,这使得它可以同时搜索待优化目标函数解空间中的较多区域。 二是人工生命,即研究具有生命特征的人工系统,它采用的主要工具是计算机,主要方法是利用计算机编程模拟。 Millonas在用人工生命理论来研究群居动物的行为时,对于如何采用计算机构建具有合作行为的群集人工生命系统,提出了五条基本原则: (1)邻近原则(ProximityPrinciple):群体应该能够执行简单的空间和时间运算。 (2)质量原则(Quality Principle):群体应该能感受到周围环境中质量因素的变化,并对其产生响应。 (3)反应多样性原则(Principle ofDiverse Response):群体不应将自己获取资源的途径限制在狭窄的范围之内。 (4)稳定性原则(Principle ofStability):群体不应随着环境的每一次变化而改变自己的行为模式。 (5)适应性原则(Principle ofAdaptability):当改变行为模式带来的回报是值得的时候,群体应该改变其行为模式。 其中4、5两条原则是同一个问题的两面。微粒群系统满足以上五条原则。 近十余年来,针对粒子群算法展开的研究很多,前国内外已有多人从多个方面对微粒群算法进行过综述;并出现了多本关于粒子群算法的专著和以粒子群算法为主要研究内容的博士论文。

    03

    Nat. Mach. Intell. | 基于图变分编码的多属性预测小分子生成模型

    本文介绍的是2023年7月发表在国际知名期刊《Nature Machine Intelligence》上发表的一篇题为《Application of variational graph encoders as an effective generalist algorithm in computer-aided drug design》的研究论文。该论文提出了一种单一的通用模型,利用图卷积变分编码器,可以同时预测小分子的多个属性,如吸收、体内分布、代谢、排泄和毒性、特定靶点的对接打分预测以及药物间的相互作用。使用这种方法可以实现具有高达两个数量级的显著加速优势的最先进虚拟筛选。通过图变分编码器的隐空间最小化,还可以加速开发具有帕累托最优(Pareto optimality)原则的特定药物,并具有可解释性的优势。本文的通讯作者是慕宇光教授(新加坡南洋理工)、郑良振博士(智峪生科和深圳先进院)和李伟峰教授(山东大学)。

    02

    fio基础13

    sync_file_range=str:valUsesync_file_range()forevery'val'numberofwriteoperations.Fiowilltrackrangeofwritesthathavehappenedsincethelastsync_file_range()call.'str'cancurrentlybeoneormoreof:wait_beforeSYNC_FILE_RANGE_WAIT_BEFOREwriteSYNC_FILE_RANGE_WRITEwait_afterSYNC_FILE_RANGE_WAIT_AFTERSoifyoudosync_file_range=wait_before,write:8,fiowoulduseSYNC_FILE_RANGE_WAIT_BEFORE|SYNC_FILE_RANGE_WRITEforevery8writes.Alsoseethesync_file_range(2)manpage.ThisoptionisLinuxspecific.overwrite=boolIftrue,writestoafilewillalwaysoverwriteexistingdata.Ifthefiledoesn't already exist, it will be created before the write phase begins. If the file exists and is large enough for the specified write phase, nothing will be done. end_fsync=bool If true, fsync file contents when a write stage has completed. fsync_on_close=bool If true, fio will fsync() a dirty file on close. This differs from end_fsync in that it will happen on every file close, not just at the end of the job. rwmixread=int How large a percentage of the mix should be reads. rwmixwrite=int How large a percentage of the mix should be writes. If both rwmixread and rwmixwrite is given and the values do not add up to 100%, the latter of the two will be used to override the first. This may interfere with a given rate setting, if fio is asked to limit reads or writes to a certain rate. If that is the case, then the distribution may be skewed. random_distribution=str:float By default, fio will use a completely uniform random distribution when asked to perform random IO. Sometimes it is useful to skew the distribution in specific ways, ensuring that some parts of the data is more hot than others. fio includes the following distribution models: random Uniform random distribution zipf Zipf distribution pareto Pareto distribution When using a zipf or pareto distribution, an input value is also needed to define the access pattern. For zipf, this is the zipf theta. For pareto, it'stheparetopower.Fioincludesatestprogram,genzipf,thatcanbeusedvi

    03
    领券