首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

从基础知识到实际应用,一文了解机器学习非凸优化技术

选自arXiv 优化技术在科技领域应用广泛,小到航班表,大到医疗、物理、人工智能的发展,皆可看到其身影,机器学习当然也不例外,且在实践中经历了一个从凸优化到非凸优化的转变,这是因为后者能更好地捕捉问题结构。本文梳理了这种转变的过程和历史,以及从机器学习和信号处理应用中习得的经验。本文将带领读者简要了解几种广泛使用的非凸优化技术及应用,介绍该领域的丰富文献,使读者了解分析非凸问题的简单步骤所需的基础知识。更多详细内容请查看原论文。 优化作为一种研究领域在科技中有很多应用。随着数字计算机的发展和算力的大幅增长,

010

从基础知识到实际应用,一文了解「机器学习非凸优化技术」

选自arXiv 机器之心编译 优化技术在科技领域应用广泛,小到航班表,大到医疗、物理、人工智能的发展,皆可看到其身影,机器学习当然也不例外,且在实践中经历了一个从凸优化到非凸优化的转变,这是因为后者能更好地捕捉问题结构。本文梳理了这种转变的过程和历史,以及从机器学习和信号处理应用中习得的经验。本文将带领读者简要了解几种广泛使用的非凸优化技术及应用,介绍该领域的丰富文献,使读者了解分析非凸问题的简单步骤所需的基础知识。更多详细内容请查看原论文。 优化作为一种研究领域在科技中有很多应用。随着数字计算机的发展和算

08

ICLR 2022丨加速无数据量化数万倍,上海交大&微软提出无数据场景下毫秒级量化方法SQuant

作者丨‍郭聪 邱宇贤 冷静文 高孝天  张宸 刘云新 杨凡 朱禺皓 过敏意 神经网络模型量化是提高神经网络计算效率的一个有效方法,它通过将模型参数转换成内存开销更小的低精度数据格式来减少计算与内存开销。经典的神经网络量化方法通常需要经过一个精调的训练过程,以保证量化后的模型精度。然而,出于数据和隐私安全的考虑,许多应用场景无法获得精调所需训练数据,因此无数据(data-free)场景下的量化算法成为当下研究热点之一。现有的无数据量化方案通常需要生成伪数据,然后利用伪数据进行训练后量化(Post-train

02

AI for Science:清华团队提出使用低维优化求解器求解高维/大规模优化问题的高效方法

摘要:在2023年7月即将召开的机器学习领域知名国际会议ICML2023中,清华大学计算机系徐华老师团队以长文的形式发表了采用低维优化求解器求解高维/大规模优化问题的最新研究成果(论文标题“GNN&GBDT-Guided Fast Optimizing Framework for Large-scale Integer Programming”)。本项研究针对工业界对于大规模整数规划问题的高效求解需求,提出了基于图卷积神经网络和梯度提升决策树的三阶段优化求解框架,探索了仅使用小规模、免费、开源的优化求解器求解只有商用优化求解器才能解决的大规模优化问题的道路,在电力系统、物流配送、路径规划等诸多应用领域中均具有潜在的应用价值。

03

《深入理解java虚拟机》学习笔记之编译优化技术

郑重声明:本片博客是学习<深入理解Java虚拟机>一书所记录的笔记,内容基本为书中知识. Java程序员有一个共识,以编译方式执行本地代码比解释方式更快,之所以有这样的共识,除去虚拟机解释执行字节码时额外消耗时间的原因外,还有一个很重要的原因就是虚拟机设计团队几乎把对代码的所有优化措施都集中在了即时编译器之中(在JDK 1.3之 后,Javac就去除了-O选项,不会生成任何字节码级别的优化代码了),因此一般来说,即时编译器产生的本地代码会比Javac产生的字节码更加优秀[1]。本篇博客,我们将一起学习HotSpot虚拟机的即时编译器在生成代码时采用的代码优化技术。

02

Michael Jordan新研究:采样可以比优化更快地收敛

机器学习和数据科学融合了计算机科学与统计学,以解决推理问题。它们的规模和复杂性都要求现代计算基础设施的支持。它们的算法基础基于两种通用的计算策略,这两种策略都源于数学——优化和马尔科夫链蒙特卡洛方法(MCMC)采样。针对这些策略的研究大多是单独进行的:优化研究侧重于评估和预测问题,而采样研究侧重于需要评估不确定性的任务,如形成置信区间和进行假设测试。然而,在两个研究领域中使用共同的方法要素开始成为一种趋势。特别是这两个领域都侧重于使用梯度和随机梯度——而不是函数值或高阶导数——来作为单个算法步骤的计算复杂性和总体收敛速率之间的有益折衷。实验证明,这种妥协的效果相当惊人。但是,将优化和采样联系起来的理论研究相对较少,因此限制了这种思路的发展。尤其是,优化理论最近的快速发展 [34] 并没有带来采样理论的此类发展。因此,机器学习的推理范围仍然有限,很少能够考虑不确定性的估计。

02

实战技能分享,如何让工程代码各种优化等级通吃,含MDK AC5,AC6,IAR和GCC

引出问题: 一个好的工程项目代码,特别是开源类的,如果能做到各种优化等级通吃,是一种非常好的工程案例,这样别人借鉴的时候,可以方便的适配到自己工程里。但实际项目中,针对一款产品代码,我们一般不会这么干,因为非常耗精力,意义也不大,一般是追求最高性能,最小代码量或者更高的稳定性,我们会选择一个合理的优化等级。 但是随着工程的复杂,特别是一些第3方组件的加入,很容易碰到不耐优化的情况。也就是这个组件没法适配到我们当前的优化等级里面。甚至有时候我们还会遇到高优化等级能用,改成0级优化反倒不能用了。 本期帖子我们就分享一种方法来解决这个问题,合理的设置不同代码的不同优化等级,即一种优化为主优化等级,其它代码设置到能用的优化等级上,以此来达到通吃的目的。 如果采用这种办法可以一步一步的锁定具体问题所在,并将工程文件全部设置到同一个优化等级是最好的。 MDK设置方法(AC5和AC6): 分两个方向: 1、开启优化后,部分功能不正常 解决思路是把这部分的文件继续设置为低优化等级,整体工程设置为高优化等级(这种方法可以锁定有问题的文件,然后锁定具体有问题的函数)。

02

Hive优化器原理与源码解析系列--优化规则SortJoinReduceRule(二)

基于成本优化器CBO,常用的优化规则如子查询移除、相关性拆解、笛卡尔积加等值判断转换为内关联,谓词下推等等常用优化规则Rule。如谓词下推优化规则是将判断条件下推到数据源头,来加少中间结果,在成本优化器中,每个RelNode的中间结果大小即RowCount记录数大小决定一个RelNode的成本大小,(RowCount记录数是构成CostModel成本模型元素之一),此文讲述是HiveSort下推到HiveJoin下。也具有减少中间结果,降低一个RelNode关系表达式成本功能。在Hive中Sort操作符就代表在HQL中 SORT BY field LIMIT n 语句写法,上篇文章SortRemoveRule优化规则将由SortJoinReduceRule产生的SortLimit移除,详细可参考上篇文章Hive优化器原理与源码解析系列--优化规则SortRemoveRule(一)。

02
领券