首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

Michael Jordan新研究:采样可以比优化更快地收敛

机器学习和数据科学融合了计算机科学与统计学,以解决推理问题。它们的规模和复杂性都要求现代计算基础设施的支持。它们的算法基础基于两种通用的计算策略,这两种策略都源于数学——优化和马尔科夫链蒙特卡洛方法(MCMC)采样。针对这些策略的研究大多是单独进行的:优化研究侧重于评估和预测问题,而采样研究侧重于需要评估不确定性的任务,如形成置信区间和进行假设测试。然而,在两个研究领域中使用共同的方法要素开始成为一种趋势。特别是这两个领域都侧重于使用梯度和随机梯度——而不是函数值或高阶导数——来作为单个算法步骤的计算复杂性和总体收敛速率之间的有益折衷。实验证明,这种妥协的效果相当惊人。但是,将优化和采样联系起来的理论研究相对较少,因此限制了这种思路的发展。尤其是,优化理论最近的快速发展 [34] 并没有带来采样理论的此类发展。因此,机器学习的推理范围仍然有限,很少能够考虑不确定性的估计。

02

【编译器玄学研究报告】第一期——位域和volatile

在鸽了将近4年之后,我终于良心发现,决定重新恢复【裸机思维】公众号的更新。谢谢大家的长久守候和等待——非常非常抱歉。这段期间,发生了很多事情,我也憋了很多内容想跟更多的朋友分享。作为一个开端,我准备踏踏实实的从一些小的话题开始,慢慢恢复写作状态。《编译器的玄学研究报告》就是这样一个系列,我会为大家分析一些常见的、同时也是最新的、嵌入式编译器使用中可能会遇到的问题——尤其是那些看似是玄学的现象——为大家庖丁解牛、由浅入深,不仅给个痛快,也给大家个明明白白——我最终的目的是希望大家不惧怕优化,不要把编译器的行为看作是玄学,最终人人都拥有屈驾最高优化等级的知识和信心。

02

并发编程中的大坑:你的直觉&有序性问题

并发编程无疑是编程领域中的上甘岭,他的“难”主要体现在两个方面,从宏观上来讲,主要是如何确定最优化的模型,例如Redis是单线程模型,Nginx是多进程单线程模型,而Netty是主从Reactor多线程模型;从微观上来讲,主要是原子性、可见性、有序性等问题的纠缠,这些问题有一个共同点,就是直觉失效。我们大部分情况下都是靠直觉来写程序的,如果直觉失效,会意味着什么呢?意味着直觉在引导我们写bug,引导我们误入歧途。今天我们就重点来聊聊直觉失效的问题之一:有序性问题。相信你看完这篇文章,肯定会大吃一惊:“原来一不小心写了这么多bug!”好在解决方案还是很简单的,只要了解了原理就可能轻松搞定。

02
领券