首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

UC 伯克利优化理论教授谈深度学习:为了可解释性,我们可能需要牺牲一些模型表现

我们也开发一些新方法,我觉得很兴奋。...这儿没什么秘诀,这些问题的数学形式总是一样的,我甚至觉得很奇怪为什么是一样的。完全不同的角度、不同的行业、不同的问题,但是 AI 模型总是一模一样。我很惊讶,这里没有隐藏的秘密,但它就是这样的情况。...我觉得未来,为了让人类和机器之间有更好的互动,我们有必要理解为什么机器做出了这些决定。当前的 AI 很成功,比如在翻译方面就是。...比如你想做一笔投资,你就需要知道你所投资的商品未来的价格是怎么样的。鲁棒优化中,你不需要确切知道接下来会发生什么,而这恰恰是实际生活中经常出现的情况。...这种特性也不只中国有,全世界都看得到,这是现代社会的一个积极建设力量。对于外国人来说,中国很值得敬仰,我也希望其它国家可以多和中国积极互动,我自己也积极参与。

660150

Winton CIO:关于CTA策略的深入的探讨

我们的观点是,这不是系统性趋势策略组合经理的职责,如果你想象一下自己正在经历这些,你就会明白为什么了,因为在那一刻,你不知道这是否会发生。有些主观交易者是这方面的专家,他们预测美联储怎么做。...他们会有这样的想法,既然它们2022年表现得很好,那么2023年大概率不会表现得很好。您如何改变他们的这类看法,即不要对趋势类策略进行择时配置? 我很理解投资者的担忧,因为我们不能预测趋势。...但在某种程度上,人们担心某个特定点进行配置的风险,然后表现不佳,一种缓解方法是,你可以几个月的时间里平均分配,这是一个很有帮助的想法,因为它经常解决真正的潜在问题。...但当你走出这个圈子的时候,你得很奇怪,对吧? 如果你回想一下2017年,当时股市直线上涨,而VIX指数处于创纪录低点,世界上有人认为股市风险处于创纪录低点吗?没人真的这么想过。...例如,2014年,当石油价格下跌时,这是在说,1990年第一次海湾战争开始时发生了什么?油价上涨了30%。别以为这是不可能的。这是可能发生的。如果发生这种情况,你的投资组合会发生什么?现在情况如何?

31630
您找到你想要的搜索结果了吗?
是的
没有找到

GPT-3,价值460万美元的语言模型

GitHub 项目页面:https://github.com/openai/gpt-3 论文摘要就这一点讲得很清楚: 有一些工作主要是增加语言模型中的参数数量和计算量,以此作为改进生成或任务性能的手段。...答: 对 NLP 社区来说,"GPT-3"中值得关注的一点是,语言模型标准测试集上的表现可以比我们想的要强很多,途径就是这种多提示方法和更大的参数量。...语言学家研究人类儿童时就会涉及这类任务,过去的 NLP 模型在这方面表现很差。这方面的进展本应该得到最高的认可。...他们的目标是阐明“小样本学习”中学习的实际作用: 小样本(或单样本和零样本)设置下探究 GPT-3 的能力范围的一种方法,是赋予它要求执行简单的即时计算推理的任务,识别一种新颖的模式,即不太可能在训练中发生...如果是第 2 种情况,那么小样本提示确实很重要:它们可能的形式系统的大空间中“定位了符号的含义”。但是这种情况太疯狂了:它意味着语言模型获得了更加一般化的智力,这可不是什么小事情。

91410

程序员们必须在工作中不断的学习成长

德维克和她的合作者们发现,给学生细微的不同的表扬会对他们的表现产生很大的影响。 在这项研究中,Dweck和她的合作者给了一个学生一系列的问题。第一组问题之后,所有的学生都做得很好。...当我递归中心的时候,这是我一直坚持的。有人坐在我旁边说:“(叹气)我想我有一个奇怪Python bug,”然后我会说,“太棒了,我喜欢奇怪Python bug !”...正如我提到的,RC没有截止日期和任务,所以这种态度是非常自由的。我想说,“你可以花一天时间瓶子里寻找这个奇怪的虫子,多么令人兴奋!”...因为人的大脑专注模式下面,神经细胞更活跃,你学的东西更容易从短期记忆变成中长期记忆。 而且高度专注下面,你的解决问题的能力也提高,原本看起来复杂的东西,专注面前说不定就不是事了。...为什么游戏可以让你上瘾,因为它有反馈,有奖励机制。 学习数学是非常枯燥的,如果有了这个奖励机制,也许自己就更容易坚持了呢。

35850

解密:Python风靡全宇宙,首要原因竟是它?

SQL查询能让你知道数据最明显的模式和趋势,但要想获取数据中最为有用的信息,你需要的其实是完全不同的另一套技术——一套牢固扎根于数学和应用数学的技能。而具备这种技术的人才似乎只存在于学术界中。...Ruby与Python的“Web开发语言之争” 我们再往回讲讲,大数据还没有真正风靡之前,Ruby和Python曾在成为最受欢迎的“web开发语言”上发生过激烈的争战。...提供这样一个API的主要动机是:消除只读取时复制数据的必要性,澄清缓冲区的所有权转移语意,并将数据存储连续的存储器中(即使多维数据结构的情况下),其中读取访问速度非常快。...受益于PEP 3118的实现,Python悄然成为一个非常吸引人的编译语言。在此基础上,就有了很多基于C语言扩展的数字计算库被开发出来(注:C语言扩展可以很便捷地实现数据共享和操作。)...数据科学家们想寻找一种既具有表现力又快速的语言(具有良好的数值计算库支持启动),所有的这些需求都指向于Python 后来,就如我们看到的那样,Python受到万千宠爱,一跃成为了最受欢迎的编程语言。

65030

Python风靡全宇宙,首要原因是它?

SQL查询能让你知道数据最明显的模式和趋势,但要想获取数据中最为有用的信息,你需要的其实是完全不同的另一套技术——一套牢固扎根于数学和应用数学的技能。而具备这种技术的人才似乎只存在于学术界中。...Ruby与Python的“Web开发语言之争” 我们再往回讲讲,大数据还没有真正风靡之前,Ruby和Python曾在成为最受欢迎的“web开发语言”上发生过激烈的争战。...提供这样一个API的主要动机是:消除只读取时复制数据的必要性,澄清缓冲区的所有权转移语意,并将数据存储连续的存储器中(即使多维数据结构的情况下),其中读取访问速度非常快。...受益于PEP 3118的实现,Python悄然成为一个非常吸引人的编译语言。在此基础上,就有了很多基于C语言扩展的数字计算库被开发出来(注:C语言扩展可以很便捷地实现数据共享和操作。)...数据科学家们想寻找一种既具有表现力又快速的语言(具有良好的数值计算库支持启动),所有的这些需求都指向于Python 后来,就如我们看到的那样,Python受到万千宠爱,一跃成为了最受欢迎的编程语言。

79970

万字干货长文|为什么聪明的人并没有更快乐?

另外,当给被试者付费时,他们智力测试中的得分会更好,所以看起来智力测试其实是努力程度的测试。 但即使这些测试衡量的是「不公平社会中取得成功的能力」或「有多愿意努力尝试」,那也很奇怪。...即使再怀疑心理学上的智力测试的人也同意,智商可以预测「你在学校的表现怎么样」、「你会得到什么样的工作」。 那么为什么智力测试不能预测「你是否能过上自己喜欢的生活」呢?...早在1904年,斯皮尔曼就注意到了这样一件奇怪的事情: 在学校里,某一门科目上表现出色的孩子往往也在其他科目上表现得很出色。 这种相关性往往很高,即使在看起来完全不同的科目中,比如法语和数学。...为什么这样? 斯皮尔曼认为,人类一定有某种通用的心智能力,用来解决各种问题。...去google一下「世界上最聪明的人」,大部分结果是物理学家、数学家、计算机科学家和国际象棋大师。

19710

NIPS风波 | 获奖者登台开炮:ML是炼金术,大神LeCun强硬回怼

夏乙 问耕 发自 凹非寺 量子位 出品 | 公众号 QbitAI 谁能想到,NIPS这种都能风波乍起。...有时候loss一开始下降得很快,后来就不动了。你可能觉得遇到了局部最小值,或者鞍点,loss和0相差还很远。 ? 换一个下降的方向,很快就能优化到最低。...会发生这种情况,是因为我们把脆弱的优化技巧用到了我们不理解的loss上, 我们的解决方案本来就已经很神秘的技术上增加了更多神秘性。...想想过去一年里你为了刷竞赛榜单而做的实验、尝试的新技术;再想想过去一年里你为了解释奇怪现象、寻找其根源而做的努力。前者,我们做得很多,后者,我们应该再多做一些。...因为正是这种态度,曾让ML群体抛弃神经网络超过10年,尽管有充分的证据表明他们很多情况下效果很好。具有非凸损失函数的神经网络不能保证收敛。所以人们连婴儿带洗澡水一起泼掉了。

59870

人工智能(AI)自然语言理解的问题

一些人工智能技术中,它使用了一种越来越受欢迎的深度学习方法,这种方法涉及的数学计算非常简单,通过神经元的大脑中的相互连接,它可以学习如何理解新的信息。...如果人工智能要真正具有变革性,这种情况就必须改变。 即使AlphaGo不能说话,它使用的技术可能促进更好的语言理解。...这正是为什么李世石和阿尔法狗之间的比赛之前,许多专家怀疑机器掌握围棋。 但是,即使德雷福斯提出这样的观点,事实上上,一些研究人员正在开发一种方法,最终会使机器具备这种智能。...“但另一方面,他们的表现真的很难理解。”...就像在医疗保健方面一样,了解为什么做出决定可能很重要。“ 事实上,随着人工智能系统变得越来越复杂,我们很难设想如何在没有语言的情况下与他们进行合作而不能问他们“为什么”。

1.6K90

震惊!面试也有替身 ?

奇怪的是,这个新人入职的第一天,IT 团队的其他同事们就感觉有点不太对劲:他几乎没有技术素养,根本无法确定问题的解决方向,甚至说不来英语。...事情发展至此,当初招这个新人进来的那位招聘经理真是“百思不得其解”:“为什么一个面试过程中表现那么优秀的人,实际工作中会这么无能?”...当时,一家洛杉矶医院急招一位可以管理医院计算机系统的工程师,而这个“作弊者”雇了替身帮他面试,整个过程表现得很好并适当展示了岗位所需的专业知识。...医院方面没有发现问题,对他十分满意,便录用了这位“作弊者”。 不过,所谓纸包不住火,通过作弊这种方式谋求工作的人,一旦入职就会原形毕露。...上班第一天,这个人连基本技术问题都解决不好,然后试图对系统进行一些基本维护时,直接就是一整个“大翻车”:不维护还好,他维护了之后,医院整个楼层的每台医疗设备和计算机的连接中断长达一小时,医生也无法远程监控患者的生命体征

27050

深度学习为何泛化的那么好?秘密或许隐藏在内核机中

这个超空间的维度可能是无限的,取决于映射,这可能带来一个问题:找到分离超平面的系数涉及到计算每一对高维特征的内积,当数据被投射到无限维时,这就变得很困难。...这种隐式正则化不可能是答案。张志远说,这一发现要求“更好地解释描述深度神经网络中的泛化特征”。 3 无限的神经元 与此同时,研究表明,较宽的神经网络泛化方面通常与较窄的神经网络表现一样好,甚至更好。...为了解决这种情况,物理学家经常通过考虑极端情况来简化问题。例如,当系统中的粒子数趋于无穷时会发生什么?Bahri说:“在这些限制条件下,统计效应会变得更容易处理。”...这已经是个里程碑式的发现,但它并没有从数学上描述在实践中最常见的训练形式所发生情况。在后一种情况下,尚不清楚该解决方案如何能够很好地泛化。...很容易证明梯度下降让你到达碗的底部——全局最小值。至少对于这种理想化的场景,“你可以证明全局收敛,”Du说。“这就是为什么学习理论社区的人们这么兴奋。”

50810

Python的保质期——Python脚本领域的“大佬地位”还能持续多久?

为缓解这种情况,人们做出了一些努力,使用了颇有影响力的Cython,但在尝试使用Cython时,转换通常并是完全不相关。...关于Python领域中的脚本语言,笔者认为,Python依赖项和虚拟环境方面得很好。...然而,随着Nim的加入,Python将被遗弃。使用Nim,可以创建一个编译执行文件,其中包含所需的所有依赖项。如何为终端用户和部署处理依赖项及安装包方面,Nim轻松完胜Python和Julia。...Python看起来很英文范儿 像Python这种语言和类似脚本语言之间的一个很大的区别就是Python的可读性和容易理解性。通常,阅读Python就像阅读一本关于与数字等同变量的奇怪又抽象的书。...C语言之前,Fortran广受欢迎,C++之前,C语言广受欢迎,Java之前,C++也是如此,这样的例子不胜枚举,而且总会按此发生

82400

学界 | 五年过去,Hinton的《神经网络和机器学习》还是最好的机器学习课程吗?

直到两年以后,我打算尝试吴恩达机器学习方面的课程的时候,才有机会把Hinton的课程看一遍。...这也不奇怪,当Kapathay2013年评论这套课程时,他说很多从来没有从事过机器学习的人现在也慕名而来,但对于初次接触的人来说,要理解类似“基于能量的模型”这种很多人都跟不上的话题,简直引人入睡。...这也不奇怪,许多这种模型都来自于物理,比如伊辛模型(Ising model);深度学习的研究还会经常用到来自贝叶斯网络的想法。如果你对物理和贝叶斯网络两者都不熟悉的话,也应当得很困惑。...对我来讲,我花了很多时间谷歌上搜索、阅读相关的文献,这支持我解决了一些问题,但是这并不代表我就对这些课题真的了解了,因为它们可能真的很深入,并且跟直觉相悖。...知道你的模型里面正在发生什么是很重要的。当你的理解不足的时候,你很容易做出高成本的、短视的、狭隘的决定。这种事情时不时我同事和我自己身上发生,甚至我的有些导师身上也时有发生

95460

Kaggle Grandmaster是怎样炼成的

网络上到处是这种类型的博客文章。 另一方面,能写代码各个地方都是必要的,这也是潜在雇主了解数学的人和能写代码的人中间几乎总是选择后者的原因。 但我认为这种情况会改变的。...如果你用 DS/ML 来解决那些数学、物理、生物、化学、历史、考古、地理问题或者那些人们很少应用 ML 的问题,你可能找到下一个属于你的 Purple Cow。...90% 的 ML 只需要技术大学大一的数学知识,不需要超深的数学知识。DS 中使用最广泛的语言是 Python 和 R 语言,这两种语言比较高级,因此你可以从它们入手,而不是技术细节方面死磕。...在这种情况下,可以去论坛复制粘贴别人共享的 kernel。 在你的计算机上运行,生成一个提交,排行榜上获取名次。在这一阶段,操作系统、驱动程序、库版本、I/O 等问题可能让你觉得很痛苦。...竞赛结束之后,虽然付出了很大的努力,但你也很可能在排行榜上取得很低的名次。这不奇怪。好好阅读论坛的内容,看看 winner 分享的解决方案,尝试找出比之前更好的解决方案。

59240

如何成为大神级数据科学家 | Kaggle Grandmaster是怎样炼成的

网络上到处是这种类型的博客文章。 另一方面,能写代码各个地方都是必要的,这也是潜在雇主了解数学的人和能写代码的人中间几乎总是选择后者的原因。 但我认为这种情况会改变的。...如果你用 DS/ML 来解决那些数学、物理、生物、化学、历史、考古、地理问题或者那些人们很少应用 ML 的问题,你可能找到下一个属于你的 Purple Cow。...90% 的 ML 只需要技术大学大一的数学知识,不需要超深的数学知识。DS 中使用最广泛的语言是 Python 和 R 语言,这两种语言比较高级,因此你可以从它们入手,而不是技术细节方面死磕。...在这种情况下,可以去论坛复制粘贴别人共享的 kernel。 在你的计算机上运行,生成一个提交,排行榜上获取名次。在这一阶段,操作系统、驱动程序、库版本、I/O 等问题可能让你觉得很痛苦。...竞赛结束之后,虽然付出了很大的努力,但你也很可能在排行榜上取得很低的名次。这不奇怪。好好阅读论坛的内容,看看 winner 分享的解决方案,尝试找出比之前更好的解决方案。

1.2K20

Kaggle 顶级大师成长笔记

网络上到处是这种类型的博客文章。 另一方面,能写代码各个地方都是必要的,这也是潜在雇主了解数学的人和能写代码的人中间几乎总是选择后者的原因。 但我认为这种情况会改变的。...如果你用 DS/ML 来解决那些数学、物理、生物、化学、历史、考古、地理问题或者那些人们很少应用 ML 的问题,你可能找到下一个属于你的 Purple Cow。...90% 的 ML 只需要技术大学大一的数学知识,不需要超深的数学知识。DS 中使用最广泛的语言是 Python 和 R 语言,这两种语言比较高级,因此你可以从它们入手,而不是技术细节方面死磕。...在这种情况下,可以去论坛复制粘贴别人共享的 kernel。 在你的计算机上运行,生成一个提交,排行榜上获取名次。在这一阶段,操作系统、驱动程序、库版本、I/O 等问题可能让你觉得很痛苦。...竞赛结束之后,虽然付出了很大的努力,但你也很可能在排行榜上取得很低的名次。这不奇怪。好好阅读论坛的内容,看看 winner 分享的解决方案,尝试找出比之前更好的解决方案。

54110

CMU权威对比Gemini,GPT-3和Mistral8×7B!GPT-3.5依旧拿捏Gemini,开源模型差距依然不小

虽然Gemini发布之后发生了一些奇奇怪怪的事情吧,什么视频造假啦,认为自己是文心一言啦。 不过问题不大,咱们不看广告看疗效。...、美国历史、计算机科学、法律等。...GPT-4 Turbo的情况尤其如此,即使较长的问题上,它也几乎没有表现出性能下降,这表明它具有强大能力来理解更长和更复杂的查询。 GPT-3.5 Turbo的稳健性处于中间位置。...Mixtral问题长度方面特别稳定,但总体准确率较低。 下图再具体列出了GPT-3.5 Turbo表现优于Gemini Pro最多的任务。...文章还分析了每个解决方案所需的库如何影响模型性能,结果如下图显示: 根据结果分析,大多数使用库的情况下,例如mock、pandas、numpy和datetime,Gemini Pro的表现比GPT-

47210

“老而不死”的三种编程语言

从这个角度来看,那些认为 Java “死”或“快死了”的观点,实在很奇怪。从事实上来说,Java 是地球上使用最广泛的编程语言。...Java 是非常活跃的,而且活得很好。但也有一点需要注意的是,归根结底,它并不是一种能够帮助你以创造性或创新的方式来解决问题的语言。...不过,随着时间的推移,这种情况发生了变化,这在很大程度上要归功于 HTML5 和改进的 ES6 标准,但仍然有许多怪癖是开发人员所不喜欢的。...那么,为什么人们认为 JavaScript 已经死了呢? 1. 为什么人们认为 JavaScript 已经死了? 人们为什么认为 JavaScript 已经死了,这里面有很多原因。...可以肯定是,这一数字并不大,只有 0.82%,但它可靠的表现表明,它离死亡还很远。 3. 结论:C 究竟是死的还是活的? C 活得很滋润呢。

84020

【十大顶级专家】全球人工智能技术趋势(诺奖得主、KK等)

从马利兰大学毕业,拿到了数学计算机学士学位,构象计算、3D设计等方面均有涉猎。...在过去的几年里,人工智能存在已久的无法解决的很多经典挑战,几乎没有告知的情况下,用一种AI纯粹主义者鄙视的方法(因为其有“统计”的感觉)解决了:这个方法的本质是从海量数据中学习概率分布,而不是研究人类解决问题的能力...数学是形式语言的领域,大部分都是不可判定的——这与“不可计算”是同义词(因为决策和证明都是计算的同义词),虽然所有我们在数学方面的探索都是可计算的那一些。...比如,使用大量英语语言材料巽寮以后,Mikolov的Word2Vec显示出了这种奇怪的关系:“国王 – 男人 + 女人 = 女王”。他的神经网络试图从词语所在的语境中预测词语是什么(或是相反)。...为什么这些进展会在近期发生?为了让这些网络能够高效学习,需要大量的训练数据集,通常都是数以百万计的样例。

1.9K40

程序员靠“作弊”入职,“面试替身”每小时收费 150 美元,结果还是大翻车......

奇怪的是,这个新人入职的第一天,IT 团队的其他同事们就感觉有点不太对劲:他几乎没有技术素养,根本无法确定问题的解决方向,甚至说不来英语。...事情发展至此,当初招这个新人进来的那位招聘经理真是“百思不得其解”:“为什么一个面试过程中表现那么优秀的人,实际工作中会这么无能?”...当时,一家洛杉矶医院急招一位可以管理医院计算机系统的工程师,而这个“作弊者”雇了替身帮他面试,整个过程表现得很好并适当展示了岗位所需的专业知识。...医院方面没有发现问题,对他十分满意,便录用了这位“作弊者”。 不过,所谓纸包不住火,通过作弊这种方式谋求工作的人,一旦入职就会原形毕露。...上班第一天,这个人连基本技术问题都解决不好,然后试图对系统进行一些基本维护时,直接就是一整个“大翻车”:不维护还好,他维护了之后,医院整个楼层的每台医疗设备和计算机的连接中断长达一小时,医生也无法远程监控患者的生命体征

43820

扫码

添加站长 进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

    运营活动

    活动名称
    广告关闭
    领券