让 ChatGPT 更智能的六种策略（上），我们曾提到，在向大模型提问时，告诉它扮演一个领域专家的角色，它的回答会更有针对性。 但为什么会这样呢？...为什么它有效？ 我在这里的目的是粗略地概述 ChatGPT 内部正在发生的事情，然后探索为什么它可以很好地生成我们认为有意义的文本。虽然会提到一些工程细节，但我不会深入探讨它们。...假设我们有（有点理想化的）炮弹从不同楼层落下所需时间的数据： 我们如何计算从没有明确数据的地板上掉下来需要多长时间？在这种特殊情况下，我们可以使用已知的物理定律来解决这个问题。...我们可以尝试一些数学上更复杂的东西——比如a + b x + c x 2——然后在这种情况下我们做得更好： 不过，事情也可能会变得很糟糕。...但很快它就“失去了它”，并开始给出“错误”的结果： 但为什么我们说这是“错误”的结果呢？在这种情况下，我们知道我们通过模糊“2”获得了所有图像。
我们也在开发一些新方法，我觉得很兴奋。...这儿没什么秘诀，这些问题的数学形式总是一样的，我甚至觉得很奇怪为什么是一样的。完全不同的角度、不同的行业、不同的问题，但是 AI 模型总是一模一样。我很惊讶，这里没有隐藏的秘密，但它就是这样的情况。...我觉得未来，为了让人类和机器之间有更好的互动，我们有必要理解为什么机器做出了这些决定。当前的 AI 很成功，比如在翻译方面就是。...比如你想做一笔投资，你就需要知道你所投资的商品在未来的价格是怎么样的。在鲁棒优化中，你不需要确切知道接下来会发生什么，而这恰恰是实际生活中经常出现的情况。...这种特性也不只中国有，全世界都看得到，这是现代社会的一个积极建设力量。对于外国人来说，中国很值得敬仰，我也希望其它国家可以多和中国积极互动，我自己也会积极参与。
我们的观点是，这不是系统性趋势策略组合经理的职责，如果你想象一下自己正在经历这些，你就会明白为什么了，因为在那一刻，你不知道这是否会发生。有些主观交易者是这方面的专家，他们预测美联储会怎么做。...他们会有这样的想法，既然它们2022年表现得很好，那么2023年大概率不会表现得很好。您会如何改变他们的这类看法，即不要对趋势类策略进行择时配置？ 我很理解投资者的担忧，因为我们不能预测趋势。...但在某种程度上，人们担心在某个特定点进行配置的风险，然后表现不佳，一种缓解方法是，你可以在几个月的时间里平均分配，这是一个很有帮助的想法，因为它经常解决真正的潜在问题。...但当你走出这个圈子的时候，你会觉得很奇怪，对吧？ 如果你回想一下2017年，当时股市直线上涨，而VIX指数处于创纪录低点，世界上有人认为股市风险处于创纪录低点吗？没人真的这么想过。...例如，在2014年，当石油价格下跌时，这是在说，1990年第一次海湾战争开始时发生了什么？油价上涨了30%。别以为这是不可能的。这是可能发生的。如果发生这种情况，你的投资组合会发生什么？现在情况如何？
德维克和她的合作者们发现，给学生细微的不同的表扬会对他们的表现产生很大的影响。 在这项研究中，Dweck和她的合作者给了一个学生一系列的问题。在第一组问题之后，所有的学生都做得很好。...当我在递归中心的时候，这是我一直坚持的。有人会坐在我旁边说:“(叹气)我想我有一个奇怪的Python bug，”然后我会说，“太棒了，我喜欢奇怪的Python bug !”...正如我提到的，在RC没有截止日期和任务，所以这种态度是非常自由的。我想说，“你可以花一天时间在瓶子里寻找这个奇怪的虫子，多么令人兴奋!”...因为人的大脑在专注模式下面，神经细胞更活跃，你学的东西更容易从短期记忆变成中长期记忆。 而且在高度专注下面，你的解决问题的能力也会提高，原本看起来复杂的东西，在专注面前说不定就不是事了。...为什么游戏可以让你上瘾，因为它有反馈，有奖励机制。 学习数学是非常枯燥的，如果有了这个奖励机制，也许自己就更容易坚持了呢。
GitHub 项目页面：https://github.com/openai/gpt-3 论文摘要就这一点讲得很清楚： 有一些工作主要是增加语言模型中的参数数量和计算量，以此作为改进生成或任务性能的手段。...答： 对 NLP 社区来说，"GPT-3"中值得关注的一点是，语言模型在标准测试集上的表现可以比我们想的要强很多，途径就是这种多提示方法和更大的参数量。...语言学家研究人类儿童时就会涉及这类任务，过去的 NLP 模型在这方面表现很差。这方面的进展本应该得到最高的认可。...他们的目标是阐明“小样本学习”中学习的实际作用： 在小样本（或单样本和零样本）设置下探究 GPT-3 的能力范围的一种方法，是赋予它要求执行简单的即时计算推理的任务，识别一种新颖的模式，即不太可能在训练中发生...如果是第 2 种情况，那么小样本提示确实很重要：它们在可能的形式系统的大空间中“定位了符号的含义”。但是这种情况太疯狂了：它意味着语言模型获得了更加一般化的智力，这可不是什么小事情。
SQL查询能让你知道数据最明显的模式和趋势，但要想获取数据中最为有用的信息，你需要的其实是完全不同的另一套技术——一套牢固扎根于数学和应用数学的技能。而具备这种技术的人才似乎只存在于学术界中。...Ruby与Python的“Web开发语言之争” 我们再往回讲讲，在大数据还没有真正风靡之前，Ruby和Python曾在成为最受欢迎的“web开发语言”上发生过激烈的争战。...提供这样一个API的主要动机是：消除在只读取时复制数据的必要性，澄清缓冲区的所有权转移语意，并将数据存储在连续的存储器中（即使在多维数据结构的情况下），其中读取访问速度非常快。...受益于PEP 3118的实现，Python已悄然成为一个非常吸引人的编译语言。在此基础上，就有了很多基于C语言扩展的数字计算库被开发出来（注：C语言扩展可以很便捷地实现数据共享和操作。）...数据科学家们想寻找一种既具有表现力又快速的语言（具有良好的数值计算库支持启动），所有的这些需求都指向于Python 后来，就如我们看到的那样，Python受到万千宠爱，一跃成为了最受欢迎的编程语言。
另外，当给被试者付费时，他们在智力测试中的得分会更好，所以看起来智力测试其实是努力程度的测试。 但即使这些测试衡量的是「在不公平社会中取得成功的能力」或「有多愿意努力尝试」，那也很奇怪。...即使再怀疑心理学上的智力测试的人也同意，智商可以预测「你在学校的表现怎么样」、「你会得到什么样的工作」。 那么为什么智力测试不能预测「你是否能过上自己喜欢的生活」呢？...早在1904年，斯皮尔曼就注意到了这样一件奇怪的事情： 在学校里，某一门科目上表现出色的孩子往往也在其他科目上表现得很出色。 这种相关性往往很高，即使在看起来完全不同的科目中，比如法语和数学。...为什么会这样？ 斯皮尔曼认为，人类一定有某种通用的心智能力，用来解决各种问题。...去google一下「世界上最聪明的人」，大部分结果是物理学家、数学家、计算机科学家和国际象棋大师。
—在 ARC-AGI 上：o3 在低计算能力上的得分是 o1 的三倍多，超过 87% 的得分—在 EpochAI 的 Frontier Math 上：o3 创下了新纪录，解决了 25.2% 的问题，而其他模型均未超过...在最差的情况下（在低计算设置下），该模型的性能是 o1 的三倍 简单来说就是， 简单来说，AGI 就是能做任何人类能做的事情的人工智能，不仅仅是解决特定问题或任务，而是可以处理任何未知或新的任务。...目前的大部分人工智能（比如聊天机器人、推荐系统、语音助手等）都属于“窄人工智能”（Narrow AI），它们只能在特定领域内表现得很好，比如只会下围棋、语音识别或玩游戏。...解决多种问题 无论是数学、艺术、社交还是技术问题，AGI 都能应对自如。...首先，它们往往价格昂贵，因为运行它们需要大量的计算能力。尽管到目前为止，它们在基准测试中表现良好，但尚不清楚推理模型是否能保持这种进步速度。
OpenAI 的 o3 模型在数学和科学基准上都表现非常出色 一个大问题是制作研究级合成数据很难。我猜也没那么难。...回头看看，我们能看到每一代软件都会发生天翻地覆的改变。软件的核心一直都围绕着将需求变成纯逻辑。在抽象层级上，这种转变过程已经从二进制代码上升到了 Python。现在则是向英语等自然语言上升。...在这个测试时间计算时代，我不清楚拥有更多计算更重要还是更优模型更重要。一方面，你可以通过投入更多的测试时间计算来弥补较差的模型。另一方面，稍好一点的模型可能会节省大量的计算。...一旦人工智能开始不断提出新的科学理论，进步的瓶颈将是在物理世界中进行测试和实验。那里的瓶颈是劳动力和材料。到那时，如果没有能制造出更多机器人的机器人，那才叫奇怪呢。因此，劳动力问题已经解决。...但是，在很长一段时间内，跳跃性地解决问题和与团队良好合作将非常重要。 你可能还需要接受不稳定世界中的不稳定生活。这会变得很奇怪。你可能不会在郊区有两个孩子和一条狗。
在一些人工智能技术中，它使用了一种越来越受欢迎的深度学习方法，这种方法涉及的数学计算非常简单，通过神经元的在大脑中的相互连接，它可以学习如何理解新的信息。...如果人工智能要真正具有变革性，这种情况就必须改变。 即使AlphaGo不能说话，它使用的技术可能会促进更好的语言理解。...这正是为什么在李世石和阿尔法狗之间的比赛之前，许多专家怀疑机器会掌握围棋。 但是，即使德雷福斯提出这样的观点，事实上上，一些研究人员正在开发一种方法，最终会使机器具备这种智能。...“但另一方面，他们的表现真的很难理解。”...就像在医疗保健方面一样，了解为什么做出决定可能很重要。“ 事实上，随着人工智能系统变得越来越复杂，我们很难设想如何在没有语言的情况下与他们进行合作而不能问他们“为什么”。
夏乙 问耕 发自 凹非寺 量子位 出品 | 公众号 QbitAI 谁能想到，NIPS这种顶会都能风波乍起。...有时候loss一开始下降得很快，后来就不动了。你可能会觉得遇到了局部最小值，或者鞍点，loss和0相差还很远。 ? 换一个下降的方向，很快就能优化到最低。...会发生这种情况，是因为我们把脆弱的优化技巧用到了我们不理解的loss上， 我们的解决方案在本来就已经很神秘的技术上增加了更多神秘性。...想想过去一年里你为了刷竞赛榜单而做的实验、尝试的新技术；再想想过去一年里你为了解释奇怪现象、寻找其根源而做的努力。前者，我们做得很多，后者，我们应该再多做一些。...因为正是这种态度，曾让ML群体抛弃神经网络超过10年，尽管有充分的证据表明他们在很多情况下效果很好。具有非凸损失函数的神经网络不能保证收敛。所以人们连婴儿带洗澡水一起泼掉了。
奇怪的是，这个新人入职的第一天，IT 团队的其他同事们就感觉有点不太对劲：他几乎没有技术素养，根本无法确定问题的解决方向，甚至说不来英语。...事情发展至此，当初招这个新人进来的那位招聘经理真是“百思不得其解”：“为什么一个在面试过程中表现那么优秀的人，在实际工作中会这么无能？”...当时，一家洛杉矶医院急招一位可以管理医院计算机系统的工程师，而这个“作弊者”雇了替身帮他面试，整个过程表现得很好并适当展示了岗位所需的专业知识。...医院方面没有发现问题，对他十分满意，便录用了这位“作弊者”。 不过，所谓纸包不住火，通过作弊这种方式谋求工作的人，一旦入职就会原形毕露。...上班第一天，这个人连基本技术问题都解决不好，然后在试图对系统进行一些基本维护时，直接就是一整个“大翻车”：不维护还好，他维护了之后，医院整个楼层的每台医疗设备和计算机的连接中断长达一小时，医生也无法远程监控患者的生命体征
为什么这对你很重要呢？ 如果你在做财务、账单、科学计算等对精度要求非常高的工作时，可能会遇到很多这种“意外”错误。你可能会发现，精确到小数点后几位的计算总是跟你预期的不一样。...因此，尽管你在参数中已经定义了 x（并给它赋值为 5），在函数内部再定义 x 变量时，JavaScript 会认为你是在重复定义这个变量，从而报错。 为什么会发生这种情况呢？...更奇怪的是，这种“HTML 注释”的方式在不同的环境下表现完全不同——在浏览器中，为什么会出现这种情况？ 这种行为的根源其实在于历史。早期，JavaScript 和 HTML 是混杂在一起的。在 HTML 中，我们用 这种兼容性问题在不同环境中表现出来的方式不同，导致开发者在不同平台间使用 JavaScript 时，可能会遇到这些奇怪的陷阱。 这个问题会带来什么麻烦？
这个超空间的维度可能是无限的，取决于映射，这可能会带来一个问题：找到分离超平面的系数涉及到计算每一对高维特征的内积，当数据被投射到无限维时，这就变得很困难。...这种隐式正则化不可能是答案。张志远说，这一发现要求“更好地解释描述深度神经网络中的泛化特征”。 3 无限的神经元 与此同时，研究表明，较宽的神经网络在泛化方面通常与较窄的神经网络表现一样好，甚至更好。...为了解决这种情况，物理学家经常通过考虑极端情况来简化问题。例如，当系统中的粒子数趋于无穷时会发生什么？Bahri说:“在这些限制条件下，统计效应会变得更容易处理。”...这已经是个里程碑式的发现，但它并没有从数学上描述在实践中最常见的训练形式所发生的情况。在后一种情况下，尚不清楚该解决方案如何能够很好地泛化。...很容易证明梯度下降会让你到达碗的底部——全局最小值。至少对于这种理想化的场景，“你可以证明全局收敛，”Du说。“这就是为什么学习理论社区的人们这么兴奋。”
为缓解这种情况，人们做出了一些努力，使用了颇有影响力的Cython，但在尝试使用Cython时，转换通常并是完全不相关。...关于Python领域中的脚本语言，笔者认为，Python在依赖项和虚拟环境方面做得很好。...然而，随着Nim的加入，Python将被遗弃。使用Nim，可以创建一个已编译执行文件，其中包含所需的所有依赖项。在如何为终端用户和部署处理依赖项及安装包方面，Nim轻松完胜Python和Julia。...Python看起来很英文范儿 像Python这种语言和类似脚本语言之间的一个很大的区别就是Python的可读性和容易理解性。通常，阅读Python就像阅读一本关于与数字等同变量的奇怪又抽象的书。...在C语言之前，Fortran广受欢迎，在C++之前，C语言广受欢迎，在Java之前，C++也是如此，这样的例子不胜枚举，而且总会按此发生。
直到两年以后，我打算尝试吴恩达在机器学习方面的课程的时候，才有机会把Hinton的课程看一遍。...这也不奇怪，当Kapathay在2013年评论这套课程时，他说很多从来没有从事过机器学习的人现在也慕名而来，但对于初次接触的人来说，要理解类似“基于能量的模型”这种很多人都跟不上的话题，简直引人入睡。...这也不奇怪，许多这种模型都来自于物理，比如伊辛模型(Ising model)；深度学习的研究还会经常用到来自贝叶斯网络的想法。如果你对物理和贝叶斯网络两者都不熟悉的话，也应当会觉得很困惑。...对我来讲，我花了很多时间在谷歌上搜索、阅读相关的文献，这支持我解决了一些问题，但是这并不代表我就对这些课题真的了解了，因为它们可能真的会很深入，并且跟直觉相悖。...知道你的模型里面正在发生什么是很重要的。当你的理解不足的时候，你很容易做出高成本的、短视的、狭隘的决定。这种事情时不时在我同事和我自己身上发生，甚至在我的有些导师身上也时有发生。
网络上到处是这种类型的博客文章。 另一方面，能写代码在各个地方都是必要的，这也是潜在雇主在了解数学的人和能写代码的人中间几乎总是选择后者的原因。 但我认为这种情况会改变的。...如果你用 DS/ML 来解决那些数学、物理、生物、化学、历史、考古、地理问题或者那些人们很少应用 ML 的问题，你可能会找到下一个属于你的 Purple Cow。...90% 的 ML 只需要技术大学大一的数学知识，不需要超深的数学知识。DS 中使用最广泛的语言是 Python 和 R 语言，这两种语言比较高级，因此你可以从它们入手，而不是在技术细节方面死磕。...在这种情况下，可以去论坛复制粘贴别人共享的 kernel。 在你的计算机上运行，生成一个提交，在排行榜上获取名次。在这一阶段，操作系统、驱动程序、库版本、I/O 等问题可能会让你觉得很痛苦。...在竞赛结束之后，虽然付出了很大的努力，但你也很可能在排行榜上取得很低的名次。这不奇怪。好好阅读论坛的内容，看看 winner 分享的解决方案，尝试找出比之前更好的解决方案。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
云直播
