讨论要点 人工智能和 ChatGPT 等大型语言模型（LLM）在各个领域（尤其是软件开发）中应用得愈加深入。我们相信产品设计、软件架构“可解释性”和系统运维（“AIOps”）方面还有改进空间。...我是否需要一个分布式系统才能获得这种好处？我认为不是这样，人们现在正在寻找合适规模的服务。有一个故事中组织从函数即服务转向了单体应用，还节省了资金。...当我们这样做时，我们如何确保我们做的事情是“正确”的？这些都是我们要讨论的东西。我觉得我们作为一个行业正在慢慢朝着更加道德的方向发展，但这也与领导力有关。我们正在驱动一艘油轮，而不是一支快艇编队。...多年来有过很多案例，其中人们都以为自己有了一套良好且稳定的依赖体系，但其实你并不知道你究竟依赖的是什么东西。 当我们处于闭源环境中时，所有代码都是公司自己人写的。是的，你拥有这一切。...我认为，当我们停止谈论人工智能时，人工智能就真正达到了它一开始要达到的目标。我希望我们不要在每次交流中都提到人工智能，因为这意味着我们还没搞定它。
这篇文章目的是强调，只有当我们付出足够的努力来处理我们将要面对的组织和分布式计算问题时，才能获得微服务并从中受益。在后面的段落中，您将发现我们从真正的微服务中得到了什么，以及它们从我们这里得到了什么。...可伸缩性 扩展我们的应用程序有两个主要原因。第一个是因为我们想要更大的负荷。第二个是关于我们希望在失败时提供的弹性。在单片架构中，我们需要用所有的组件来扩展整个系统。...弹性 我已经提到了弹性在前款规定的,但我需要添加,除了在单个服务的范围,提供弹性自治提供给我们机会去隔离特定服务中的问题和错误,所以其他的不受影响,因此,系统仍然可以工作。...使用这组工具，您可以很容易地发现系统的哪个部分造成了瓶颈。当我们讨论应用程序日志时，我们考虑查找已经发生的错误的源。在微服务体系结构中，对主机、cpu、内存、网络延迟、响应时间等的实时监控也是无价的。...有人可能会说“我可以在每个实例中搜索日志”。这需要一些时间，但我可以处理它。
相反，我们对一个理想程序的行为（例如输入输出对实例的一个数据集）指定了一些约束，并使用我们可用的计算资源来搜索程序空间以寻找满足约束条件的程序。...在神经网络的情况下，我们将搜索限制在程序空间的一个连续的子集，在那里搜索过程可以用反向传播和随机梯度下降（有点令人惊讶地）有效 事实证明，大部分现实世界的问题具有收集数据比明确写入程序要容易得多的性质。...当然，你可以有动态的计算图，但执行流程通常仍然受到很大的限制。这样我们也几乎可以保证永远不会发现自己处于无意识的无限循环中。 常量内存使用。...在优化结束时，我们剩下的大型网络运行良好，但很难说清楚。在许多应用领域，我们将会选择使用我们理解的90％精确模型，或者99％精确模型。...从长远来看，软件2.0的未来是光明的，因为许多人越来越清楚，当我们开发AGI时，肯定会写成2.0软件。 和软件3.0？这完全取决于AGI。
在“学习”期间，我们从一个可能非常巨大的模型空间中，寻找一个比较好的，能够利用数据中的知识做出决策的模型。这个搜索过程通常被定义为解决模型空间的优化问题。 优化的几种类型 ?...另一方面，RNN仍然非常棘手，但研究界正在取得很大的进展，将LSTM放入一个复杂的机器人策略中并期望它“正常工作”已经不再是一件疯狂的事情。...对于那些时间步长超过1的环境，我们正在寻找一个模型，在推理时进行优化。有一个内部优化的过程，其中模型推理得出最优的控制，而外部的一个优化循环则只使用智能体看到的数据库，学习这个最佳模型。...然而，这类模型仍然有大量的改善空间：在ImageNet上训练的分类器还不是普遍适用的，少数据学习问题仍然没有得到解决，并且仍然容易受到对抗样本攻击。...在一些高风险领域（比如医学、执法）工作的ML客户和政策制定者需要了解这一点，这也可以阐明泛化问题：如果我们发现模型提供的诊断方式与与人类医学专业人士会得出这些结论有很大的不同，这可能意味着模型在推导过程中存在边缘情况
实时补丁从根本上不同于位于源代码树某个角落的设备驱动程序。设备驱动程序在未被维护时不会造成任何更大的损坏，当它达到最终的位腐烂状态时，可以很容易地删除它。...相比之下，一个位腐蚀的驱动程序只会影响到那些依赖于它的设备的少数人。 JP：传统上，当我想到 RTOS 时，我想到的是基于封闭系统的遗留解决方案。为什么我们有一个开源的替代品是必要的？...PREEMPT_RT 的缺点是它不能被完全验证，这将它排除在特定的应用程序空间之外，但目前正在进行一些工作，例如 LF ELISA 项目，以填补这一空白。...很久以前，我就放弃了对这一现象的理解，尤其是当我看到大量资金投入到当今过度炒作的技术上时。...尽管对该行业的很大一部分来说至关重要，但低水平的基础设施缺乏吸引关注和成为头条新闻的流行词魅力——但它仍然需要支持。
对此，皮查伊似乎并不担心。他强调：“我们是搜索领域的先行者，也是电子邮件或浏览器的开创者。我相信，我们仍处于人工智能发展的初期阶段。”...不过，有时我的孩子在数学上向我求助时，我也会感到有些棘手。有时，我会假装沉思，但其实我也在用Google Lens寻找答案。 担任谷歌CEO十年 学会了抓大放小 艾米丽：你在印度钦奈长大。...我相信我们有能力平衡这一点。随着我们在搜索中引入人工智能或新的功能，我们一直在测试广告的效果。根据我们目前看到的数据，这些基本原则在这个阶段仍然保持不变。...人们往往过于关注眼前的微观时刻，却忽视了它在未来宏大图景中是多么渺小。当我看到我们面前所有的机会时，我深知，我们首次拥有了利用人工智能技术的力量。...支持与中国在AI领域合作， 相信谷歌能实现AGI 艾米丽：在我们上次的谈话中，你提到了中国在人工智能领域将处于领先地位的预测。那么，政策制定者在制定相关政策时，应该如何考虑这一趋势？
在50年后的今天，世人仍然在试图解决这个计算机领域中最著名的问题。其实在12年前（2009年），我也曾经就该问题进行了一些讨论，大家可以看之前的《P与NP问题的现状》综述。...从2009年那篇文章发表以来，P与NP问题及其背后的理论并没有发生显著的变化，但计算世界确实发生了变化。比如说云计算，就推动了社交网络、智能手机、经济、金融科技、空间计算、在线教育等领域的飞速发展。...但是，当我们问到谁从给定的初始设置中获胜时，我们是不是就没办法给出准确的回答了呢？...尽管如此，我们还是无法孤注一掷的认为多边形方法能够在不久的将来解决P和NP的问题。 10 不可能的可能性 当我们反思P和NP问题时，我们看到这个问题有很多不同的含义。...在Garey和Johnson的故事中，如果我是老板，我可能不会解雇那名倒霉的员工，而是建议他使用一些新的方法，比如混合整数编码、机器学习以及暴力搜索的方法进行破解。
后来虽然我离开了这个领域，但偶尔也会关注下新的进展。下面是最近看的一篇很有意思的文章。...当我在 Jeff 的书中读到 Mountcastle 的想法时，我想起了伟大的科学家 Robert Sapolsky 的一次有趣的演讲。...当我们在这些参照坐标系中改变位置时，就会产生思考。所以你现在在想什么，你脑子里现在在想什么，取决于你的大脑皮层列在这些不同的参考坐标系中的位置。当你的大脑在这些结构中运转时，你的思想也在不断进化。...因此，深度学习中对抗样本的“终结”，我所说的“终结”并不是指绝对的终结，只是达到一定弹性、一致性和灵活性的水平，类似于我们作为人类所拥有的水平，将有可能通过以下组合实现: 运动: 物理的或虚拟的。...当我们做到这一点时，我们将能够隐藏或扰乱我们系统的某些部分，但仍然保持稳定的预测。 正如 Jeff 指出的那样，随着我们试图将人工智能系统应用于需要大量灵活性和弹性的场景，这将变得越来越重要。
最后，我们都能从这些伟大的资源中获益，所以请继续努力吧! ? （图）pytorch VS tensorflow 的搜索量趋势 有趣的是，框架空间中另一个在框架空间有着诸多有趣的发展的是强化学习。...虽然我不认为强化学习的研究进展像前几年那样令人印象深刻(我只想到DeepMind最近的Impala的工作)，但令人惊讶的是，在一年时间里，我们看到所有主要人工智能厂家都发布了强化学习框架。...似乎深度学习最终消除了对数据的智能需求，但事实远非如此。围绕着改进数据的想法，该领域仍有一些非常有趣的进展。...我不完全同意辛顿的观点，他说缺乏创新是因为这个领域有“一些资深人士和无数的年轻人”，尽管在科学领域确实存在一种趋势，即突破性研究是在较晚的年龄完成的。...在我看来，目前缺乏突破的主要原因是现有方法和变化仍然有许多有趣的实际应用，所以很难冒险采用那些可能不太实际的方法。当该领域的大部分研究由大公司赞助时，这一点就更加重要了。
这个领域包含了一组工具和方法，它们将使用搜索策略在搜索空间中测试和评估大量架构，并通过最大化适应度函数选择最能满足给定问题目标的架构。...2016 年标志着 NAS 的开始，Zoph 和 Le 或 Baker 和 al 的工作实现了最先进的图像识别和语言建模架构与强化学习算法。这项工作对这一领域有很大的推动作用。...虽然早期的工作可以被视为概念证明，但当前的研究正在解决跨多个行业和研究领域的更具体的需求。...这一知识有助于加快搜索过程，它将指导搜索从而算法将更快地收敛到最优解。 最近的算法（如 PNAS 方法）试图预测未来的大致性能，但这些预测器必须进行微调并且仍然是近似值。...现在的一些实际研究集中在使用受生物学启发的算法作为 NAS 方法。这些算法对于优化任务非常有效，因此似乎是寻找神经网络最佳架构的理想候选者。
在排名靠前的模型中，有六个使用了某种形式的新一代机器学习。...计算化学空间是相当巨大，以至于将每一种化合物都对接到口袋里仍然是一项挑战。有几个团队正在尝试将人工智能作为一种加速器来挑选要对接的化合物，但VirtualFlow 1.0使用大量CPU来高效并行对接。...LRRK2挑战赛的参赛者大多是学术团体，但CBLB挑战赛的参赛者中有近50%是生物技术公司。 Schapira说：“情况似乎正在发生变化。"...在迄今报道的大多数研究中，使用晶体结构的虚拟筛选似乎仍然优于依赖预测结构的虚拟筛选。...已经有公司瞄准了LRRK2的激酶结构域，但WDR结构域的小分子结合剂仍然难以捉摸。
所以你正在想什么，或者你的脑子里正在想什么，取决于你的大脑皮质柱此刻在不同的参考系中的位置。当你的大脑在这些结构中导航时，你的思维会不断进化。 请注意，运动的概念开始无处不在。...我很喜欢Jeff所用的类比，即我们需要找到一种好方法来组织对某个领域掌握的知识，我们需要内在地创建该领域的出色参考系或地图，这样才能成为任何领域的专家。...只要我们不断地感知同一个物体，当我们保持与这个元素互动时，这些投票神经元的状态就不会改变。当我们移动或物体移动时，其他神经元会改变它们的状态，但投票神经元会保持稳定。...因此深度学习中的对抗性示例就此“终结”。而“终结”并不意味着绝对的结束，仅仅是达到一个类似于我们人类具备的弹性、一致性和灵活性的水平，将有可能结合以下几点： 运动：物理或虚拟。...当我们实现这一点时，我们将能够隐藏或扰乱系统的某些部分，并且仍然保持稳定的预测。 正如Jeff指出的那样，当我们尝试将AI系统应用于对灵活性和弹性需求量大的场景时，这将愈发关键。
机器之心原创 作者：Tony Peng 过去十年，谷歌在人工智能领域的重重突破，有很大一部分和 Quoc Le 有关。...所以需要做的决定非常多，也就存在大量可能的架构。可能性也许能达到数万亿，但人类现在只会检查这些可能中的一小部分。 ?...基本而言，我们的想法就是创造一个包含了所有可能性的巨型网络，然后在该网络中搜索一条路径（以最大化在验证集上的预期奖励），这就是所要寻找的架构。某些权重会在下一次实验中得到重复使用。...因为这种方法，我们实际上能实现很多个数量级的加速。原始的 NAS（神经架构搜索）算法要更灵活得多，但成本太高了。ENAS 基本上是一种更快的新算法，但限制也更多一点。...您怎么看待围绕 AutoML 的炒作？ 我很难评论围绕 AutoML 的炒作，但当我看到很多人都想使用机器学习时，我认为在帮助机器学习更广泛可用方面还存在很大的能做出成绩的空间。
非常显著的是 “Python 是大趋势”这一论调，似乎它即将在机器学习领域一统天下。那么这种说法到底有几分事实？ 首先要指出的是，大多数对编程语言的讨论都比较主观。...它展示出公司、雇主们都在寻找哪些语言技能。但注意： 这并不能精确体现各公司开发人员正在使用哪些语言。 这是美国的机器学习业界趋势，与中国、学界关系不是那么紧密。...然后，把搜索结果限制在机器学习领域（去掉数据科学），数据其实差不多： 图2：机器学习领域各语言的雇主招聘指数对比 这张折线图中包含了 Lua，但由于它的招聘职位实在太少，代表 Lua 的线与坐标轴重合。...我们能从这两组数据中推断出什么？ Python 是市场的领先者，作为最受欢迎的机器学习语言当之无愧。 另外，Python 与 Java 之间的差距正在被拉开。...但是，当我们聚焦于细分领域“深度学习”，数据就变得很不一样： 图4：深度学习领域各语言的雇主招聘指数对比 在深度学习市场，对 Python 的招聘需求仍然最高。
您的组织正在寻求实现您的第一个搜索引擎，并切换到另一个搜索引擎-呼吁所有Google Search Appliance（GSA）用户寻找替代品！-或尝试通过开源来省钱。...从那时起，Kibana，Logstash和Beats的创建者加入了Elasticsearch，创建了Elastic Stack产品系列，该产品系列已成为搜索和日志分析领域的强大参与者。...仍然需要进行大量改进，但是就可以在Solr中摄取和搜索的数据集的大小而言，前途一片光明。 供应商支持 有几家公司不得不决定哪种产品最适合他们。...可视化 有许多方法可以在Elasticsearch和Solr中可视化数据-您可以构建自定义可视化仪表板，也可以使用搜索引擎的标准可视化功能（可能需要进行一些调整）。但是有一个区别值得一提。...它仅表示每个搜索引擎在不同的用例和需求中都有自己的优势，而您的选择将在很大程度上取决于您的组织要完成的工作。
搜索在多维空间中进行，生成与给定查询向量最接近的向量。 从上述查询中，可以注意到两个属性：num_candidates 是考虑的初始候选池，k 是最近邻的数量。...它本质上定义了每个分片的搜索空间——分片中初始的候选书籍池，从中识别出最相关的 K 个邻居。当我们发出查询时，我们期望提示 Elasticsearch 在每个分片的“x”数量的候选者中运行查询。...例如，假设我们的书籍索引包含 5000 本书，均匀分布在五个主要分片中（即每个分片约 1000 本书）。当我们执行搜索时，显然选择每个分片的所有 1000 个文档既不可行也不正确。...它扩展了搜索空间——即考虑更多的候选者——因此导致搜索时间略有增加。因此，较高的值通常会提高准确性（因为遗漏相关向量的可能性减少），但代价是性能。...索引电影 我们可以使用 _bulk 操作来索引一组电影——我正在重用我的《Elasticsearch in Action》第二版书籍创建的数据集——可以在 这里 找到： 为完整性考虑，这里提供了使用 _
比特币和其他加密货币投资仍然在世界各地积极地进行宣传。在我最近的东京之行中，我看到发光的广告牌上有巨大的比特币标志，书店里的桌子上堆满了关于NFT的书籍。...当我走过旧金山市中心时，FTX创始人Sam Bankman-Fried（SBF）的脸浮现在我的面前，告诉我："投资的未来就是加密货币，你要加入吗？"...许多人似乎有这样的想法：互联网的下一次迭代将涉及对数字环境的独家访问（例如，没经过我允许，你不能来我家），就像土地在数字领域。房地产在物理世界中占了很大一部分财富，那么为什么不在数字世界中也这样呢？...但是，即使有大量的需求，人为地限制供应可能根本就不会使价格上涨多少。原因是，供应转变的效果取决于需求的弹性（投机），让我们画个图。...互联网的神奇之处在于，它为每个人提供了空间——在数字环境中创造更多“空间”的成本非常低，因此人们不会像在现实世界中那样被限制在他们可以建造的东西上。
它限制了被问的问题集合，限制了人们所追寻的想法的空间。我认为现在研究者应该清醒面对这一事实。 问题 2：您在论文中还提出 AI 要想有所进展需要对「智能」提供更好的定义。...如果我打算利用深度学习以超人水平「解决」《魔兽争霸 3》，那么大家可以确定只要我有足够的工程人才和算力（大概需要数千万美元），我就能达到目标。但是之后呢？关于智能或泛化性，我学到了什么呢？什么也没有。...（在人工智能在 Dota 2 和星际争霸 2 中达到冠军水平之前，我就已经这么说了。） 问题 4：您认为这些项目的真正成就是什么？这些项目的结果多大程度上被误解？...此外，我认为我们对智能的衡量指标应该更显性地利用「类人性」（human-likeness）。或许存在不同类型的智能，但当我们谈论通用智能时，类人智能才是我们真正要讨论的。...关于 1453 年君士坦丁堡之战有这么一个故事：在整座城市奋力对抗奥斯曼军队时，君士坦丁堡的学者和统治者正在辩论天使的性别。
作者认为，Software 2.0的未来是光明的，因为当我们开发通用人工智能时，肯定会写成Software 2.0。 我有时看到人们把神经网络称为“机器学习工具箱中的另一种工具”。...在神经网络的例子中，我们把搜索限制在程序空间的一个连续的子集，在这个空间中，搜索过程可以利用反向传播和随机梯度下降奏效。...机器翻译：机器翻译通常是采用基于短语的统计技术的方法，但神经网络正在迅速成为主导。...典型的神经网络正向传递的每一次迭代都需要完全相同的FLOPS量。基于不同的执行路径，你的代码可能会通过一些庞大的C ++代码库来实现。当然，你可以有动态计算图，但执行流程通常仍然受到很大的限制。...最后，也是最重要的一点，在很大一部分有价值的垂直领域中，神经网络比你或我所能编写的代码块更好，目前这至少涉及图像/视频、声音/语音和文本。
不过现在，我已有三四个关系较好的人了，我真希望当时能早点找到他们！我曾经淹没在谷歌搜索的条目中。现在，当我遇到一个问题后会直接询问他人，而不是自己想办法，最终陷入困惑。...更重要的是，良好的可视化经常会使我想法或代码中的 bug 更加明显、明了。这里还有一些自我激励的话要说：当我完成这个代码时，我会做一份漂亮的数据或视频给大家看！...同样也可以向这些教授发送邮件询问额外的参考（即使他们太忙没有回复也不要介意）。寻找不那么有名或被忽视的旧论文的一种持续方式是在 Google scholar 中搜索关键词。...学会判断死胡同，并退回来 强大的研究者花费更多时间在好的想法上，因为他们在糟糕想法上所用的时间较少。能够识别好想法和坏想法似乎很大程度上是经验问题。然而，任何水平的研究者都会经常遇到下面的决策问题。...我仍然会一直研究一个问题，即使已经非常累了，即使没有进展也不休息。当停下来深呼吸时，我会非常高兴。我希望在科研生涯的下一个阶段能够继续内化这件事。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
