而我们正在使用的神经网络基本上是相反的。它们有很多的经验，并试图把输入和输出的信息联系到参数中。我认为反向传播比大脑使用的方法更有效，但并不擅长从不多的数据中抽象出很多结构。...它们必须做完全相同的事情，这意味着最好是数字化的或者基本数字化，它们会做一些事情，比如把数字相乘，这需要消耗很多很多的能量来使运算变得非常谨慎，而这不是硬件的目标。...你肯定要有结构，如果你说的符号计算只是你有部分和整体结构，那么我们做的就是符号计算。...如果消极例子里没有这个结构，但在积极例子里有，那么这个结构就是关于消极例子和积极例子之间的区别，而不是你的连接方式。...所以，尽管人们对这一点没有太多思考，但如果你有强大的学习算法，你最好不要让它们学习神经网络自己的权重和连接。 Abbeel：你还提到了「学生模型打败老师模型」的概念。这是什么意思？
值得注意的是，当 ChatGPT 做一些事情，比如写一篇文章时，它所做的基本上只是反复询问 “鉴于到目前为止的文本，下一个词应该是什么？” —— 而且每次都增加一个词。...因此，如果我们把这里的每个像素的灰度值当作某个变量 xi，是否有一些所有这些变量的函数，在评估时告诉我们这个图像是什么数字？事实证明，有可能构建这样一个函数。不足为奇的是，这并不特别简单。...在数学术语中，如果一个神经元有输入 x = {x1, x2 …… }，那么我们计算 f[w.x + b]，其中权重 w 和常数 b 通常为网络中的每个神经元选择不同；函数 f 通常是相同的。...像 ChatGPT 这样的能力似乎令人印象深刻，人们可能会想象，如果人们能够 “继续下去”，训练越来越大的神经网络，那么它们最终将能够 “做任何事情”。...如果你有一个足够大的神经网络，那么，是的，你可能能够做任何人类能够轻易做到的事情。但是，你不会捕捉到自然界一般能做的事情 —— 或者我们从自然界塑造的工具能做的事情。
然后如果我们在这里进一步，有另一个带有权重 w2 的线性层，现在计算对所有参数的导数没有区别。我们仍然可以使用完全相同的链式法则。 所以不要把多层网络想象成在不同时间发生的事情。它只是函数的组合。...顺便说一句，我实际上还有第二个参数（r_adj=10），它是我对 r 做的相同的事情，实际上是通过一个参数除以 r，我现在不会太担心，但这是另一个您可以用来调整正则化性质的参数。...='0' 我们有很多不同的表需要将它们全部合并在一起。我有一种用 Pandas 合并事物的标准方法。我只是使用了 Pandas 的合并函数，具体来说我总是进行左连接。...其中一个将它们定义为整个训练集，另一个将它们定义为一个随机子集。所以我的想法是，我在样本上做所有的工作，确保一切都运行良好，尝试不同的超参数和架构。...因此，如果我们添加了一点权重衰减，比如 1e-7，那么这就表示这些解决方案不再是完全相同的，最好的解决方案是参数最小且彼此最相似的解决方案，这将使其再次成为一个良好的损失函数。
如果需要计算新的或不同的统计数据，或者需要改变输出的格式，就需要对这个函数进行调整。 所以，这个函数最好写成两个独立的函数：一个用来执行并返回计算结果，另一个用来获取这些结果并打印出来。...这种处理方式，不仅能让测试函数更容易，并且还允许这两个部分有了迁移性，如果合适的话，还可能一起应用到不同的模块中。 在编程中，你会发现好多函数都可以做很多很多事情。...当给定函数没有返回值时，有一些常见的原因： “它所做的只是[一些与I / O相关的事情，比如将一个值保存到数据库中]。我不能返回任何有用的东西。” 我不同意。如果操作顺利完成，函数可以返回True。...那么，如果函数太长，应该怎么做？重构。这会改变程序的结构而不改变其行为。 从一个长函数中提取几行代码，并把它们变成自己的函数。这是缩短长函数的最快、也是最常见的方式。...在命令式编程(编写Python代码时所做的那种)中，它们是所有函数中最安全的函数。 它们也很容易被测试和维护，甚至比只是幂等函数更重要的是，测试它们基本上可以和执行它们一样快。
如果需要计算新的或不同的统计数据，或者需要改变输出的格式，就需要对这个函数进行调整。 所以，这个函数最好写成两个独立的函数：一个用来执行并返回计算结果，另一个用来获取这些结果并打印出来。...这种处理方式，不仅能让测试函数更容易，并且还允许这两个部分有了迁移性，如果合适的话，还可能一起应用到不同的模块中。 在编程中，你会发现好多函数都可以做很多很多事情。...当给定函数没有返回值时，有一些常见的原因： “它所做的只是[一些与 I/O 相关的事情，比如将一个值保存到数据库中]。我不能返回任何有用的东西。” 我不同意。...如果它是纯函数或是幂等的(下面讨论) ，它也可能是短的。 那么，如果函数太长，应该怎么做？重构。这会改变程序的结构而不改变其行为。 从一个长函数中提取几行代码，并把它们变成自己的函数。...在命令式编程(编写 Python 代码时所做的那种)中，它们是所有函数中最安全的函数。 它们也很容易被测试和维护，甚至比只是幂等函数更重要的是，测试它们基本上可以和执行它们一样快。
在connect方法调用中使用的SIGNAL和SLOT是连接函数名称的宏，出于我们的目的，先让我假设它是魔法。 那么，信号/槽机制有什么问题？ 这个没有什么损坏，对吧? 它的工作原理…我猜。...问题2: 为什么我必须定义三个方法来做基本相同的事情?...，它们对不同的文本做了基本相同的操作，并用一个函数替换了它。...如果您不熟悉它们，可以通过搜索找到大量信息，但简单的回答是，它们基本上是内联的、未命名的函数。...; }); } }; 这是一个比我们原来有三个槽的类更优雅的解决方案。 附加说明 当然，并非一切都是完美的。在使用指向函数的指针和lambdas作为槽时，有一些事情需要记住。
最终的结果是，它生成了一个可能跟随的单词的排名列表，以及“概率”： 值得注意的是，当 ChatGPT 做类似写文章之类的事情时，它本质上只是一遍又一遍地询问“给定到目前为止的文本，下一个单词应该是什么？...然而，为了更进一步，我们需要做的不仅仅是随机挑选每个字母。例如，我们知道如果我们有一个“q”，那么下一个字母基本上必须是“u”。...就像这是我们可以用a + b / x + c sin( x )做的最好的事情： 永远不存在“无模型模型”。...但对于 ChatGPT，我们必须建立一个由人脑产生的人类语言文本模型。对于类似的事情，我们（至少现在）还没有“简单数学”之类的东西。 那么它的模型会是什么样子呢？...如果我们从函数中得到的结果通常与人类所说的一致，那么我们就有了一个“好模型”。重要的科学事实是，对于这样的图像识别任务，我们现在基本上知道如何构建执行此操作的函数。
想象一下我们有 1 和 2 的手写图像： 我们希望所有 1 都“被一个地方吸引”，而所有 2 都“被另一个地方吸引”。...（值得一提的是，“无中间层”或所谓的“感知器”网络只能学习基本上是线性的函数，但只要有一个中间层，原则上总是可以以任意好的精度近似任何函数，至少如果有足够的神经元，尽管为了使其可训练性可行，通常需要一些正则化或归一化方法...在未来，是否会出现基本上更好的训练神经网络的方法，或者说执行神经网络的任务的方法？我认为几乎可以肯定会有。...04—足够大的网络可以做任何事情！ 类似 ChatGPT 这样的系统的能力如此令人印象深刻，以至于人们可能会想象，如果能够继续训练更大、更大的神经网络，那么它们最终将能够“做任何事情”。...嗯，如果我们的图像是手写数字的图像，我们可能会“认为两个图像相似”，如果它们是相同的数字。之前我们讨论过一个被训练用于识别手写数字的神经网络。
不幸的是，没有一套你应该总是做的具体事情，你只需要考虑一下我即将做的事情的结果。这里有一个非常简单的例子。...但它没有分开的是，如果所有变量基本上都是复制的同一个变量，那么它们看起来都同样重要，但实际上只是一个因素。 这在这里也是正确的。如果我们有一列出现两次，那么对该列进行洗牌不会使模型变得更糟。...在这种情况下，我发现制造年份从略优于下一个最好的特征（连接器系统）变得更好了，但现在它更好了。因此，它似乎确实改变了这些特征的重要性，并希望能给我一些更多的见解。 问题：那么这如何帮助我们的模型呢？...去除冗余特征[54:57] 我们已经看到，基本上测量相同事物的变量会混淆我们的变量重要性。它也会使我们的随机森林稍微不那么好，因为需要更多的计算来做同样的事情，还有更多的列要检查。...所以这意味着的不是我可以去掉它们中的两个，而是我可以去掉其中一个，因为它们基本上在衡量同一件事情。
也就是说，一个函数应该只做一件事。这么做的一大原因是：如果每个函数只做一件事，那么只有在函数做那件事的方式必须改变时，该函数才需要改变。...当一个函数可以被删除时，事情就好办了：如果其他地方发生改动，不再需要该函数的单一功能，那么只需将其删除。 举个例子来解释一下。...最好将该函数写成两个独立的函数：一个用来执行并返回计算结果；另一个用来接收结果并将其打印出来。...在编写函数时，遵循这些规则很容易。我们只需要养成编写文档注释的习惯，并在实际写函数主体之前完成它们。如果你不能清晰地描述这个函数的作用是什么，那么你需要更多地考虑为什么要写这个函数。...那么如果一个函数太长该怎么办？代码重构（refactor）！代码重构很可能是你写代码时一直在做的事情，即使你对这个术语并不熟悉。它的含义是：在不改变程序行为的前提下改变程序的结构。
对于阻塞调用，你的程序多等待了1000万倍的时间。 ? 内核提供了阻塞I/O（“从网络连接中读取并把数据给我”）和非阻塞I/O（“当这些网络连接有新数据时就告诉我”）这两种方法。...每次你都需要做一些涉及I/O的事情，发出请求或者提供一个当完成时Node会调用的回调函数。 在求中进行I/O操作的典型Node代码，如下所示： ? 可以看到，这里有两个回调函数。...第一个会在请求开始时被调用，而第二个会在文件数据可用时被调用。 这样做的基本上给了Node一个在这些回调函数之间有效地处理I/O的机会。...n=100），并以十六进制形式打印生成的散列。我选择了这个示例，是因为使用一些一致的I/O和一个受控的方式增加CPU使用率来运行相同的基准测试是一个非常简单的方式。...作为比较，如果只考虑影响性能和易用性的几个重要因素，可以得到： ? 线程通常要比进程有更高的内存效率，因为它们共享相同的内存空间，而进程则没有。
如果使用相同的参数调用函数两次，则保证返回相同的结果。如果你已经学习了数学函数，你就会知道这个好处。这称为参照透明度。由于函数没有副作用，如果你正在构建一个计算某些事情的程序，你可以加速程序。...或者求四次方的功能呢？我们可以继续写下它们吗？好吧，你可以。但程序员很懒的。如果你一遍又一遍地重复同样的事情，这表明有一种更快的方法来加快速度，这将使你不再重复。我们可以在这里使用闭包。...（应该尽量找到一种，最好是唯一一种明显的解决方案） 在Python中，map和filter可以执行与列表推导（下面讨论）相同的操作。...列表推导 前面，我提到过你可以用map或filter做的任何事情，你可以用列表推导。列表推导是一种在Python中生成列表的方法。...事实上，如果你想尝试生成某种列表，那么使用列表推导看起来会更清晰，更容易。如果我们想要将列表中每个0以下的数字平方怎么办？有了lambda，map和filter你会写： 这似乎很长很复杂。
现在，如果你展示足够多的鸟和猫，当你展示一只鸟时，它会说鸟；当你展示一只猫时，它会说猫。事实证明，这种方法比手动连接特征检测器要有效得多。 这就是我的学生在图像数据库上所做的事情。...这就是我们如何让一只鸟跳舞的。它们可以共享识别鸟的所有连接权重，一个可以学会识别猫，另一个可以学会识别鸟，它们可以共享它们的连接权重，这样每个模型都可以做两件事。...这正是这些大型语言模型所做的，它们在共享。但这种方法只适用于数字计算机，因为它们必须能够模拟相同的事物。而不同的生物大脑无法相互模拟，因此它们无法共享连接。 问：为什么我们不坚持使用数字计算机呢？...我认为接下来会发生的一件事是，我们将朝着能够理解不同世界观的系统发展，并且能够理解，好吧，如果你有这个世界观，那么这就是答案。而如果你有另一个世界观，那么答案就是另一个。我们得到我们自己的真相。...另一个发生的事情是，有一个叫做「加拿大高等研究所」的组织，为加拿大擅长的领域的教授提供额外的资金，并为分布在不同地方的教授提供相互交流的资金，例如温哥华和多伦多，也与美国、英国和以色列等其他地区的研究人员互动
我认为这是我们作为程序员通常做的事情，除非我们主要从事函数式编程。我很好奇你为什么这么认为？为什么我们默认为可变系统？ 迈克尔·佩里：有两个原因。第一，这就是世界的运作方式。我们看到事情一直在变化。...你可能有来自提款机网络或信用卡机的交易，还有那些我们不知道或者我们知道会发生的事情，但它们仍然被保存在某处等等。 我想当时我不知道“最终一致性”这个词，但这基本上就是我们要处理的问题。...再一次，我发现这真的很有趣。那么，这样做的目的是什么？ 迈克尔·佩里：我认为这是使这种架构发挥作用的基石之一。通常，如果我们使用的是关系数据库，我们将有一个自动递增的ID作为列之一。...因此，如果可以执行两个有向无环图的集合并集，那么可以保证执行这些操作的任意两个节点将实现相同的图。 现在有一个CRDT的另一个方面，我以前没有提到过。这是一个投影函数。...作为一名应用程序开发人员，如果你能给我一组历史事实，我可以把它们组织成一个有向无环图，你给我一个投影函数，告诉我如何向你的用户显示这个有向无环图，那么这就是我所需要的，我可以解决最终一致性很强的问题，我可以在节点之间同步数据
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
