让 ChatGPT 更智能的六种策略（上），我们曾提到，在向大模型提问时，告诉它扮演一个领域专家的角色，它的回答会更有针对性。 但为什么会这样呢？...我在这里的目的是粗略地概述 ChatGPT 内部正在发生的事情，然后探索为什么它可以很好地生成我们认为有意义的文本。虽然会提到一些工程细节，但我不会深入探讨它们。...“合理”的意思是“在看过人类已经写在数十亿个网页上的内容之后，可能期望会继续写些什么内容，等等。”...再次可以构建文本： 每次这样做时，都会做出不同的随机选择，并且文本也会不同 - 正如以下 5 个示例所示： 值得注意的是，即使在第一步，也有很多可能的“下一个单词”可供选择（温度为 0.8），尽管它们的概率下降得很快...或者可以做理论科学的本质：建立一个模型，给出某种计算答案的程序，而不仅仅是测量和记住每个案例。
但一些研究人员表明，这些强大网络的理想化版本（比如无限宽）在数学上等同于更古老、更简单的机器学习模型，即内核机（kernel machines）。...也就是说，通过研究理想化神经网络在数学上易于处理的内核机等价对应物，研究人员正在了解为什么深度网络尽管具有令人震惊的复杂性，但在训练过程中会收敛到可以很好地泛化到未见过的数据的解决方案。...换句话说，训练机制是否使这些网络无法过拟合？ 张志远团队发现事实并非如此。使用巧妙操纵的数据集，张教授的团队证明了AlexNet和其他类似的人工神经网络确实会过拟合，而不是泛化。...但是，当给定未更改的数据时，使用相同算法训练的相同网络并没有过拟合——相反，它们泛化得很好。这种隐式正则化不可能是答案。张志远说，这一发现要求“更好地解释描述深度神经网络中的泛化特征”。...虽然各团队在细节和工作框架上有所不同，但本质是一致的，即无限宽的深度神经网络，其权值是根据特定的统计属性初始化的，不仅在初始化时，而且在整个训练过程中都与核函数完全相同。
这些虚拟助理将持续改进，直到它们变得与真正的人类难以分辨。除了它们将被赋予完美的回忆，优雅自若而且耐心——只有这些与人类不同。...这种对我们认为是人类独有的品质的数字模拟的可得性将提出深刻的科学上、心理上、哲学上和伦理上的问题。这些模拟物最终会改变我们对自己、对人类例外论、对人类之至上地位的看法。...如果所有这些状态都在数字计算机的软件上模拟，理论上，整个系统就会不仅实现完全像我一样的行为，而且还会像我一样感觉和思考。也就是说，意识是可计算的。...这也解释了为什么意识在睡眠的某些阶段会逐渐消失，即使新皮质神经元在持续地发射信号（fire）——因为新皮层的一部分失去了有效地相互影响的能力。...它们可以被关闭，修改，销毁，并随意更换。 但是，对于非传统的架构来说，情况未必如此。根据与大脑相同的设计原则构建的专用机器，原则上可以有实质意义的体验。
Vitelli和同事在数学对象中找到了答案，称为“奇点”，即两个或多个特征属性变得无法区分并在数学上合二为一的点。...他们也知道，在数学的基础上，激光，严格来说是物质的一种状态，它和极化子BEC有着相同的基本方程。...但这里有一个非互惠性：每个机器人都被编程为与其他相同颜色的机器人对齐，但它们也被编程为非互惠行为：红色机器人想要与蓝色机器人对齐，而蓝色机器人想要指向相反的方向。...但这些旋转恰恰证明了一个系统不平衡时的相变。” 他们展示的对称性破坏在数学上与Hanai和Littlewood在研究奇异量子凝聚时发现的现象一致。...为了更好地探索这种比较，研究人员转向了数学领域的分岔理论。分岔是动态系统行为的一种质的变化，通常表现为一个状态分裂为两个状态。 研究人员还模拟了两组不同关系、以恒定速度移动的智能体。
「给我你最喜欢的非线性微分方程，我为你建立一个可以模拟它的玻色 - 爱因斯坦凝聚物，」汉诺威莱布尼兹大学量子信息科学家托比亚斯 · 奥斯本（Tobias Osborne）没有参与这两个研究，他表示：「这是我真正喜欢的一个想法...Berry 认为这两篇论文在不同方面都很重要（他没有参与其中的任何一篇）。他说：「但最终，它们的重要性表明，有可能利用这些方法获得非线性行为。」...了解自己的极限 尽管这些成果很重要，但它们仍只是破解非线性系统的第一步。在实现这些方法所需的硬件成为现实之前，更多研究可能聚焦分析和完善每种方法。...「Childs 的研究在数学上是很严格的，包括什么时候是可以用、什么时候不可以用。」Osborne 说 「我认为这确实非常有趣，这是核心的贡献。」...两种技术给我们带来的最重要的警示是，量子解决方案从根本上不同于经典解决方案。量子状态对应的是概率，而不是绝对值，比如你无需观察喷气机机身各个部分周围的气流，而是获取平均速度或检测停滞的空气。
如果是，为什么？ 如果不是，为什么？ 另外，‘0.99999…’的精确值是多少？ 在这篇文章中，首先从数学上解决这个问题，弄清楚发生了什么。然后将深入探讨隐藏在数学结构背后的哲学挑战。...换句话说，“1”、“0.99999……”和“1.00000……”是（根据要求）表示相同值的三种不同方式， 它们都是一回事。...这个问题的答案是： 这取决于… 对于在数学世界之外工作的任何人来说，这可能会让人感到震惊。数学应该是终极精确和明确定义的世界。...数学并不是一门被前数学家完全解决的完整科学。这是一个充满活力和不断发展的领域，每一天的界限都在被打破。这些界限中有许多与人类逻辑认知的边界密切相关。在人类逻辑的极限下，认知往往会变得模糊。...而数学试图接受模糊性，并同时试图将其清晰表达。 数学的一些最基本的构建块是模糊的，而人类从模糊的基本块中能够构建出如此强大的数学系统也证明了人类的能力。
信息被认为会在黑洞视界的表面进行编码，并以辐射的形式被发送回来。然而，所有特定质量的黑洞发出的辐射都完全相同，与视界上的信息没有关系。这意味着黑洞会摧毁信息，而这违反了热力学定律。 ?...然而，这些粒子各自还有第二代和第三代（即副本），比如粲夸克、奇夸克和渺子，为什么会这样？ 10 粒子的质量源于何处，中微子拥有什么样的质量？ 前面提到的四种基本粒子是从哪里获得质量的？...研究过往将有助于我们了解自己的未来，以及宇宙的最终命运是否是“大撕裂”（即所有的物质最终都被撕裂成碎片）？ 29 时空的起源是什么，为什么时空是四维的，为什么时间不同于空间？...这一理论将解释为什么宇宙由量子场组成，并解释一些令人困惑的观测结果，比如观测导致波函数坍缩。 33 物理学在数学上做到一致了吗？...好的理论与实验在数学上是具有一致性的，然而，相对简单的量子场理论还没有做到这种数学上的一致性。 34 物理学的形式体系和人类经验的现实之间有什么联系？
和其他那些投database会议被拒然后系统会议发出来的文章相同的原因是Database会议质疑这篇文章的原创性。不同的是我觉得这篇文章所描述的系统的可用性也同样有问题。...答案是是的，对某些查询比较容易，某些则很难。后面理论很多，最难的一般来说是Join和Not In这样的查询，还有像Min Max Mean这样的函数。举个简单的例子。...当然我举了一个极端的例子。但是通俗一点说，数据共享给不同的查询之间带来了相关性。这些相关性导致这些查询结果同时错的概率不再是独立概率算出来的那个低风险的了。一颗蟑螂屎坏掉一锅赤豆粥。...一个sample拿出来是坏的，一堆的查询都给搞坏了。一个实际的分析系统，倘若不能有效的告诉用户实际面对的答案错误的风险到底有多高的话，这个系统在实际分析过程中就会很麻烦了。...当然我们可以说，一个查询一个独立的sample代价太高。大家都共享危险太大。所以可以一个sample用到一定程度以后换新的。但是取得sample的代价本身并不低。而数学上严格描述这种风险，又很困难。
我在大学学习拓扑时，总是不可避免地会遇到朋友和亲戚们的提问： “拓扑到底是什么？” 这个问题很难回答，每次我都会给出略有不同的答案，但是答案总是不那么令人满意。...这两个对象具有相同的拓扑，这意味着，即使这两个对象在几何形状上有所不同，但它们在拓扑上完全等价。我们可以将橡皮泥拉伸成可以想象的任何奇怪形状，但在拓扑结构世界中，所有这些形状都完全相同。...如果我们在拉伸时违反了这些规则，那么这两个对象在拓扑上将不再等价。拓扑学家称这种不破坏既定规则的拉伸为同胚，这只是一种数学上精确地描述如何让橡皮泥的形状保持相同拓扑性质的方法。...统计学中一个新兴的研究领域是拓扑数据分析。有用的数据通常具有某种结构，这些结构具有某种规律或趋势，而数据分析本质上是揭示此结构的过程。...在数据中寻找结构通常取决于我们如何看待数据，即：使用什么统计检验，将哪些变量与其他变量进行比较以及使用哪些可视化表示。 从拓扑结构中，我们知道看起来完全不同的事物实际上可以具有相同的结构。
无监督学习是一种没有答案的学习。很关键的一点是，没有答案怎么学？ 子曰：学而不思则罔，思而不学则殆。无监督学习就像一个「思而不学」（这里的「学」是指学习书本（即较直接答案），不是指广义的学习）的学生。...因为这些数据很少有局部关联。 无监督领域比较成熟的算法大多是聚类算法，比如 k-Means 等等。 这些算法聚类显著的特点是强调空间相关的先验，认为比较靠近的是一类。 ?...鸡无论做出怎样的猜想都可能落空。可以证明，无论我们学习到了什么东西，或者掌握到了什么规律，我们总是可以（在数学上）构造一个反例（比如，让太阳从西边升起，让黄金变成泥土），与我们的判断不一致。...产生错觉的原因是，大脑给我们「脑补」了很多倾斜边（这些方块是倾斜的，并且采用了不同的颜色加强边的效果），这些边的形状不同于它们的排列方向，因此会觉得「缠绕」。...人们会不自主地给两个全等的几何体使用相同的坐标框架。这个坐标框架会造成误导，导致人们总是先尝试一些错误的解。 如果给两个几何体不同的坐标框架 ? 几乎就立即可以得到解 ?
那么：它们是两个不同的函数吗？ 答案是否定的，因为"（c +d）"和"a"实际上是一回事，它们的表达能力相同。例如，如果您选择c = 10和d = 2，我可以选择 a= 12，我们得到相同的结果。"...ReLU类 在上一节中，我们说明了为什么需要激活函数，以及它们可以解决哪些问题。此外，我们注意到所有层都需要独立的激活函数，但这些激活函数只有很少有特殊的功能。...Leaky ReLU在数学上的表达式如下： LeakyReLU(x) = max(0, x) + min(0.01⋅ x, 0) 这样，一个负值信号不会被完全丢弃，在“Leaky因子”的作用下会保留一部分负值信号的特征...接下来要介绍的是参数化 ReLU，简称 PReLU。通过理性的思考我们会问：为什么Leaky单元的系数是0.01？...虽然此表达式与 ReLU 函数不同，但他们的函数图像 是明显相似的，其正部分基本相同，而Swish函数在负部分有一个“凹陷”且在负无穷趋近于零（Fig1）。
对其他研究者则认为，这种情况并没有出现在所有类型的深度神经网络中，存在着争议。 现在，核机和理想化神经网络在数学上的等同性为人们理解这些过参数化的网络为何以及如何得到（或收敛至）它们的解提供了线索。...核机算法通过将数据映射到极高维来发现数据中的模式。通过研究理想化神经网络在数学上易处理的等同核机，研究者正在学习具有极高复杂度的深度网络为什么在训练过程中能够收敛至对未见过数据泛化良好的解。...但是，使用相同算法训练的相同网络无法过拟合，当给定未更改的数据时，泛化得很好。因此，这种隐式正则化不是最终的答案。他们的发现表明「特征化深度神经网络中的泛化需要更好的解释」。...Yasaman Bahri 表示，「一旦你将它映射到一个高斯过程，则可以解析计算预测应该是什么。」这已经是一个里程碑式的结果，但并没有在数学上描述实践中使用的最常见训练形式期间会发生什么。...这是试图比较这些方法以理解它们的异同的第一步。」 打开神经网络魔盒的钥匙 这个结果解释了为什么深度神经网络，至少在这个理想的情况下，可以收敛到一个解。
然而，有些启示是深刻的，因为它们表明，曾经被认为是不同的两个旧概念，实际上是相同的。...也称为柯里-霍华德同构（isomorphism同构，是一个术语，意思是两件事之间存在某种一对一的对应关系），它在数学证明和计算机程序之间建立了联系。...因此，解决悖论的一种方法是将这些类型放入一个层次结构（hierarchy）中，这样它们只能包含比它们自己“低级别”的元素。...在类型论中，这个命题将由“下雨 → 地面是湿的”的函数建模。外观不同的公式实际上在数学上是相同的。...通过根据逻辑命题构建所需的行为，程序员可以在数学上证明程序的行为符合预期。它还为设计更强大的函数式编程语言提供了坚实的理论基础。
1、误导色彩对比 虽然使用不同的颜色有助于解释数据可视化，但过多的颜色会让用户感到困惑。坚持使用有限数量的独特颜色是至关重要的。...确定对比度值的最简单方法是在灰度上比较对比度颜色，而不是使用不同的颜色。 2、太的数据图表 使用大量数据提供更有深度的内容并没有什么错，但如果一次性呈现太多数据，可能会让用户不知所措。...3、省略基线而只显示比例 这种数据可视化问题在汇报时很普遍，它可能会显示错误的模式，甚至是不存在的趋势。 听众没有完全理解这些数据，在某些情况下会导致误解。...当然也可以故意这么做，你懂的 4、误导性标签文字 在数据可视化中，不仅图表本身可以表达含义，标题、标签、符号和描述也帮助用户理解信息。如果这些更改呈现的故事与数据有所不同，则用户可能会感到困惑。...然而，如果我们在科学上投入更多的钱，我们真的会看到更多的案件的增加吗? 这种相关性是误导性的，因为它没有联系。所以在制作图标前一定要确认趋势相同的数据是否有相关性。
非常深奥的一句话，好在，他给我们画了一幅图： 就是从这里开始，未来119年里的智力研究都开始出现问题。 的确，认知任务的测试分数显示出正向的流形，也就是说，它们总是呈正相关，尽管程度不同。...我们一般会认为，关于数学、词汇、法语、音乐等的测试是不同的，因为有些是关于单词的，有些是关于数字的，还有一些是关于声音的。 但其实，关于这些科目的智力测验并没有看上去的那么不同。...斯皮尔曼是对的——人们解决「明确定义」的问题的能力不同。 但我们的人生要面对的问题，可不仅仅是「明确定义」的问题。 「为什么我找不到一个可以共度一生的人？」 「我应该成为牙医还是舞者？」...毕竟，人工智能就是这样工作的——为了让AI解决一个问题，就必须给它数据来学习，而挑选这些数据需要定义问题。 当然，这并不意味着迄今为止人工智能所解决的问题是愚蠢或微不足道的。...然而，刚刚的这些，只是人工智能玩的一个聪明的把戏：AI让人觉得它们解决了定义不明确的问题，而实际上却是在解决定义明确的问题。 GPT-3并会不写电影剧本，它只是预测接下来可以有哪些词。
因此，我们了解到，尽管这些在数学上是等价的，但它们有不同的名称。这个版本（2aw）被称为权重衰减，这个术语在神经网络文献中使用。...为了回答这个问题，你需要考虑哪些数学上不同的事情。为什么它们不完全相同？提出一些假设，也许我们实际上得到了更好的答案的一些原因。要弄清楚这一点，首先我们需要弄清楚为什么会有不同的答案？这是微妙的。...因此，这个自变量矩阵乘以这个系数矩阵的矩阵乘法将给我们一个答案。所以问题是，好吧，为什么 Jeremy 没有写nn.Linear？为什么 Jeremy 写了nn.Embedding？...再次强调，从数学上讲，这与乘以一个独热编码矩阵是相同的。 但是，当输入稀疏时，效率显然要高得多。 因此，这个计算技巧在数学上与乘以一个独热编码矩阵是相同的，而不是概念上类似于。 这被称为嵌入。...这些分类变量，我们将只将其作为数值索引。因此，这些的第一层不会是一个普通的线性层，它们将是一个嵌入层，我们知道在数学上它的行为与线性层完全相同。
科赫团队发现大脑中存在不同类型的神经元 这张图展示了不同类型的神经元，它们都有各自的名称，每一类神经元的活动都不尽相同。...我们实际上对于不同基因的表达也可以做类似的事情。小鼠与人类的基因不完全一致，但是它们都是可以比较的。 为什么小鼠脑部的每一个单独组成部分跟人脑的组成部分很像，但是你却没有办法跟小鼠进行对话呢？...同时我们也会做很多其他的研究，是在大学当中的一个合作，这个实际上不是整个大脑，只有6个非常小的神经元，但它的输出给我们带来的是整个大脑，这是非常棒的，也是计算机给我们带来的最大的不同。...这里的神经元，可以投射到几千多个不同的神经元当中去，在整个生物学上都有非常大的意义。...这是一个非常令人激动的时代，可以让我们在脑科学上做出非常多的研究，这些是有在日本的，美国的，中国的，有欧洲的，还有其它国家的。
对称思维的妙用之从解题到本质（一）——巴格拉斯效果发生的概率 但是，促使我写这个系列文章的，其实并不是前面这些题，而是三年多前刚疫情开启过年那会，王志伟老师给我发来的一个题目，我当下就给出了错误的解答，...而每只鸭子都可以作为选取圆弧的起点，因此是n / 2 ^ (n - 1)，n = 4时，答案是1 / 2。...接下来这一步和上面的扑克牌问题有点像，我们可以比较一下异同。相同的部分是，鸭子子在泳池中的角度位置，和Joker在扑克牌叠的位置是等价的。只不过，扑克牌叠是离散序列，这里是连续取值。...离散序列的每个元素是要占空间，有质量的，而连续的则是不占地方的质点模型。还有一个根本的不同，就是这里是存在半圆，而那里是随意取了三份，问其中是否存在一个。...因为这一个以1还是2作为半圆起点或终点的划分方案的两个圆弧是有它们之间那段劣弧的重合的，即当一个点处在中间的时候，会被算两次，而这完全取决于两个点之间弧度的大小。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
