在3σ方式下，α=0.27%。第二种：β风险：如果过程是异常，但也会有部分点位于控制界限内，如果抽取到这样的产品，就会被判断为正常，从而犯了第二类错误，即漏发警报。犯第二类错误的概率记为β。...图片举例：举例来说，我们按照μ±3σ的规则，如果发现数据点在μ±3σ之外，我们认为这个数据点是异常的，但我们这个判定是错误的概率是α，即0.27%，少于统计学中的5%的显著性水平。...经验证明：休哈特所提出的3σ方式较好，在不少情况下， 3σ方式都接近最优间隔距离。因为常规控制图的设计思想是先确定犯第一类错误的概率α，再确定犯第二类错误的概率β。...按照3σ方式确定CL、UCL、LCL就等于确定了α =0.27%；在统计中通常采用α=1%，5%，10%三级，但休哈特为了增加使用者的信心，把常规控制图的α取的特别的小，这样β就比较大，这就需要增加第二类判异准则...这就是为什么常规控制图的异常判定准则有两类，即：点超出控制限就判异和控制限内点排列不随机判异两类。
每次有同学学习到 vue3 的时候，总会问我：“ref 和 reactive 我们应该用哪个呢？” 我告诉他：“我们应该使用 ref，而不是 reactive”。那么此时同学就会有疑惑：“为什么呢？...为什么推荐使用ref而不是reactive reactive在使用过程中存在一些局限性，如果不额外注意这些问题，可能会给开发带来一些不便。...3. 直接 reactive 对象解构时 直接解构会失去响应。...}) onMounted(() => { // 通过 AJAX 请求获取的数据，回显到 reactive，如果处理不好将导致变量失去响应 // 回显失败，给响应式数据赋值一个普通对象 state...Volar 自动补全 .value（不是默认开启，需要手动开启） reactive 重新赋值丢失响应是因为引用地址变了，被 proxy 代理的对象已经不是原来的那个，所以丢失响应了。
每次有同学学习到 vue3 的时候，总会问我：“Sunday 老师，ref 和 reactive 我们应该用哪个呢？” 我告诉他：“我们应该使用 ref，而不是 reactive”。...那么此时同学就会有疑惑：“为什么呢？ref 还需要 .value 处理，reactive 看起来会更加简单呢？” 嗯....每当这个时候，我都需要进行一次长篇大论来解释这个问题。...为什么推荐使用ref而不是reactive reactive在使用过程中存在一些局限性，如果不额外注意这些问题，可能会给开发带来一些不便。...3. 直接 reactive 对象解构时 直接解构会失去响应。...Volar 自动补全 .value（不是默认开启，需要手动开启） reactive 重新赋值丢失响应是因为引用地址变了，被 proxy 代理的对象已经不是原来的那个，所以丢失响应了。
那为什么到sqrt(x)就够了呢？...我反复思考总算得出了结论，这里用反证法即可： 已知 n 不是素数，且a，b是 n的两个根， a*b = n 假设 b>sqrt(n)，且a>=sqrt(n) 则a*b > sqrt(n) * sqrt(...得出若存在一个根大于sqrt(n)， 那必定存在另一个小于sqrt(n)的根 与此对应的逆否命题是 若不存在小于sqrt(n)的根，则不存在大于sqrt(n)的根 根据这个证明的结论，判断是否是素数，最多只需要判断到
一个显然的问题是：现在我们从 S 空间变成了 S×A 空间，这会大很多，而且我们仍然需要对其进行采样以找到每个状态-动作元组的期望回报。...这假设我们可以从任意状态开始，然后在每个 episode 开始时采取所有可能的动作；这在很多情况下都不是合理的假设。...现在我们的问题是：这会收敛到蒙特卡洛方法的最优 π∗ 吗？答案是：会收敛，但不会收敛到那个策略。 ϵ-贪婪收敛 我们从 q 和一个 ϵ-贪婪策略 π′(s) 开始。 ?...这就是我们收敛所需的。 但是，我们需要找到这一策略实际会收敛到的位置。很显然，即使最优策略是确定性，因为我们迫使我们的策略是随机的，所以无法保证收敛到 π∗。..., n_samples=10000))) # plot a 3D wireframe like in the example mplot3d/wire3d_demo X = np.arange(4,
一个显然的问题是：现在我们从 S 空间变成了 S×A 空间，这会大很多，而且我们仍然需要对其进行采样以找到每个状态-动作元组的期望回报。...这假设我们可以从任意状态开始，然后在每个 episode 开始时采取所有可能的动作；这在很多情况下都不是合理的假设。...现在我们的问题是：这会收敛到蒙特卡洛方法的最优 π∗ 吗？答案是：会收敛，但不会收敛到那个策略。 ϵ-贪婪收敛 我们从 q 和一个 ϵ-贪婪策略 π′(s) 开始。...如果我们支持所有时间步骤，那么会得到： 这就是我们收敛所需的。 但是，我们需要找到这一策略实际会收敛到的位置。很显然，即使最优策略是确定性，因为我们迫使我们的策略是随机的，所以无法保证收敛到 π∗。..., n_samples=10000))) # plot a 3D wireframe like in the example mplot3d/wire3d_demo X = np.arange(4,
而产生的所有轮次的条件下估计Vπ(s)V^\pi(s)Vπ(s) (同上) MDP M在遵循策略π\piπGt=rt+γtt+1+γ2rt+2+γ3rt+3+...G_t=r_t+\gamma t_{t...= [rt+γVπ(st+1)][r_t+\gamma V^\pi(s_{t+1})][rt+γVπ(st+1)] 请注意，这里没有求和，我们是采样，所以上面的式子里只有一个下一个状态，而不是所有的未来状态...因为它们是算法，所以你依然能把应用到非马尔科夫域，但是它们不会在极限下收敛到正确的值。...在极限条件下收敛到真实值(For tabular representations of value function) 在满足三种算法的应用条件下，它们都能收敛到真实值。...Batch MC and TD: Converges 批处理设置的蒙特·卡罗尔方法收敛到最小MSE(mean squared error)。 对观察到的回报而言是最小的loss。
（2）另外，我们想把不确定性也表示出来，希望尽可能快地得到奖励，而不是在未来的某个时刻得到奖励。 （3）接上一点，如果这个奖励是有实际价值的，我们可能更希望立刻就得到奖励，而不是后面才可以得到奖励。...但是这个矩阵求逆的过程的复杂度是 $O(N^3)$ ，所以当状态非常多的时候，比如从10个状态到1000个状态，到100万个状态，那么当我们有100万个状态的时候，转移矩阵就会是一个100万乘100万的矩阵...当积累该奖励到一定数量后，直接除以轨迹数量，就会得到其价值函数的值。 （2）动态规划方法：可用来计算价值函数的值。通过一直迭代对应的贝尔曼方程，最后使其收敛。...我们为了得到最佳的 $V^$ ，对于每个状态的 $V^$ 值，直接使用贝尔曼最优方程进行迭代，迭代多次之后它就会收敛到最佳策略及其对应的状态，这里是没有策略函数的。...3.5 友善的面试官：请问最佳价值函数 $V^$ 和最佳策略 $\pi^$ 为什么等价呢？
到达局部最小值的时候，由损失函数求得的梯度接近于0，我们很难再跳出这个局部最小值，进而优化到全局最小值，即x=1处，这也是损失函数其中的挑战 鞍 点 假设我们的损失函数为 ?...它的特点也是两边的梯度趋近于0，但并不是真正的最小值点 在深度学习优化过程中，这两种情况很常见，我们需要尽可能地通过数学方式去逼近最优 梯度下降为什么有效 这里需要用到高数里面的泰勒展开公式 其中 代表处的梯度...*x)的导数为np.cos(np.pi * x) - x * np.sin(np.pi * x) x -= eta * (np.cos(np.pi * x) - x * np.sin(np.pi...当函数在某个方向上变化十分剧烈，则对应方向上的梯度变化也十分剧烈，为了达到收敛，需要更多时间步迭代。 梯度变化剧烈的另外一个原因是，我们单一地考虑了当前的梯度，而忽略了以前的梯度情况。...当我们把以前的梯度加入到当前梯度计算中，会缓解这种问题，加速收敛 动量法引入了一个速度变量，初始化为0，由以下两个公式进行变量维护 指数移动平均 image.png image.png AdaGrad
接力题典 1800 级数 第一节 常数项级数的基本性质与收敛性判断 1.级数收敛的定义； 2.级数收敛的必要条件； 3.级数收敛的基本性质，加括号提高其收敛性，加绝对值增加其发散性。...12.判断 \displaystyle\sum_{n=1}^{\infty}\sin \pi\sqrt{n^2+1} 的敛散性，收敛的话是据对收敛还是条件收敛？...解：由于 \sin\pi\sqrt{n^2+1}=\sin[n\pi+\pi(\sqrt{n^2+1}-n)]=(-1)^n\sin\frac{\pi}{\sqrt{n^2+1}+n} ， 而 \sin...，由于 \sin\frac{\pi}{\sqrt{n^2+1}+n}~\frac{\pi}{2n} ，而 \displaystyle\sum_{n=1}^{\infty}\frac{\pi}{2n} 发散...1}{\sqrt{3}+\sqrt{2}}-\frac{1}{\sqrt{2}+\sqrt{1}})+(\frac{1}{\sqrt{4}+\sqrt{3}}-\frac{1}{\sqrt{3}+\sqrt
上图来自cs231n，根据上面的描述Adam能迅速收敛到一个“尖锐的最小值”，而SGD计算时间长步数多，能够收敛到一个“平坦的最小值”，并且测试数据上表现良好。 为什么ADAM不是默认优化算法呢?...但SGD具有统一尺度，训练误差小，在测试数据推广时效果也会好 Adam使用的指数移动平均并不能使学习率单调下降，这将导致它不能收敛到最优解，从而导致泛化性能较差。...Adam学习到的学习率在某些情况下可能太小而不能有效收敛，这会导致它找不到正确的路径而收敛到次优点。 Adam可能会大幅提高学习率，这不利于算法的整体性能。...对于这种泛化差距的一种经验解释是，自适应梯度算法倾向于收敛到尖锐的极小值，其局部地区的曲率较大，所以泛化性能较差，而SGD则倾向于寻找平坦的极小值，因此泛化较好。...但是，本文这并不是否定自适应梯度方法在神经网络框架中的学习参数的贡献。而是希望能够在使用Adam的同时实验SGD和其他非自适应梯度方法，因为盲目地将Adam设置为默认优化算法可能不是最好的方法。
到达局部最小值的时候，由损失函数求得的梯度接近于0，我们很难再跳出这个局部最小值，进而优化到全局最小值，即x=1处，这也是损失函数其中的挑战 鞍点 假设我们的损失函数为 ?...它的特点也是两边的梯度趋近于0，但并不是真正的最小值点 在深度学习优化过程中，这两种情况很常见，我们需要尽可能地通过数学方式去逼近最优 梯度下降为什么有效 这里需要用到高数里面的泰勒展开公式 其中 代表处的梯度...*x)的导数为np.cos(np.pi * x) - x * np.sin(np.pi * x) x -= eta * (np.cos(np.pi * x) - x * np.sin(np.pi...当函数在某个方向上变化十分剧烈，则对应方向上的梯度变化也十分剧烈，为了达到收敛，需要更多时间步迭代。 梯度变化剧烈的另外一个原因是，我们单一地考虑了当前的梯度，而忽略了以前的梯度情况。...当我们把以前的梯度加入到当前梯度计算中，会缓解这种问题，加速收敛 动量法引入了一个速度变量，初始化为0，由以下两个公式进行变量维护 指数移动平均 这里参考的是mxnet出品的动手学教程 我们假设有下面公式
Sigmoid的输出不是0均值（即zero-centered）；这会导致后一层的神经元将得到上一层输出的非0均值的信号作为输入，随着网络的加深，会改变数据的原始分布。...解决了梯度消失问题，收敛速度快于Sigmoid和tanh函数，但要防范ReLU的梯度爆炸 容易得到更好的模型，但也要防止训练中出现模型‘Dead’情况。...ReLU 强制将x到有效特征，所以如果学习率设置的太大，就可能会导致网络的大部分神经元处于‘dead’状态，所以使用ReLU的网络，学习率不能设置太大...这个函数通常比 Relu 激活函数效果要好，但是效果不是很稳定，所以在实际中 Leaky ReLu 使用的并不多。...}\sigma} \, \mathrm{d}X}\tag{4.2} 计算结果约为： {0.5x(1+tanh[\sqrt{\frac{2}{\pi}}(x+0.044715x^3)])}\tag{4.3
如果当前状态分布为 (u(x)), 那么下一个矩阵的状态就是 ( u(x)p ), 再下一个就是(u(x)p^2),… 最后会收敛到一个平稳分布 (\pi)。...这个平稳分布 (\pi) 只和概率转移矩阵 p 有关，而和初始状态分布 u 是什么没有关系。...如何判断一个马尔科夫链是否能收敛到平稳分布，以及如何判断一个状态分布是不是一个马尔科夫链的平稳分布呢？我们有下面定理。 细致平衡条件: 已知各态历经的的马尔科夫链有概率转移矩阵 p, ?...如果对于任意两个状态 i 和 j，下面公式成立，则马尔科夫链能够收敛到 ? 。 (2) ? 这里的各态历经是指任意两个状态之间可以通过有限步到达。 怎么证明细致平衡条件呢？...显然在绝大部分情况下，q 的稳定概率不是目标概率 (\pi)，即不满足细致平衡条件。 (3) ? 如何让这个不等式转变成等式呢？根据对称性，我们容易得到下面的等式。 (4) ?
为什么需要经验回放呢？...另外，实际应用中，为了算法较好的收敛，探索率$\epsilon$需要随着迭代的进行而变小。 4. Deep Q-Learning实例 下面我们用一个具体的例子来演示DQN的应用。...而state状态就是这个cart的位置和速度， pole的角度和角速度，4维的特征。坚持到200分的奖励则为过关。 ...当然由于是$\epsilon-$探索，每次前面的输出可能不同，但最后应该都可以收敛到200的分数。 5....但是DQN有个问题，就是它并不一定能保证Q网络的收敛，也就是说，我们不一定可以得到收敛后的Q网络参数。这会导致我们训练出的模型效果很差。
我们每一轮可以对计算得到的新的状态价值函数再次进行迭代，直至状态价值的值改变很小(收敛)，那么我们就得出了预测问题的解，即给定策略的状态价值函数$v(\pi)$。 ...当我们计算出最终的状态价值后，我们发现，第二行第一个格子周围的价值分别是0,-18,-20，此时我们用贪婪法，则我们调整行动策略为向状态价值为0的方向移动，而不是随机移动。也就是图中箭头向上。..._{*}$，接着回到第一步，一直迭代下去，最终得到收敛的策略$\pi_{*}$和状态价值$v_{*}$。...价值迭代求解控制问题 观察第三节的图发现，我们如果用贪婪法调整动作策略，那么当$k=3$的时候，我们就已经得到了最优的动作策略。而不用一直迭代到状态价值收敛才去调整策略。...比如当$k=2$时，第二行第一个格子周围的价值分别是0,-2,-2，此时我们用贪婪法，则我们调整行动策略为向状态价值为0的方向移动，而不是随机移动。也就是图中箭头向上。
举个形象的比喻，假如每天的天气是一个状态的话，那个今天是不是晴天只依赖于昨天的天气，而和前天的天气没有任何关系。...0.0625]] 可以看出，尽管这次我们采用了不同初始概率分布，最终状态的概率分布趋于同一个稳定的概率分布[0.625 0.3125 0.0625]， 也就是说我们的马尔科夫链模型的状态转移矩阵收敛到的稳定概率分布与我们的初始状态概率分布无关...,\pi(j),...]\;\; \sum\limits_{i=0}^{\infty}\pi(i) = 1$$ 上面的性质中需要解释的有： 1）非周期的马尔科夫链：这个主要是指马尔科夫链的状态转化不是循环的...3）马尔科夫链的状态数可以是有限的，也可以是无限的。因此可以用于连续概率分布和离散概率分布。、 4）$\pi$通常称为马尔科夫链的平稳分布。 3....假设经过n轮后马尔科夫链收敛到我们的平稳分布$\pi(x)$，即：$$\pi_n(x) = \pi_{n+1}(x) = \pi_{n+2}(x) =... = \pi(x)$$ 对于每个分布$
2.11 在经验回放中我们观察 \pi 的价值，发现里面混杂了一些不是 \pi 的经验，这会有影响吗？ 没影响。...就算是异策略，就算是这些经验不是来自 \pi ，我们还是可以使用这些经验来估测 Q_{\pi}(s,a) 。 2.12 为什么传统的深度Q网络的效果并不好？...对于 \mathrm{Q}(s,a) ，其对应的状态由于为表格的形式，因此是离散的，而实际中的状态却不是离散的。...这里介绍的参数 N 是超参数，需要微调参数 N ，例如是要多采样3步、还是多采样5步。 2.17 深度Q网络相比基于策略梯度的方法为什么训练效果更好、更平稳？...对于 \boldsymbol{Q}(s,a) ，其对应的状态由于为表格的形式，因此是离散的，而实际的状态大多不是离散的。
不过随着时间流逝，社区和 JavaScript 规范已经收敛为名为 ES 模块（或者 ES6 模块）的格式，这也就是我们所知道的 import/export 语法。...模块会在它自己的作用域，而不是在全局作用域里执行。这意味着，在一个模块中声明的变量、函数、类等，对于模块之外的代码都是不可见的，除非你显示的导出这些值。...非模块（Non-modules） 在我们开始之前，我们需要先理解 TypeScript 认为什么是一个模块。...如果你有一个文件，现在没有任何 import 或者 export，但是你希望它被作为模块处理，添加这行代码： export {}; 复制代码 这会把文件改成一个没有导出任何内容的模块，这个语法可以生效，...Classic，当编译选项module 不是 commonjs 时的默认选择，包含了向后兼容。
假设互联网上共有 N 个页面，那么我们可以写出一个 N×N 的矩阵，其中的元素 pij，如果存在从页 i 被页 j 指向的链接（为什么使用“ 被指向” 而非“ 指向”，前文已经解释了），那么 pij 就大于...，实际上，只有 p 概率的用户会点击网页链接，剩下 (1-p) 概率的用户会跳到无关的页面上去，而访问的页面恰好是 4 这个页面中 A 的概率只有 (1-p)/4（p 正是前文提到的“ 阻尼系数”（damping...factor），Google 取 p 等于 0.85），所以： PR(A) = (1-p)/4 + p(PR(B)/1 + PR(C)/2 + PR(D)/3) 推广到一般公式（pi 表示第 i...）： 接着给所有网页一个统一的初始权值，每次都用上面提到的 R 矩阵去乘以原始的 N×N 的矩阵，把结果这个新的矩阵继续去乘以那个 N×N 的原始矩阵，反复进行，相乘行为引起的矩阵变化越来越小，直到收敛到一个给定的值以内...截止到 2010 年，Google 索引的网页总数已经超过 5000 亿，也就是说，Google 必须解这个阶数的矩阵相乘问题，这是不是真的就是 MapReduce 之类的由来呢？
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
腾讯会议
云直播
对象存储
