由于内存一下子进入了GB级别，数据库的规模也从MB级别变成GB级别的了，C/S架构又让前端的并发量有了质的提升，因此和shared pool相关的问题逐渐多了起来。...而从DBA这个师傅带徒弟的方式传承的职业上，这种恐惧被一代代的传了下来。 至少在5年前，还经常有DBA和我探讨数据库性能问题的时候，都会把硬解析数量放在比较重要的位置上去考虑。...因此我们的服务器都可以配备了超豪华的CPU/内存/IO资源了，还是有大量的DBA依然受到那时候的影响，对SQL解析十分恐惧。这个恐惧甚至带到了开源数据库和国产数据库上。...实际上，在大多数开源和国产数据库上，并不存在全局共享的CURSOR，一般来说，CURSOR共享是会话级的。...而这两种资源在现在的服务器上，已经是十分便宜了。因此在开源和国产数据库上，我们很少听说SQL解析引起的性能问题。除非是CPU或者内存资源严重不足的系统中，这类问题恐怕都不是问题。
D3 当下谈论数据可视化时，我们是绕不开 D3 的，这是由 Mike Bostock 创建的库，它已成为在浏览器中处理 SVG 矢量图形的主要工具。...D3 是如此的受欢迎，以至于有许多其它的库在 D3 的基础上被创造出来，为人们提供更多“开箱即用”的解决方案，如 NVD3。...在 LiveEdu 上，您可以通过学习 Python 数据分析与可视化 这一课程来迅速掌握包括 D3、NVD3、Charts.js 等在内的数据可视化工具。 ? 2....它也使用 SVG 元素，这些元素是可以任意缩放的，不存在像素点问题。它具有创建动画和插入各种组件的功能。...事实上，就像 D3 一样，有许多其它的库在 Raphael 的基础上被创造出来，其中最受欢迎的是 morris.js。 ? 4.
大海：你说的这些其实就是所谓的“聚合”计算，在Power Query里当然也是可以的，虽然Power Query的强项在于数据的接入、转换整理，而不在于统计分析，但毕竟在数据整理中也经常用到一些基本的计算...不是要写公式吧？ 大海：基本的这些统计是不需要写公式的，通过简单的操作就能得到。我们先把数据丢进Power Query。...在Power Query里往往不是为了得到这些统计结果，而是对统计的结果进行进一步的利用，所以，这里面关键是要对这些操作生成的公式进行理解，对一些常用的函数要学以致用。 小勤：原来这样。...，其中求和、最小值、最大值和平均值非常常用，所以，这几个函数最好都能记一下，实际上，这几个函数跟Excel里是一样的，只是在PowerQuery里要求在前面加上List而已。...小勤：嗯，原来每一步操作和生成的公式内容基本就是一一对应的。 大海：对的。因为这样，所以以后在很多数据处理的过程中，就可以通过操作生成基本的公式，然后按需要进行修改，从而生成需要的结果。
我们可以观察到当我们点击总海运费，也就是F8单元格的时候，在公示栏里显示的不是我们平时所看到的引用单元格的计算，而是是目的港费用+本地费，这个代表的可能就是使用了名称命名来进行计算。...我们通过公式中的追踪单元格，我们可以看到指向了非常多的单元格，说明虽然公式只有简单的目的港+本地费用，但是实际上在内部具有一整套计算逻辑。...例如公式： 目的港费用= (SUM(目的港收费[提单])+ MAX(体积,实重/RT比)*SUM(目的港收费[RT])) *欧元汇率-120*美元汇率*RT重 在目的港费用这个计算公式中，我们看到目的港收费...那我们来看下这个RT比的1:1000到底是个什么情况，实际上这个是数字显示的格式问题。 我们通过自定义格式看到，实际数字就是1000，只不过被设置成了1:1000的显示效果。...在这份文件中，我们运用了表格名称，自定义名称，Power Query网抓，单元格自定义格式，下拉式列表框等Excel技巧，从而使得在计算单元格显示的公式从业务逻辑上进行简化展示。
随着关注Power Query的人越来越多，很多人发现用Power Query处理一些比较复杂的问题的时候，步骤比较多，但胜在分成多个步骤之后，操作起来就比较简单了——这也是我大力推荐普通用户去使用...当然，随着对Power Query的深入学习和对M语言及函数的熟悉，我们不一定要追求大部分问题的复杂的一步解法，但是，我们仍然可以在熟练运用常用的函数时，使问题的解决过程得以极大简化。...比如今天看到的一个问题——将公式中星号（*）前的数字取出来进行求和，如下图所示： 这个问题如果分步骤来解，大致如下： Step 01重复一列出来用于分列 Step 02用“+”号分列...Step 03提取分隔符（*）之前的文本 Step 04分组求和 从这里面可以看出，通过几个简单的步骤，你就可以实现原来在Excel中很难实现的问题，而且可以随着数据变化而一键刷新...）并取出分列后的第一（{0}）个值，同时，由于分列后的值是文本，所以要通过Number.From函数转为数值 通过List.Sum函数进行求和 难吗？
1 系统使用内存包含内核运行，系统的缓存等 2 MYSQL 本身系统固定使用的内存，innodb_buffer_pool query cache 等等 3 MYSQL workload ，例如连接...并且由于很多系统不是自研，所以一般遇到这样的问题，除了本单位有能优化的系统的人以外，大概率的可能都是添加内存。...问题 3 ,我的innodb_buffer_pool_size 设置的较高，但查询还是很慢 在排除innodb_buffer_pool_size 设置不当造成的性能问题后，就需要关注以下几个buffer...，或无法使用索引的情况下，会进行全表扫描，全索引扫描，这种情况会将数据顺序的读入到 read_buffer_size 中，当读取的数据足以在 read_buffer_size 中保存，则读取结束后，会将...，将需要读取的数据放入到 join_buffer 提高JOIN 的效率，而如果JOIN_buffer_size 不足的情况，则会在需要新的数据写入后，清理掉之前写入的数据，而这些数据如果也正在使用，则会在清理掉现在正在用的数据
- 1 - 日常使用Power Query的过程中，大家可能会对表（Table）、列（List）筛选部分数据比较熟悉，但是，如果是对于一行（Record），要筛选（或剔除）部分列（字段）进行计算，那该怎么办呢...比如下面这个例子，有很多仓库，且货物存放的仓库有增减，那该怎样计算除A和Z仓库以外的所有仓库的数量之和： 这种情况在物流行业里其实是比较普遍的，但是，如果你直接用List.Sum函数，然后选择当前除A.../Z以外的其他列进行求和，那么，当仓库发生变化时，就极可能出错——仓库多了，有部分没算上；仓库少了，会因为找不到列而出错： - 2 - 实际上，要解决这个问题并不难，以下提供两种方法供大家参考。...) - 3 - 在Power Query或Power Pivot里，对于同一个问题，往往有很多不同的解法，这些都依赖于对基础知识的熟练掌握。...针对本文的问题，虽然看起来最终使用的方便并不复杂，但是，其背后需要对分组、透视等操作，以及对Power Query里的数据结构、行列数据提取、筛选等都熟练掌握。
- 2.思路 - 首先，如果一时没想到快捷的方法，而工作上又要马上出数据，那就直接手工操作，其实即使几十列也不见得要很久（虽然比较烦，但是，在实际工作中，对于很多简单的操作问题，如果也不是经常会碰到...再回到这个问题，实际就是怎么在分组时，实现批量处理的问题，下面直接通过一个简单的例子来进行说明（数据就不造几十列的了，不然不知道该怎么截图，用下面的方法，两列跟几十列是一样的）。...； 2、其中要注意的是，原List.Sum([数量])内需要引用的是需要求和的列的数据，而不是列名本身，即不是List.Sum("数量")，因此，需要通过Table.Column函数来通过列名获得该列的数据...问题还没完 - 通过上面的修改，我们实现了将列名列表转换成了分组函数里的聚合参数列表，但是，有几十列，如果手写几十个列名也够烦的，而且都得加上双引号！...首先，如果是在Excel里面，我们拿所有列名来造这个列表的方法很多，也不复杂，但是，既然在Power Query里，那么我们就用Power Query的方法来解决。
word词典非常大（500K），导致输入向量的维数也非常高，使用Word Hashing做分解后，可以减少词典大小，比如letter-trigram（30K） 一定程度解决OOV问题 对拼写错误也有帮助...我们的候选文档大小可能会非常大，论文在实际训练中，做法如下： 我们使用 来表示一个(Query,Doc)对，其中 表示这个Doc是被点击过的 使用 和四个随机选取没有被点击过的Doc来近似全部文档集合...我看的DSSM实现代码是下面两个，其中的不同点就在于上面说的负样本构造不同 训练数据中输入有负样本：InsaneLife/dssm[3] 使用一个batch中其他Doc构造负样本：LiangHao151941.../dssm[4] 训练数据中输入有负样本的情况 这部分代码在https://github.com/InsaneLife/dssm/blob/master/dssm_rnn.py 输入数据 with tf.name_scope...Tensor如下，每一行是一个Query下正样本和负样本的sim，这样我们在axis = 1上做softmax操作即可： [[query[1]_pos,query[1]_neg[1],query[1]
导语：在日常使用Power Query的过程中，可以多关注一下操作时自动生成的步骤公式，这其实就是最好的函数学习案例。...- 01 - 从习惯熟悉的思路开始 刚看到这个问题，我想，这不就是判断一组内容是否有一个正确（List.AnyTrue）的常用场景吗？...： 用Power Query轻松批量抓取A股数据，及列表转换函数（List.Transform）的使用 - 02 - 再多换几个思路 这个问题的核心是判断当前项目有没有包含其中某一个关键词，而关键词是个列表...大家在日常使用Power Query的过程中，除了快速完成操作外，可以多关注一下操作步骤自动生成的公式。...比如文中提到的拆分列功能，如果大家在日常做数据分列的时候，留意过编辑栏里自动生成的公式，可能就会对Splitter有点儿印象： 实际上，在Power Query里，通过操作生成的步骤公式里面隐藏了很多非常值得参考的知识点
尤其是在一些包括batch维度的高阶张量的相关计算中，若使用普通的矩阵乘法、求和、转置等算子来实现很容易出现维度匹配等问题，但换成einsum则会特别简单。...很久很久以前，小爱同学在捣鼓广义相对论。广义相对论表述各种物理量用的都是张量。 比如描述时空有一个四维时空度规张量，描述电磁场有一个电磁张量，描述运动的有能量动量张量。...在理论物理学家中，小爱同学的数学基础不算特别好，在捣鼓这些张量的时候，他遇到了一个比较头疼的问题：公式太长太复杂了。...D_{ikj} ，然后对 D 在维度k上求和得到。...二，einsum基础范例 einsum这个函数的精髓实际上是第一条: 用元素计算公式来表达张量运算。 而绝大部分张量运算都可以用元素计算公式很方便地来表达，这也是它为什么会那么神通广大。
c(w,d)是词w在文本d中的词频。...TF Transformation 上图的公式分母中的k还乘了一个系数，目的是归一化文本长度。归一化公式中，b是[0,1]之间的常数，avdl是平均文本长度，d是文本d的长度。...= '高血压 患者 药物'query = []for word in query_str.strip().split(): query.append(word.decode('utf-8'))...贵的药，真的比便宜的药好用吗？ 事实上，降压药物的化学机构和作用机制不一样。每一种降压药，其降压机理和适应人群都不一样。只要适合自己的病情和身体状况，就是好药。...中医则认为，通过适当的运动和饮食调节，早期的部分高血压患者，可以在服药之后的某段时间里停药。总之，处理这一问题的时候，我们还是要根据自己的情况而定。
上面问题的关键是模型并不知道要预测的那个词在原始序列中的位置。了解Transformer的读者可能会问：不是输入了位置编码吗？位置编码的信息不能起作用吗？...最后在计算公式的时候我们可以用最上面一层的Query向量g_{z_t}^{(M)} 我们可以通过下图来直观的了解计算过程 ?...在分段的情况下，如果仅仅对于每个段仍直接使用Transformer中的位置编码，即每个不同段在同一个位置上的表示使用相同的位置编码，就会出现问题。...有的时候可能只是对某个数据集有效果，或者效果好是其它因素带来的，一篇文章修改了5个因素，其实可能只是某一两个因素是真正带来提高的地方，其它3个因素可能并不有用甚至还是有少量副作用】 BERT使用的是绝对的...XLNet在Transformer XL的基础上引入了随机排列和双流注意力机制，因此使得整个模型变得非常复杂 XLNet训练总共使用了126GB纯文本数据，而BERT训练只使用了13GB的数据。
说完内存下面该是关注I/O的问题了，和相关问题 9 问：我们的MYSQL服务器上有多个库，现在需要拆库或者迁库吗？...（实际上MYSQL 适合库少表少的情况，模块化，而不是和其他数据库一样集中，什么都往里面放） 所以到了这个时期，要回答的第一个问题就是，这个服务器上众多的库，到底哪个最HOT SELECT schema_name...10 问：那我想知道某个库中那些总体语句的延迟比较高，执行次数与错误的次数的对比 其实在MYSQL 5.7 后sys 库的使用越来越多，也导致 slow log 的使用越来越少（这也是商业数据库通用的方法...，ORACLE SQL SERVER），PG 是将慢查询打印到日志 类似MYSQL SLOW LOG 所以在MYSQL 越来越往SYS 库去获取性能的数据的情况，下面就是一个例子 使用 sys.statements_with_runtimes_in...以上两个方面可以部分反映MYSQL的日志写这个过程是否有一些性能方面的瓶颈。 12 问 我的innodb_log_file_size 设置的合理吗，有没有阻塞日志写入造成性能问题？
，world有一个分数，再拿所有term的分数组成一个doc vector 画在一个图中，取每个doc vector对query vector的弧度，给出每个doc对多个term的总分数 每个doc vector...---- lucene的相关度分数算法 我们boolean model、TF/IDF、vector space model 深入讲解TF/IDF算法，在lucene中，底层，到底进行TF/IDF算法计算的一个完整的公式是什么...对一个doc的分数的公式，该函数会使用一个公式来计算 score(q,d) = queryNorm(q) · coord(q...这个公式的最终结果，就是说是一个query（叫做q），对一个doc（叫做d）的最终的总评分 ---- queryNorm(q) is the query normalization factor (new...简单来说，就是对更加匹配的doc，进行一些分数上的成倍的奖励 The sum of the weights for each term t in the query q for document d.
02 分析 首先最容易想到的方法就是先求出前缀和sum[i]，然后区间[a,b]的和就可以直接通过sum[b]-sum[a-1]得到。 但如果要对数组进行修改，就会有一些问题。...计算机原理中，首先我们知道有原码，反码，补码。最高位为符号位，0为正数，1为负数。正数的三码相同，负数的反码是符号位不变，其余位取反，而补码则是反码加1。在计算机中负数是以补码的方式存储的。...观察发现，修改一个元素a[i]时，sum[i]是一层一层的向上进行修改，上一层的下标正好是当前层的下标i加上lowbit(i)。...通过公式替换，原数组的前缀和sum[i]也可以通过d[i]来得到。 展开来看就是这样。 通过观察，可以对上面公式作如下变形。其中最关键的是sigma(d[j])和sigma(d[j]*j)。...+ 1) * query(sum1, left) - query(sum2, left); LL sumB = (right + 1) * query(sum1, right) - query
小勤：大海，刚有个同事在问我这种情况怎么办！公式怎么写啊？ 大海：为什么又要公式？ 小勤：还有大批量数据都需要做这样的迁移啊。公式不是更加自动一点吗？ 大海：PowerQuery不是更加自动吗？...第一反应为什么不是用Power Query？ 小勤：鹅……对哦！Power Query是可以整合、转换数据，并可以自动刷新的。 大海：嗯。...就这个问题来说，去掉数据获取（导入）、数据上载头尾两个简单步骤后，用Power Query只要2步就搞定了：逆透视后再透视。...Step-0：数据获取 Step-1：逆透视 Step-2：透视 最后，数据上载 小勤：真是太简单了！那如果写公式的话呢？...如果要连行列标题（业务经理、月份、存货分类）都要靠公式整出来的话，基本没救。 小勤：好吧。有合适的工具，掌握有效的技能，真是事半功倍啊！
Input 第一行一个整数T，表示有T组数据。...; (3)Query i j ,i和j为正整数,i<=j，表示询问第i到第j个营地的总人数; (4)End 表示结束，这条命令在每组数据最后出现; 每组数据最多有40000条命令 Output 对第i组数据...这个数据范围，直接模拟肯定会T，所以我们要使用数据结构来维护数组，树状数组可以说是其中最简洁的一种。我们来看看树状数组是怎么实现的。...实际上，每一次加的正是 。（神奇吧？）这样，我们更新的区间数不会超过 。一个能以 时间复杂度进行单点修改和区间查询的数据结构就诞生了。...不过我们需要先解决一个问题：lowbit怎么算？如果一位一位验证的话，会形成额外的时间开销。然而，我们有这样神奇的一个公式： 为什么可以这样？我们需要知道，计算机里有符号数一般是以补码的形式存储的。
这篇文章的素材来源于chandoo.org，让你使用Excel公式判断电梯能否运行。示例数据如下图1所示。...图1中给出了10行数据，你能使用10个不同的公式进行判断吗？ 是的，这个问题很简单，也很容易想出解决方案的公式，但要使用10个不同的公式，还是需要动点脑筋。 我们先从最常规的开始。...在单元格B5中输入公式： =IF(OR(COUNT(C5:X5)>AA4,SUM(C5:X5)>AA5),"不能","能") 根据条件，要满足不超过20人，则记录的数据最多到列V，不能到列W，因此列W中单元格的数据应为空...在单元格B6中输入公式： =IF(W6=0,IF(SUM(C6:V6)<= 如果使用OR函数的话，那么在单元格B7中输入公式： =IF(OR(W7>0,SUM(V7)> 结合NOT函数和与条件（*号），...(C10:X10,">0")<=AA4,SUM(C10:X10)<=AA5)*1=1,"能","不能") 还可以使用OFFSET函数获取求和单元格区域，在单元格B11中输入公式： =IF((SUM(OFFSET
- 1 - 最近，有朋友在使用Power BI进行数据整理的时候，要把合在一列里的内容进行拆分： 原想着使用“从数字到非数字”的拆分方式可以更方便一点儿，谁知道，竟然出错了！...实际上，这里很明显，是因为Power Query里将小数点当做非数字了。 数据下载链接：https://t.zsxq.com/05UrZzjm2 那该怎么办呢？...实际上，我们继续观察这个步骤公式，就知道，可以很简单地在步骤公式里处理掉，即直接把步骤公式里的“尺寸.1”、“尺寸.2”……等内容改掉或删掉多余的内容即可： 出错其实并不可怕，找到原因，然后处理掉就好了...实际上，我们问的每一个问题，都是相对独立的，而chatGPT也是基于我们的“监督”下，不断地根据我们发现的问题、提出的问题然后进行理解和回答，而并没有能力自主地形成思路，比如说类似Power Query...所以，我们可以看到，在数据整理方面，chatGPT的能力明显比接受规范的数据提供DAX公式方面要弱得多，对Power Query相关问题的响应也要弱得多。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
