不说让心情不愉快的，现在说说PostgreSQL 数据库界的新宠，通过某些手段来发现数据库中可能存在的问题的方法 通过 pg_stat_activity 来获知系统的运行情况 ?...通过上面的语句我们可以发现当前数据库中的连接情况，例如有多少个活跃的连接，有多少闲置的连接. 查看当前的transaction 中执行的时间长度, 可以发现执行时间较长的事务并查看相关的情况 ?...另外POSTGRESQL 也有类似MYSQL的 slow log的设置， ? 通过修改此参数，可以将慢过设定时间的语句，记录在日志中，便于后期的分析。...当然DBA 感兴趣的问题例如是否缺少INDEX 也是可以寻找的,通过下面的脚本 ? 寻找数据库中没有使用过的索引 ? 发现有重复建立的索引列表 ?...这里我们可以通过 pg_stat_user_tables 表中的 n_live_tup 和 n_dead_tup来对某张表的膨胀率进行分析，并且采取后续的手段予以修复
iScience杂志发表文章Uncertainty quantification: Can we trust artificial intelligence in drug discovery，总结了AI药物发现中不确定性量化问题的最新研究方法以及代表性应用...在实践中，用户应首先选择或定义一种方法来测量测试样本与训练样本之间的距离，然后将该距离视为预测的估计不确定性。其中一些方法已被广泛用于定义QSAR模型的AD。...对于第二个子问题，一些研究试图人为地将模拟噪声（通常从具有不同方差的正态分布中采样）添加到数据集的标签中，以研究建模数据的标签不确定性与模型性能之间的相关性。...提高模型准确性和稳健性 到目前为止，我们引入的大多数策略都将UQ视为模型建立工作流程中的独立模块。一个重要原因是，我们希望在模型准确性和可解释性之间做出权衡。...对于回归问题，经过良好校准的不确定性可以被视为误差的方差，因此有一种直观的方法可以将预测和不确定性组合成信息更丰富的格式，例如置信区间。但是，对于分类问题，将这两个部分集成在一起并不容易。
在本文中，我们使用xlsx文件。xlsx是Microsoft Excel使用的开放XML电子表格文件格式的文件扩展名。这也是工作中用得最多的一种文件之一。...const ExcelJS = require('exceljs');const wb = new ExcelJS.Workbook();有个这个对象后，接下来的任何操作都是在这个工作簿对象上处理的。...读取我们从现有的 xlsx 文件中读取。我们假设前两列中有一些数据。...：c1.eachCell(c => { console.log(c.value);});写入这里我们写入一个全新的xlsx文件。...ExcelJS还支持读写CSV文件。 更多内容，请查阅下方链接。 ExcelJS地址 https://github.com/exceljs/exceljs
workbook.modified = new Date(); workbook.lastPrinted = new Date(2016, 9, 27); 3.添加工作表 Worksheet：就是Excel表中的...worksheet.addRows(data); 4.导出表格XLSX文件 workbook.xlsx.writeFile(filename); 结果发现报错了？...这就是我们使用file-saver的原因啦，workbook.xlsx.writeFile(filename)是在node端用的, 所以你应该这样使用: workbook.xlsx.writeBuffer...如果你有好用的Excle相关的库也可以在评论区讨论~ 写在最后 欢迎加入前端实验室读者交流群，群里有不少技术大神，不定时会分享一些技术要点，更有一些资源收藏爱好者会分享一些优质的学习资料。...如果该文章对你有帮助，那么就点击右下角的 [点赞]「在看」，给一个小小的鼓励吧~
，指定了一个文件路径，是因为得有同一个写入数据的端 当我们在作为接口响应的时候，就没必要指定文件了 因为 HTTP 响应对象（也就是上面代码中的 res）是一个可写流 我们通过exceljs 可以直接拿到...更多api 用法请看 https://github.com/exceljs/exceljs/blob/master/README_zh.md 数据分批处理 在我们实际的运行情况中，发现虽然用了文件流，...如果你使用 koa 去处理接口的话，需要锁住 async 这个包版本为 3.2.0 问题是因为 之后的版本 使用了 微任务 替代了 宏任务，会导致 exceljs 生成的文件流 提前中断 更具体是因为我们使用的...，自动升级到最新版本 看下会出问题的示例代码 const ExcelJS = require('exceljs'); const app = new koa(); const myRouter = new...新建流的时候，它内部使用了 archiver， 而 archiver 会使用 async 新建一些 异步任务 在 async v3.2.1 中，优先使用了 queueMicrotask ctx.body
我们的项目中需要导出 Excel 的需求还是挺多的，找了一个处理导出 Excel 的库 ExcelJS ，npm包。...excel 中的列宽 多级表头（行合并、列合并） 一个 sheet 中放多张表，并实现每张表的列宽不同 ExcelJS ExcelJS 周下载量 430k+，github star 9k+，有中文文档...） // 如果定义了列属性，则会相应地对其进行切割或移动 // 已知问题：如果拼接导致任何合并的单元格移动，结果可能是不可预测的 worksheet.spliceColumns(3,2); // 删除一列...后续对表格的所有操作，都是对 worksheet 的操作。 设置表格的默认行高。这步非必要，但是设置了更美观。否则会出现有内容的行跟没有内容的行行高不一致的情况。 设置列数据（表头）和每行的数据。...中，header 字段表示显示的表头内容，key 是用于匹配数据的 key，width 是列宽。
还有一些其他的第三方样式拓展库，质量参差不齐。 使用成本和后期的维护成本很高，不得不放弃。...中，header 字段表示显示的表头内容，key 是用于匹配数据的 key，width 是列宽。...一块内容占用了多个单元格，要进行一行中多个列的列合并，如成绩和老师评语列。 行合并。表头其实是占了两行，除了成绩外，其他的列都应该把两行合并为一行。 行和列同时合并。...： 上一节简单表格中我们用 worksheet.columns = generateHeaders(columns)设置每一个表头列所要显示的信息和应该匹配的 key，但是它无法设置多级表头，所以需要换一种思路...一个 sheet 中放多张表 在导出多级表头表格的时候，我们写表头和数据行都是用的worksheet.addRow方法，而没有用 worksheet.column设置表格的表头，这样更加灵活，每一列想显示什么内容完全自己控制
Demo地址[1] 实现方案 前端开发博客 找了网上的实现方案，效果看起来不错，放在下面的表格里，里面有一些是可以直接通过npm在vue中引入使用。...excel实现前端预览 代码实现 下载exceljs、handsontable的库 通过exceljs读取到文件的数据 通过workbook.getWorksheet方法获取到每一个工作表的数据，将数据处理成一个二维数组的数据...引入@handsontable/vue的组件HotTable 通过settings属性，将一些配置参数和二维数组数据传入组件，渲染成excel样式，实现预览 // 加载excel的数据 （new ExcelJS.Workbook...实现效果 image.png 总结 主要介绍了word、excel、pdf文件实现预览的方式，前端实现预览最好的效果还是PDF，不会出现一些文字错乱和乱码的问题，所以一般好的方案就是后端配合将不同格式的文件转换成...pdf，再由前端实现预览效果，将会保留文件的一些样式的效果，对于图片、txt文件的实现，感兴趣的可以看下代码。
HTTP 文件下载 讲具体问题之前需要先了解一些 HTTP 基础，下面简单介绍一下用 Node.js&Koa 怎么实现文件下载。...动态表格 在了解完上述关于文件下载实现的基础后，我们来看一个实际问题：根据请求参数条件读取数据库的某张表的全部记录并导出为表格。...1w 条分组，分批次处理，有很多优秀的开源库以供使用比如 async。...${x.f_user_id}`) } }) 流处理 在上面的 xlsx.js 文件中，是先输出一个文件再使用 fs.createReadStream 流输出 exceljs 库提供了 API 来实现流写...总结 文件导出是最常见的需求之一，把功能实现好是专业素质最好的体现。 此文篇幅有限，原理性的细节如 Exceljs 的依赖里对 xlsx 规范的 zip 流处理等等大家可以自行去了解一番。
实现方案 找了网上的实现方案，效果看起来不错，放在下面的表格里，里面有一些是可以直接通过npm在vue中引入使用。...、handsontable的库 通过exceljs读取到文件的数据 通过workbook.getWorksheet方法获取到每一个工作表的数据，将数据处理成一个二维数组的数据 引入@handsontable.../vue的组件HotTable 通过settings属性，将一些配置参数和二维数组数据传入组件，渲染成excel样式，实现预览 // 加载excel的数据 （new ExcelJS.Workbook()...主要是通过jszip库，加载blob文件流，再经过一些列处理处理转换实现预览效果 实现效果 总结 主要介绍了word、excel、pdf文件实现预览的方式，前端实现预览最好的效果还是PDF，不会出现一些文字错乱和乱码的问题...，所以一般好的方案就是后端配合将不同格式的文件转换成pdf，再由前端实现预览效果，将会保留文件的一些样式的效果，对于图片、txt文件的实现，感兴趣的可以看下代码。
01 — 序言 我几个月前写过一篇文章： 在前端轻量化的导出表格数据 ，这篇文章的主要内容是将前端已经获取到的表格数据加工成 CSV 格式以导出到用户本地，但是对于一个做了分页处理的后台管理系统而言，...前端并不是一次性的拿到所有数据，而这时如果用户需要粗暴的一次性导出所有表格数据（ 包括没有加载到前端的数据 ）呢，我们肯定是直接在后台操作比较好。...如果你看过上一篇文章，也许你会问：我们能否在后台依然将数据导出为 CSV 格式的文件呢？ 答案是：当然可以。...03 — exceljs 相比于上面的 js-xlsx ，我更喜欢也推荐大家使用 exceljs 这个库。...测试数据： 后台操作： 同样重点关注红色圈中的内容，你可以看到我能够很方便的设置行或列的宽高、及其是否隐藏等属性，并且操作数据也很自然，最后显示的效果： 除此之外，exceljs 对于某行、某列、某个具体的单元格都可以很灵活的设置其样式
简介 这是我在数值模拟时，经常存在的问题。 如果输出了非常多的表格（例如，Rmse，Rb，Cp等），我应该怎么把这么多表进行导出？ 最傻的方法：一个个导出呗，导到不同的excel表格中。...但是问题来了，我要模拟10组参数，每个参数有5个表格，这样做的话会产生50个表格！这多让人头大。...结果展示 其他方法 前面的方法是我用的比较多的，为了看问题更加全面我还特地搜了一下，看看有没有其他方法。在stackoverflow[1]中发现还有以下几种方法可供选择。...，有兴趣的朋友可以试试。...可探索 在模拟试验的时候如果代码太乱，可以查阅：R问题｜代码太乱了，谁帮我整理下？
导出的 excel 效果如下图，列宽会根据传入的 width 动态计算，单元格高度会根据内容自动撑开。...点击【导出zip】按钮，解压后打开下载的其中一个 excel，验证显示的内容跟在线表格完全一致。 那么是如何做到的呢？...由于我们要自己控制每个单元格显示的内容，所以采用第二种方式，传入一个二维数组来构造 row。...由于我们采用了递归来取最后渲染的值，所以无论嵌套了多少层标签，都可以正确的取到值。...多级目录是通过文件名 folderName实现的。 folderName为空字符串，则将它的 files放入压缩包的顶级目录中，不在任何子文件内。
查看/检查数据 head（）：显示DataFrame中的前n条记录。我经常把一个数据档案的最上面的记录打印在我的jupyter notebook上，这样当我忘记里面的内容时，我可以回头查阅。...选择 在训练机器学习模型时，我们需要将列中的值放入X和y变量中。...有几个有用的函数用于检测、删除和替换panda DataFrame中的空值。...注意:使用len的时候需要假设数据中没有NaN值。 description()用于查看一些基本的统计细节，如数据名称或一系列数值的百分比、平均值、标准值等。...总结 我希望这张小抄能成为你的参考指南。当我发现更多有用的Pandas函数时，我将尝试不断地对其进行更新。
如果只想读取csv文件中部分数据也是可以的 data = pd.read_csv("文件名", usecols=['列名1', '列名2']) 当然在读取过程中可以添加一些参数来达到对数据进行处理比如...如果是Excel的其他格式xls、xlsx等，可以使用 data = pd.read_excel('filename.xlsx') 当然也可以将文件另存为csv格式读取（有时候直接读xls会报错）。...一般我们没有表头，即header=None时，这个用来添加列名就很有用啦！ 6.index_col: 指定哪一列数据作为行索引，可以是一列，也可以多列。...，然后将每一行的数据作为一个元素存到设定好的list中，所以最终得到的是一个list。...#关闭文件 好了，以上就是python中读取数据的一些常用方法，在遇到的时候肯定是首先选择pandas，读出来的就是dataframe十分方便数据切片、筛选、合并等操作。
大家好，最近一直有读者在后台留言说早起能不能写一下怎么获取国外的疫情数据、美国疫情数据怎么爬之类的。为了满足各位，今天就说一下如何爬取美国疫情数据。...就是从soup中找标签为'strong'，class为"jsx-1831266853"的内容? ? 返回了一个list，我们要的数据都在里面，拿总确诊人数来说，怎么取出来?...，回到浏览器页面中，F12定位到各个州的位置，戳一下看看数据存储在哪些标签中，看不懂的话回去看上一张图，结果我们发现好多div啊，点开一个就是一行数据，再观察观察发现每一行的数据都被一个属性是class...可以看到，我们刚刚取出了57个div标签，一个div标签里面有5个span，而前4个span中分别存储了州名、确诊、死亡、致死率，所以我们的思路就对每一个div取出这4个span中的内容，先取第一行?...如果需要这个页面中更多的数据完全可以重复上述步骤，并且这个网站实时更新数据，如果定时执行就能获得时间序列数据，这些就不再多说了。拿到数据之后就能做一些分析可视化? ?
目标： 首先我们本次爬虫的任务是完成某采购网站的信息爬取，省去人工耗费的时间。快速筛选出我们的需要的指定信息。然后将招标信息的标题、链接、和时间找出来，并保存到Excel。...通过简单的点击查看等操作，我们发现这个网站是一个动态网站，对应的内容都是javascript来动态加载的，普通的requests肯定不能获取到随时变化的内容了。...所以我们选择selenium工具来模仿人的点击操作，获取网页源码，然后 提取出对应的信息了。 ?...，然后异步加载的内容进行加载。...= '': browser.find_element_by_link_text(adder).click() # 这块由于代码自动操作太快，有时出现内容没更新的情况，所以我们等待两秒
大家好，我是前端实验室的大师兄！ 在 web 开发中，管理后台生成 excel 报表并且下载，一个很常用的功能，很多 Javascript 开发者也提供了很多的这方面的工具来实现这一功能。...今天大师兄给大家分享一个小众的Excel文件解析器和生成器：node-xlsx 之前小师妹推荐过ExcelJS。这算是Excel处理的第二趴了。...myFile文件中只有一张表，且表的数据是这样的(这可能是实话...哈哈)。...写在最后 欢迎加入前端实验室读者交流群，群里有不少技术大神，不定时会分享一些技术要点，更有一些资源收藏爱好者会分享一些优质的学习资料。...如果该文章对你有帮助，那么就点击右下角的 [点赞]「在看」，给一个小小的鼓励吧~
第一步：Chrome浏览器打开页面 F12 点击Network，选中XHR（XMLHttpRequest方法发送的请求），刷新页面查看得到的一些AJAX请求是否有我们需要请求， 第二步：选择手机版，重复第一步的动作...，查看是否有没有想要的AJAX请求，以上都没有的情况下，选中doc刷新页面，我们想要的页面一般就在doc中。...知道有NodeJS中间层这个东西，很多公司都是通过NodeJS做中间层进行前后端分离的并解决性能问题，在异步ajax转成同步渲染过程中得到平衡。...三、对于后期的内容精准推送有什么建议 老板肯定都是希望码农做出来的东西是价格低、质量好、速度快、保稳定，下面我来一个个说。 价格低，可以解释为成本低，人员成本。...四、爬虫中遇到的一些坑 字符问题 爬出来的内容是乱码，HTTP Header中Accept-Encoding 是浏览器发给服务器,声明浏览器支持的编码类型的。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
