Power Query-汇总文件夹中多工作簿多工作表到一个文件 我们在常感叹“不懂office Excel的是电子表格，懂的就是Excel”！！ 为什么呢！...如果当excel为电子表格的人，做了一辈子的工作也是重重复复的“复制—粘贴”的工作，因为Excel中有VBA编程的功能，能使用很多重复的工作一个小程序是搞掂，所以就是“Excel”了。...当我们在学习VBA编程汇总多工作簿多工作表到一个文件时，微软在新的Office版本中有开发出个神器Power BI， 这个组件在office2013和office2016是整合在一起的，office2010...今天来体验一下Power Query的强大功能 【问题】：上一次学习VBA的一个例子：下发给下面各单位的表格收集信息资料，上交上来后有很多个文件，文件的内容格式是一样，我想把这些资料汇总在一起， 1.上交文件很多...2.它们的格式是一样的 【解决方法】请出Power Query 第一步：新建Excel文件 数据→新建查询→从文件→从文件夹 第二步：选择文件路径 第三步：编辑 第四步：选中Content
早期可能数据量也不大，随便搞个数据库，然后SQL搞一下，数据报表就出来了。但是数据量大起来怎么分析呢？数据分析完了怎么做传输呢？这么大的数据量怎么做到实时呢？...这个时候，做离线的数据分析简单写脚本就行了，不用再搞java代码，然后上传执行了。 6、数据产生的结果，怎么搞到线上提供服务的数据库中呢？...这个时候分析的结果有了，可能是一个很宽很长的excel表格，需要导入到线上的数据库中，可能你想到了，如果我的数据库是mysql，我直接执行load 命令就搞进去了，哪有那么麻烦。...目前我接触过的，方案是这样的，业务数据在写入数据库的时候，这里的数据库mysql，在数据库的机器上安装一个程序，类似JMS的系统，用于监听binlog的变更，收到日志信息，将日志信息转换为具体的数据，然后以消息的形式发送出来...其实目前大家的思维定势，往往第一个选择就是oracle或者mysql，其实完全可以根据场景来进行选择，mysql和oracle是传统的关系型数据库，目前nosql类的数据库也很多，例如HBase就是其中一个重要的代表
早期可能数 据量也不大，随便搞个数据库，然后SQL搞一下，数据报表就出来了。但是数据量大起来怎么分析呢？数据分析完了怎么做传输呢？这么大的数据量怎么做到实时 呢？...，中间涉及到一个步骤，就是在 线的业务数据，需要每天晚上导入到离线的系统中，之后才可以进行分析。...这个时候分析的结果有了，可能是一个很宽很长的excel表格，需要导入到线上的数据库中，可能你想到了，如果我的数据库是mysql，我直接执行 load 命令就搞进去了，哪有那么麻烦。...目前我接触过的，方案是这样的，业务数据在写入数据库的时候，这里的数据库mysql，在数据库的机器上安装一个程 序，类似JMS的系统，用于监听binlog的变更，收到日志信息，将日志信息转换为具体的数据，...其实目前大家的思维定势，往往第一个选择就是oracle或者mysql，其实完全可以根据场景来进行选择，mysql和oracle是传统的 关系型数据库，目前nosql类的数据库也很多，例如HBase就是其中一个重要的代表
应用场景 当我想把自己所有平台账号的基本信息，汇总到一个表格里。如下图所示，一行代码完成合并。 append（已经被淘汰了！！） 这个方法很多文章都在介绍。...下次再看到有介绍pandas用append方法进行合并的文章，你知道该怎么做了吧？ 2、merge merge合并稍微复杂一点。...我们举个简单的例子： 在同一行里，罗列出我所有平台的关注数，如下图所示。 merge更关心列之间的合并。 3、join 如上文所述，join是对数据的精细化操作。...例如我有的文件有2行，有的文件有1行，但是他们的格式是一样的，我想对它们进行横向的拼接。有些文件没有第2行的情况下，自动填充空白，方便我的后续操作。如下图所示 join更关心行之间的合并。...例子 我想看一下哪天的微博浏览量最少，于是在合并的同时，进行了大小比较的计算。如下图所示combine在合并的同时，对数据列进行了比较、计算。
怎么做呢？ 很简单，上图！ 在你编辑好一个表后，另存为含有密码的Excel表就好啦！ ? PS：不要为我怎么弹出这个对话框！我是不会告诉你的！ ? 在这里可以设置打开密码和修改权限密码！...选中要隐藏的表-右键-选中隐藏 第二步：保护工作簿 如果只做了第一步呢，很多对Excel很熟的朋友直接取消隐藏，就可以把你的明细表调用出来了，这样很不安全，所以还需要上一把锁！ ? ?...我发现有敏感字的人还是很悲剧的~ Excel表有些时候也不太想让别人知道数据是怎么运算出来的，只想体现结果！ 怎么搞！ ? ? 首先！我要说明，这个电话是假的！！！！...如果这个号码外泄，我感觉电话会被打爆的，所以我需要隐藏电话号码的部分信息，变成什么样子呢？ ? 常见的是右面的这种！用*替换部分字段！ ? 怎么实现呢？方法很多，最简单的就是用文本截取再合并。...到这里有个问题了，如果我只放改造后的文本，将来怎么查原始的信息呢？重新设置一个表比较麻烦，那我就想把原始的电话放到另外一个Sheet作为存档备份吧！ 第一步：将原始数据放到另外一个表，并隐藏 ? ?
应用场景 当我想把自己所有平台账号的基本信息，汇总到一个表格里。如下图所示，一行代码完成合并。 图片 append（已经被淘汰了！！） 这个方法很多文章都在介绍。...下次再看到有介绍pandas用append方法进行合并的文章，你知道该怎么做了吧？ 2、merge merge合并稍微复杂一点。...我们举个简单的例子： 在同一行里，罗列出我所有平台的关注数，如下图所示。 merge更关心列之间的合并。 图片 3、join 如上文所述，join是对数据的精细化操作。...例如我有的文件有2行，有的文件有1行，但是他们的格式是一样的，我想对它们进行横向的拼接。有些文件没有第2行的情况下，自动填充空白，方便我的后续操作。如下图所示 join更关心行之间的合并。...例子 我想看一下哪天的微博浏览量最少，于是在合并的同时，进行了大小比较的计算。如下图所示combine在合并的同时，对数据列进行了比较、计算。
但如果想把结果最展示在文章中（箭头所指），还需要一些绘图的操作。今天，我们就重点来讲解 如何将DAVID中的功能富集的结果转换成正式的Figure。 ?...我也问过很多人，喜欢哪种图片来展示功能富集的结果，曾经有人跟我说，特别喜欢那种大大小小的彩点图…… ?...我想了一下，觉得这位耿直的同学说的应该是高级气泡图，想必有不少人见过气泡图，却不知道应该怎么做，连现成的工具也找不到。...下面是实战演示，依旧是分步讲解： 1 Step1：保存数据。将DAVID的结果保存到我们的本地电脑当中，保存文件我推荐用文本文件，即txt文件。原因是用各种编程语言和软件处理起来比较方便。怎么保存呢？...得到转换好的数据之后，我们就开始作图啦！一般情况下，GO/KEGG富集出来的结果常规显示top10或top15的数据，因此我们这里选择前10行展现出来。怎么做呢？
背景在我前年找实习的时候，遇到了面试官问我：mysql从excel导出百万级数据，该怎么做？我听到的第一反应是：我*，我哪去接触百万级的数据，你们导出的数据是什么？我还是一个才找实习工作的大学生啊。...shigen也在这里实测了，在此先感谢蜗牛，为我提供了高质量的代码参考和分析案例。分析百万级数据导出Excel循环导出新手和没做过这方面的程序员们别不好意思，我知道你们怎么想的。...图片循环导出为什么还要提到这个呢，在批量查询导出中不是不建议循环，然后读取写入数据吗？是的，shigen确实是这样讲的。但是，如果你有以下的两种情况，也许这种方式是你的首选，也是最优解。...以下是shigen的分析：从excel导入100万数据到mysql首先是easyExcel分批读取Excel中的100w数据 EasyExcelGeneralDataListener按照sheet页一行行的数据读取其次就是往...DB里插入，怎么去插入这20w条数据，批量插入 同样也不能使用Mybatis的批量插入，会读取数据到内存中，事务整体提交使用JDBC+事务的批量操作将数据插入到数据库（分批读取+JDBC分批插入+手动事务控制
表头 head，以及每个单元格内的数据顺序都没指定，能达到想要的效果么？别急，后面会讨论这块！ ②：创建需要写入的数据集，当然了，正常业务中，这块都是从数据库中查询出来的。...六、特殊场景支持 在实际的业务中，我们还会有一些特需的需求，比如说下面这些。...，实际业务中可能会存在动态变化的需求，要怎么做呢？...sheet 后自定义业务逻辑处理； row(): 在创建每个 row 后自定义业务逻辑处理； cell(): 在创建每个 cell 后自定义业务逻辑处理； 我们实现了该接口后，编写自定义逻辑处理代码，...，需分片 比如说，我们需要从数据库中查询出数据量较大时，我们需要在业务层做分片处理，也就是，我们需要分多次查询，再写入，防止内存溢出 OOM. 8.2 Excel 最大行数问题 Excel 03, 07
我是腾讯云数据库的林晓斌，在社区活动的时候网名叫丁奇，跟比较多的同学互相认识，今天跟大家就是找个机会聊一下数据库的基础，还有腾讯自研数据库的技术演进，我相信来听的同学应该都是对数据库都比较熟悉，前面的内容会比较快地过...，主要还是讲我对数据库典型架构的一些理解，当然我知道MySQL的分享有很多，所以今天的大部分内容可能很多人都比较熟了，但是如果有一两个点，你觉得好像是个新东西，我觉得我们就成功了。...A1：我觉得只是微盟这次运气不好，碰到这个事情比较严重。说回我们在腾讯运营的服务过程中，经常碰到这种客户，需要回滚，恢复误删的数据。...Q2：TBase是基于PG演进出来的HTAP数据库，为什么不考虑在TDSQL中加入OLAP的能力呢？...举个例子，你执行一个select1，当然返回的就是1对不对，你先给自己一个需求，比如我现在想给它写一个bug，这时候返回2，那我该怎么做，可以试试。
cell，应该怎么做呢？...图8-6 excel数据 我这里有一个excel，里面有一些数据，我想把他读取到matlab里面，应该怎么做？...图8-8 xlread2 8.4 xlswrite 有从excel中读取数据的办法，就有从matlab中写入数据的办法，xlswrite函数的作用就是写入excel，我们以一个例子来讲，下面我们要做的是把刚刚从...excel中读入进来的数据，算他们每个人的平均数，然后再写入他们每个人的成绩的后一列。...，我想把它保存到一个文本文档里，应该如何操作 ?
当你面对姓名电话拆分电话的时候，你会怎么做？ 是Right函数？ 还是智能填充？ 抑或这样？ 或者这样？ 当你想要把人员信息按照部门进行拆分成不同表的时候！ 你是想这样？...当你想把很多表合并在一起的时候，是否想这样？ 你是否想做成这样的图？ 亦或这样的图？ 还是想拥有这样的神操作！ 如果想不加班！不求人！欢迎加入阿凯的Excel系列微课！ 报名你会得到什么？...送阿凯老师自己编辑的不收费、无广告的Excel实用插件！ 有阿凯老师亲手打造的Excel QQ群交流平台，不怕工作遇难题！ 有阿凯老师根据课程大纲自行录制的全屏幕高清视频，不怕看不清GIF图！...你呢？ 一直没怎么做过广告，虽然我想安安静静的写写文章的，请不要骂我~~
有时候我真想把我缓存中的数据删除，让高并发的访问都压到他那里去， 累死他！ 可一想到自己的职业道德，尤其是张大胖那可怜样，还是忍了吧。 黑客攻击？...MySQL 刚开始非常高兴，满心欢喜地去执行，可是他很快就发现事情不对， 执行完这些 SQL，在数据库中也查不到数据。他不满地对 Tomcat 说：“兄弟，你这是在折腾我吗？...张大胖赶紧介入，经过一番调查，他发现很多请求故意去查询那些一定不存在的数据，缓存中肯定没有，于是请求一定会发到 MySQL 去执行，在流量大时，MySQL 就挂掉了。...我这个缓存的容量是有限的，不可能无限制地增加，所以张大胖添加到缓存的数据有一个有效期，过了有效期，我就会把他删除，腾出空间，让别的数据使用。...Tomcat 觉得很有道理，可是现在系统中有多个 Tomcat，每个都是平等的，怎么去选出那个唯一的线程呢？
当然很多数据库都提供了自带的客户端，比如mysql的客户端是这样的： 用过的人基本都会吐槽，太low了，极其不好用。...导入导出数据就更不方便了。 有没有一款好用的工具，让我们能更高效的操作数据呢？ 这就是今天我要推荐给大家的数据库神器：Navicat Premium。...我们想要过滤出这部分我们关心的实例，该怎么做呢？如果每次都从上百个实例中找一个，会不会有点太浪费时间了？...4.1 数据库的创建和修改 创建和修改实例时，只需要输入以下三个字段： 4.2 mysql客户端 在右键单击某个数据库实例，出现的弹窗中如果选择Console，能调出mysql客户端： 4.3 执行外部脚本...我们以excel文件为例，假设现在接到需求，有这样的数据需要导入数据库： 可以新加一张表字段跟其对应： 然后选择刚刚的excel文件上传： 当然还需要选择该excel文件中的sheet，对应具体上传到哪张表
Kettle这个ETL工具集，它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做。...2. install 准备好jdk8和mysql5.7的环境（没有的小伙伴有需要可以浏览我的其它blog有相关教程） 点击下方链接下载所需资源 pdi-ce-7.1.0.0-12.zip mysql-connector-java...配置“表输入”步骤的参数，可以使 得这个步骤从指定的数据库中读取指定关系表的数据；配置“Microsoft Excel 输出” 步骤的参数，可以使得这个步骤向指定的路径创建一个 Excel表格，并写入数据...➢配置数据库连接后，“表输入”弹框中会显示新建的数据库连接 ➢在“表输入”弹框中，点击“获取SQL语句”按钮，将弹出“数据库浏览器” ➢选择之前创建好的student表,选择“student”表后，...在弹出的配置 对话框中，点击选定“文件& 工作表”进行配置 ➢在“Microsoft Excel 输出”步骤 的配置对话框中，点击选定“内容” 进行配置。
现在市场上有很多图形化的数据库，没有什么可讲的，读者如果愿意，自行下载研究即可，本文章讲的全是在DOS环境下的一系列操作 ---- 二、MySQL基础知识 MySQL经常和“数据库”连在一起读，这很容易对新手造成误解...，认为MySQL就是一个数据库，其实不是这样，MySQL是数据库的集合，MySQL里面有很多数据库，那么数据是直接存在数据库里的吗？...if not exists XX(数据库名); 这段代码的好处是显而易见的，在我们这里可能体现不出来，但如果是做项目的时候或者在企业中，数据库非常非常多，你用肉眼看都要看花了，到底哪些数据库已经存在了...，报错了，那如果有的人说我就想创建一个名为”create”的数据库，怎么办呢？...字段n名 数据类型 ); 在讲解代码之前，请读者先想想，如果要你用Excel做一份班级成绩表，你会怎么做？肯定先有个标题吧，比方说“16级软件一班期末成绩表”，这里的标题就相当于我们的表名。
很多人可能在学习Laravel框架的时候，对Laravel的数据库迁移（以下简称Migrations）存在着疑惑： 1. 什么是 Migrations？ 2....举个例子来说，假设我们已经设计并创建好了数据库，数据已经填充进数据库了，现在我们发现需要在其中一张表里增加一个名为name的栏目（column），需要在另一张表中将author栏目的名字改为user，那么我现在进入数据库里...现在，我们要在samples表里增加一个名为name的VARCHAR类型的栏目，该怎么做呢？...现在问题来了，我们突然想在samples表里，添加一个名为url的栏目，该怎么做呢？我们分情况讨论。 1. 我们处于本地开发阶段，数据使用种子（Seed）文件进行填充。...我们在samples表中插入了新的url栏目，那么现在如果我们想把name这个栏目长度限制从100修改为50，该怎么做呢？
我在研究所的工作是一个充满挫败感的过程——因为工作在令人兴奋的超大的实验室中，很多人从世界各地来到这里，他们的电脑各不相同，数据格式各不相同，文件系统各不相同。这其中有很大的差异性。...来自柏林自由大学的克里斯拜泽，注意到维基百科里面有很多有趣的文档。在这些文档中，有些小方格子和小盒子，里面包含的就是数据。...那些致力于解决这些问题的科学家，他们脑海中有些还不成熟的想法，他们试图在网络上与他人交流，但是现状是人类的很多知识，都被关在私人的数据库里，没有公开出来。...他们在一个数据库中建立了基因图组，在另一个数据库中建立蛋白质数据。 image.png 现在将基因图组和蛋白质数据形成了关联数据。...但是，当去到另一个关联数据网站，假设是一个旅游网站，你说“我想把这张照片发给我在另外一个SNS网站的朋友”，但你却无法翻过这些墙。
也就是说，主要的操作界面是Excel，在Excel中调用或访问其他系统。例如，很多年前我做过一个基于Excel的报表系统。该系统分别使用Delphi和Excel实现。...这也有点像数学中的“等价替换”。 可能这个微软的例子离我们太远，下面举一个我自己的关于Excel例子，很多年前，我还在国内某大型软件公司作高级程序员。...等），UnityMarvel内置了一种虚拟数据库，可以直接用虚拟数据库开发，在发布时，会要求选择使用的数据库，例如，选择MySQL或SQL Server。...不需要进行数据库选型，数据库是在发布时后期绑定的； 2. 如果想切换数据库（例如，从MySQL换成Oracle），只需要重新发布，选择相应的数据库就可以了，不需要修改一行代码； 3....自动检测和去除大多数SQL中的潜在风险，如SQL注入等； 6. 脱离数据库环境开发。例如，想使用MySQL数据库开发，但当前机器上并没有MySQL开发环境，又不想安装MySQL。
大名鼎鼎EXCEL江湖上谁人不知，谁人不晓呀，纵使你没见过EXCEL，也见过数据在跑吧？...2.特殊选择 当你需要选择很多不连续的空白单元格，你想把这些全部选中，非常耐心的按住CTRL一个个点完，不小心最后一个多点了一个，MLGBD，气吐血。...建议点击【开始】选项卡，然后在【编辑】组中，找到一个橡皮擦图标，点 击右边有个下拉列表，找到【清除格式】，如果认为这样三步操作有点麻烦，可以找到【清除格式】图标，然后右击，【添加到快速访问工具栏】，以后在...我勒个去，够忙活一阵子了。自从有了删除重复项这个功能，删除只在一瞬间。【数据】，选择【删除重复项】，手起刀落，立马见效。...如果你以上十项全中，那么别灰心，关注我，就可以从我发 布的信息中了解到有关OFFICE的许多内容！如果你以上十项全能，那么恭禧你，你已经达到了EXCEL中级水平，请一笑而过。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
