一、需求 我们会遇到开发任务: 经理:小王,你来做一下把数据库里的数据导出到Excel中,一个表是一个sheet,不要一个表一个Excel. 小王:好的,经理..../** * 利用jdbc来把要导出的数据表查询出来 * @return */ public static Map<String,List<Map<String, Object...第五步处理结果还可以引入Dbutils工具包来解析结果 QueryRunner queryRunner = new QueryRunner(); //存放查询出来的数据...,key为表名,value为查询出来的表字段和对应的值 Map>> mapMap = new HashMap()...Excel /** * 把准备好的数据库表数据导出到本地Excel中 */ public boolean exportExcel() { //拿到数据库表的所有信息
前言 现在想把数据库这块整理出来，尽量用最简洁的语言描述出来，供新人参考。 首先创建一个表 account。...创建表的过程略过（由于 InnoDB 存储引擎支持事务，所以将表的存储引擎设置为 InnoDB）。...三. repeatable read（可重读）---MySQL 默认的隔离级别 现在有个需求，就是老板说在同一个事务中查询结果必须保持一致，如果你是数据库，你会怎么做？数据库是这么做的。...竟然插不进去，说我数据重复？ 用户 B 当然不服啊，因为查询到数据只有两条啊，为什么插入 id=3 说我数据重复了呢？ 我再看一遍，莫非我眼花了？...管他呢，老板的要求满足了。要一个事务中读取的数据一致（可重复读）。我只能这么做啊，打肿脸装胖子。数据已经发生改变，但是我还是要保持一致。
现在想把这块整理出来，尽量用最简洁的语言描述出来，供新人参考。 首先创建一个表 account。创建表的过程略过（由于 InnoDB 存储引擎支持事务，所以将表的存储引擎设置为 InnoDB）。...三. repeatable read（可重读）---MySQL 默认的隔离级别 现在有个需求，就是老板说在同一个事务中查询结果必须保持一致，如果你是数据库，你会怎么做？数据库是这么做的。...回到 B 用户所在的会话，我们查询结果： ? 用户 B 在他所在的会话中想插入一条新数据 id=3，value=1000。来我们操作下： ? 什么？竟然插不进去，说我数据重复？...用户 B 当然不服啊，因为查询到数据只有两条啊，为什么插入 id=3 说我数据重复了呢？ 我再看一遍，莫非我眼花了？ ? 试想一下，在实际中用户 A 和用户 B 肯定是相互隔离的，彼此不知道操作什么。...管他呢，老板的要求满足了。要一个事务中读取的数据一致（可重复读）。我只能这么做啊，打肿脸装胖子。数据已经发生改变，但是我还是要保持一致。
刚刚接触node，估计会有现成的orm吧，不知道他们是怎么做的，先不管他们了，先把自己的思路弄清楚再说，恩恩。 为啥要选择node呢？以为他原生支持json。...我不想把主键字段名限制为必须是“ID” "_sqlCache": "" ,//缓存的sql语句，每次都拼接sql也挺烦的，弄个缓存存放拼接好的sql。...我不想把主键字段名限制为必须是“ID” "foreignKey": "foreignKeyid", //主键字段名。...我不想把主键字段名限制为必须是“ID” "_sqlCache": "", //缓存的sql语句，每次都拼接sql也挺烦的，弄个缓存存放拼接好的sql。...一个update就可以了，不用读取数据的，这样效率就有点损耗。 那么如果要把一个分类的商品都下架呢？要把这个分类里的商品都折腾出来，然后批量改属性值，在批量持久化。 如果写SQL语句呢？
如果我们有表A和表B, 我想把我的表A的Col1内的数据更新到表B的Col1里面，那么我们怎么做呢？...scores s, people p SET scores.name = people.name WHERE s.personId = p.id 高阶使用 当我们从一个上传的表...，与多个表合并查询后，再更新，就会花费很多时间。...那么，有没有办法一次性，将上传的表与需要的数据合并后再根据条件更新呢？
如果你的感受业务都达到了这种维度，那这个时候，我就建议不要再去继续折腾分库分表了，我们用NoSql数据库去缓解我们现有系统的性能瓶颈，并不是直接替换哈。这种情况下我们应该怎么做呢？...那NoSql发展到现在都有哪有比较成熟的且常用的类型呢，下面我来简单列举下我们日常开发中接触比较多的NoSql： Redis ：基于KV存储结构，由于是使用内存存储，所以读写性能都极高，也是高于现在的关系型数据库的...在写入数据的时候，首先写入到一个叫MemTable的内存结构中，其中MemTable中数据是按照写入的key来排序的。...05 引用NoSql提供存储服务 现在有这么一个场景，我在电商网站需要根据某一商品的其中特点去查询出，比如，现在我现在要搜一个华为手机，然后想买我合适尺寸的。...，这些config中都有 Router Server 不存储数据，是一个路由，通过他路由到合适的Shard Server。
你说读的时候读从库，现在假设有一张表User做了读写分离，然后有个线程在一个事务范围内对User表先做了写的处理，然后又做了读的处理，这时候数据还没同步到从库，怎么保证读的时候能读到最新的数据呢？...监控到怎么处理？什么时候需要人工接入。分库分表 聚合查询 limit怎么实现 top的实现 不停机扩容？分表避免冷热？不停机扩库？不停机扩表？跨库事务？ 分库分表为什么这么设计？数据增长怎么做？...聚合怎么做？跨库聚合怎么做，查询怎么做？跨库分页怎么做？ mysql 线上的组群模式？一主多从？为什么这样？强一致性如何保证？为了解决读写分离吗？是为了一主多备吗？主库crash掉怎么办？从库呢？...，怎么实现多表查询 8、亿级数据怎么存储 分库分表如何做的？...垂直切分也分为分库和分表两种措施，垂直分库是根据业务耦合性关联度较低的不同数据存储到不同的数据库中，比如客户信息库、商品信息库……分开存放到不同的库中。
在做sqlzoo的时候，碰到一个SQL的排序问题，他把符合条件的单独几行，可以放在查询结果的开始，或者查询结果的尾部 通过的方法就是IN语句（也可以通过IF语句） 自己做了个测试，如下，这个是表的所有内容...我们可以看到，species为snake的行数，被强行放置到了查询结果开头 这是怎么做到的呢？...这里需要注意： if (species='snake',0,1),species; 这句话的意思是，我对species进行排序的同时，给species附加一个隐藏属性，这个隐藏属性，可以是0或者1 什么意思呢...随后，先进行species隐藏属性的排序，隐藏属性拍完以后，再进行剩余species的排序 也就是说，你可以把这个 if 语句，看成是一个独立的column 那如果我们想把snake的这一行放在查询结果尾部呢...使用ORDER BY配合IN语句 上面一个是满足单个条件，返回0或者1，那如果需要用到一个范围呢？
1、BitMap Bit-map的基本思想就是用一个bit位来标记某个元素对应的Value，而Key即是该元素。由于采用了Bit为单位来存储数据，因此在存储空间方面，可以大大节省。...计算机内存分配的最小单位是字节，也就是8位，那如果要表示{12,13,15}怎么办呢？另外，关注公众号Java技术栈，在后台回复：面试，可以获取我整理的最新 Java 面试题和答案。...这样的话，好像变成一个二维数组了 1个int占32位，那么我们只需要申请一个int数组长度为 int tmp[1+N/32] 即可存储，其中N表示要存储的这些数中的最大值，于是乎： tmp[0]：可以表示...添加 这里有个问题，我们怎么把一个数放进去呢？例如，想把5这个数字放进去，怎么做呢？ 首先，5/32=0，5%32=5，也是说它应该在tmp[0]的第5个位置，那我们把1向左移动5位，然后按位或 ?...清除 以上是添加，那如果要清除该怎么做呢？ 还是上面的例子，假设我们要6移除，该怎么做呢？ ?
（PS：划重点 节省存储空间） 假设有这样一个需求：在20亿个随机整数中找出某个数m是否存在其中，并假设32位操作系统，4G内存 在Java中，int占4字节，1字节=8位（1 byte = 8 bit...计算机内存分配的最小单位是字节，也就是8位，那如果要表示{12,13,15}怎么办呢？另外，关注公众号Java技术栈，在后台回复：面试，可以获取我整理的最新 Java 面试题和答案。...这样的话，好像变成一个二维数组了 1个int占32位，那么我们只需要申请一个int数组长度为 int tmp[1+N/32] 即可存储，其中N表示要存储的这些数中的最大值，于是乎： tmp[0]：可以表示...添加 这里有个问题，我们怎么把一个数放进去呢？例如，想把5这个数字放进去，怎么做呢？ 首先，5/32=0，5%32=5，也是说它应该在tmp[0]的第5个位置，那我们把1向左移动5位，然后按位或 ?...清除 以上是添加，那如果要清除该怎么做呢？ 还是上面的例子，假设我们要6移除，该怎么做呢？ ?
2、对象保存至文件中 例如：hibernate中的二级缓存：把从数据库中查询出的对象，序列化转存到硬盘中，下次读取的时候，首先从内存中找是否有该对象，如果没有在去二级缓存（硬盘）中去查找。...； 另一种情况是web应用程序被重新加载时(其实原理也是重启tomcat)，内存中的session对象也会被钝化到服务器的文件系统中 当系统启动时，会把序列化到硬盘上session重新加载到内存中来...使用 ObjectInputStream 把 d:\user 文件中的数据反序列化成 user2 实，并打印。 ---- 如果考虑安全问题，我们不想把密码序列化进行保存，那么该怎么做呢？...serialVersionUID的作用 User 类中添加一个新属性 email 字段，如下图： ? 然后再执行反序列化 ?...ArrayList 序列化源码分析 我们知道，ArrayList 是通过数组进行存储数据的，当数组中元素达到数组的最大容量时，会自动生成一个更大的数组，并复制到更大的数组中。 ?
对于InnoDB的独立表空间来说，每个表的数据都会被存储到一个与表名同名的.ibd文件中；对于MyISAM存储引擎来说，数据和索引会分别存放到与表同名的.MYD和.MYI文件中。...，就可以到information_schema数据库下的OPTIMIZER_TRACE表中查看完整的优化过程 OPTIMIZER_TRACE有4个列，分别是： QUERY：表示我们的查询语句。...我们看看 InnoDB 是怎么做的呢? InnoDB 存储引擎是基于磁盘存储的，对数据记录的管理是以页为单位的。...它主要是干什么呢? Buffer Pool存储的是页的数据, 在数据库中读取页的操作，首先将从磁盘读取的页存放在缓冲池中。...脏页 对于缓存的页, 修改后还未同步到磁盘中我们称为脏页. 但是我们的 Buffer Pool 那么大, Checkpoint 是怎么同步的呢?
在上一篇文章中，我们学会了使用LitePal进行存储数据的功能。确实，比起直接使用Android原生的API，LitePal明显简单方便了太多。...那么有的朋友可能会问了，也许我想修改的是某一个条件下的所有数据，而不是仅仅修改某个id的数据，那该怎么办呢？...那么如果我们想把news表中所有新闻的标题都改成“今日iPhone6发布”，该怎么写呢？...可以看到，有三条记录被删除了，那我们再到news表中查询一下： ? OK，只剩下一条记录了，id为2的那条记录确实被删除了。那么再到comment表中看一下呢，如下图所示： ? 数据全没了！为什么呢？...因为comment表中的两条数据都是以news表中id为2的数据作为外键的，现在外键不存在了，那么这两条数据自然也没有存在的意义了，因此被删除的记录数一共是3条。这样是不是就好理解了很多呢？
那然后我编辑好了，想退出vim，怎么退出？ 那在插入模式我们一般是不能退出的，那怎么做呢？...我先粘贴个1000行内容 然后，我现在想把光标移动到最后一行，怎么做？...那如果我们想按自己的想法替换成不同的任意字符呢？ 比如我现在想把这一段改成abcdefg...不同的字母，怎么做呢？...比如 我现在把test.c修改成这样，然后我想在创建一个头文件test.h，把show函数的声明和头文件的包含放到test.h里面 怎么做呢？...如果一个新的普通用户无法使用 sudo，有可能是因为该用户还没有被添加到授权列表中，或者没有正确配置 sudo 权限。 在默认的配置下，普通用户是没有权限使用 sudo 命令的。
那么我们在把它们建立为值对象的同时，又需要持久化到数据库。这里就如这个等级折扣。 场景2：一个聚合根的内部引用了一个值对象的集合，那么如果使用的是关系型数据库进行存储，必然需要单独存一个表。 ...因此笔者我认为只要是可独立存在的对象都可以使用Repository来持久化。那么我们的Demo中，既然已经决定将等级和折扣率建立为值对象的话，接下去的持久化要怎么做呢？请看Part Ⅳ。...我们不应该让持久化影响到领域对象的建模。 那么我们该怎么做呢？请看Part Ⅳ。 四、避坑方式 数据库选型上在Nosql出现后，可以很好的避免了这里的持久化问题。...缺点：出现大数据长度的列，页会导致在一个数据页存储的数据量变少，影响数据库表的使用性能。另外无法直接通过SQL来查询值对象的属性，需要自定义做反序列化操作。 ...4.如果不是ORM框架或者本身框架支持，那么可以通过无主键的方式存入到数据表中。 缺点：是无法嵌套模型。
首先创建一个表 account。创建表的过程略过（由于 InnoDB 存储引擎支持事务，所以将表的存储引擎设置为 InnoDB）。表的结构如下： ? 然后往表中插入两条数据，插入后结果如下： ?...三. repeatable read（可重读）---MySQL 默认的隔离级别 现在有个需求，就是老板说在同一个事务中查询结果必须保持一致，如果你是数据库，你会怎么做？数据库是这么做的。...回到 B 用户所在的会话，我们查询结果： ? 用户 B 在他所在的会话中想插入一条新数据 id=3，value=1000。来我们操作下： ? 什么？竟然插不进去，说我数据重复？...用户 B 当然不服啊，因为查询到数据只有两条啊，为什么插入 id=3 说我数据重复了呢？ 我再看一遍，莫非我眼花了？ ? 试想一下，在实际中用户 A 和用户 B 肯定是相互隔离的，彼此不知道操作什么。...管他呢，老板的要求满足了。要一个事务中读取的数据一致（可重复读）。我只能这么做啊，打肿脸装胖子。数据已经发生改变，但是我还是要保持一致。
首先创建一个表 account。创建表的过程略过（由于 InnoDB 存储引擎支持事务，所以将表的存储引擎设置为 InnoDB）。...三. repeatable read（可重读）---MySQL 默认的隔离级别 现在有个需求，就是老板说在同一个事务中查询结果必须保持一致，如果你是数据库，你会怎么做？数据库是这么做的。...回到 B 用户所在的会话，我们查询结果： 用户 B 在他所在的会话中想插入一条新数据 id=3，value=1000。...竟然插不进去，说我数据重复？ 用户 B 当然不服啊，因为查询到数据只有两条啊，为什么插入 id=3 说我数据重复了呢？ 我再看一遍，莫非我眼花了？...管他呢，老板的要求满足了。要一个事务中读取的数据一致（可重复读）。我只能这么做啊，打肿脸装胖子。数据已经发生改变，但是我还是要保持一致。
当然，实际的差异取决于表的大小以及过滤器和存储的实现。有一篇不错的文章 (1) 提供了更多的技术信息，里面有 ppt，性能比较见第 42 张幻灯片。...在现实世界中，需要根据你的业务来决定该怎么做。订单可以按 id 排序（因为它是单调增加的）。购买清单可以按 wishlist 时间排序。...HN 网友 chrismorgan： 有时候，你需要一个游标，这样你就可以从你刚才的地方继续前进，而不用担心新的记录进来扰乱你的分页。...有时你想要基于位置的查询，因为你明确地希望所有的东西都是位置的。 有时你想把这两种技术结合起来，例如，如果你跳到一个大的、不断变化的列表中间，然后想在刚才的位置之后检索下一批结果。...看起来作者提供的分页查询没有考虑到排序，这意味着第 100 页上的项目的 ID 大于 10000，但顺序未定义。
容量预警怎么做呢？ 数据一致性在迁移过程中同步你们是怎么保证的呢？ 我们数据体量不太大，主要是杂，这种环境想做好数据治理，建议把重点放在哪些方面？然后有没有一些比较常见的坑？...mongostat统计信息中最核心的几个影响性能的统计项： dirty：存储引擎脏数据比例，默认该值为5%的时候，wiredtiger存储引擎自带的evict现成开始选择脏数据page淘汰到磁盘；如果该值达到...没太明白 分享的案例2：万亿级数据量mongodb集群性能数倍提升优化实践，不是拆分数据到多个表，而是把一条数据(该数据保护一个数组，数组中包含数百万个子文档)通过hash的方式散列为多条数据。...尽量保证更新和查询到同一个分片(如果同一次更新或者查询到多个分片，只要任何一个分片慢，该操作都会慢；同时部分查询会进一步加剧代理聚合负担)。...此外，如果查询注意是范围查询，建议选择范围分片，这样有利于范围数据集中到同一个分片。 问题十一、大表分片后，写表还是会跨机房吗？
这89名选手的编号依次是1到89。 通过编号快速找到对应的选手信息。你怎么做？ 可以把这89人的编号跟数组下标对应，查询编号x的人时，只需将下标为x的数组元素取出，时间复杂度就是O(1)。...这是为什么呢？ 查找时，一旦通过线性探测方法，找到一个空闲位置，即可认定散列表不存在该数据。 但若该空闲位置是我们后来删除的，就会导致原来的查找算法失效。本来存在的数据，会被认定为不存在。...当装载因子大到一定程度后，哈希冲突就会令程序窒息，此时资深的程序员们该咋办呢？ 针对hash表，当 loadFactor 过大，可进行动态扩容，新申请更大的hash表，将数据迁移至新hash表。...当装载因子达阈值后，只申请新空间，但并不将老数据搬移到新hash表。 当有新数据插入，将新数据插入新hash表中，并从老原hash表拿出一个数据放入新hash表。...每次插入一个数据到散列表，重复上面过程。 经过多次插入操作之后，原hash表的数据就一点点都迁移至新hash表。这就不会一次性数据搬移，插入操作就都变得很快了。 这期间的查询操作怎么做？
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
云直播
