展开

关键词

mysql 迁移

MySQL导出的SQL语句在导入时如果时会非常非常慢,经历过导入仅3000万条,用了近30个小时。在导出时合理使用几个参,可以加快导入的速度。 -e 使用多VALUES的INSERT语法; --max_allowed_packet=XXX 客户端服务器之间通信的缓存区的最小; --net_buffer_length=XXX TCPIP和套接字通信缓冲区小 ,创建长度达net_buffer_length的行注意:max_allowed_packet和net_buffer_length不能比目标库的配置,否则可能出错。 ;根值书写mysqldump命令,如: mysql>mysqldump -uroot -p 库名-e --max_allowed_packet=1048576 --net_buffer_length uroot -p test_db -e --max_allowed_packet=1048576 --net_buffer_length=16384 > test_db.sql不生成文件,直接导入到目标

53910

【springboot+easypoi】excel导出

01上次写了一行代码解决导出导入,没看的小伙伴建议先看下《一行代码做Excel导入导出》,但是实际业务中遇到一个问题,如果里比较的时候,例如10w+一次导出,就会出现卡死情况,继续看官方文档, 有导出方法,实现如下@RequestMapping(export)public void export(HttpServletResponse response) { Map params =

1.1K30
  • 广告
    关闭

    90+款云产品免费体验

    提供包括云服务器,云数据库在内的90+款云计算产品。打造一站式的云产品试用服务,助力开发者和企业零门槛上云。

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Oracle 去重实验

    view plain copy-- 环境:64位11.2G -- 一、建立测试表,生成2000万测试,其中200万重复 CREATE TABLE test_t ( id NUMBER (8) NOT ALTER TABLE temp ADD CONSTRAINT temp_pk PRIMARY KEY (id); -- 用时:01:15.79 -- 总用时:12分16秒 -- 方案2:直接删除原表中的重复

    75220

    Mysql 导入程序

    Mysql 导入程序网络上转载许多都有错误,请注意代码的规范和正确性。经测试以下代码是正确无错的,转载请保留版权,尊重程序作者! Copyright 富翁 in im286.com 2005.04.09 ** 转载请注明出处 *******************************************用来快速Mysql的备份使用前请首先按照代码注释修改要导入的 SQL文件名、库主机名、库用户名、密码、库名同时将库文件和本文本一起ftp导网站目录,然后以web方式访问此文件即可落伍(www.im286.com)负翁版权所有,可随意使用,但保留版权信息 $file_name=a.sql; 要导入的SQL文件名$dbhost=localhost; 库主机名$dbuser=anonymous; 库用户名$dbpass=; 库密码$dbname=  $dbhost);连接库mysql_select_db($dbname) or die (不能打开库 $dbname);打开库echo 正在执行导入操作;while($SQL=GetNextSQL

    34320

    Mysql 存储问题

    ❞Mysql 单表适合的最是多少? 我们说 Mysql 单表适合存储的最,自然不是说能够存储的最,如果是说能够存储的最,那么,如果你使用自增 ID,最就可以存储 2^32 或 2^64 条记录了,这是按自增 ID 的类型 int 或 bigint 来计算的;如果你不使用自增 id,且没有 id 最值的限制,如使用足够长度的随机字符串,那么能够限制单表最的就只剩磁盘空间了。 这样将更小。拆分分而治之——没有什么问题不能通过拆分一次来解决,不行就拆多次。Mysql 单表存储的有限。一个解决存储的办法就是分库分表。 统计问题当被分片到不同的库或不同的表中时,要对做一些全局的或涉及的统计时便会遇到一些问题。如求 Max,Min,Sum 等聚合问题。

    46020

    ibatis配置(mysql库) 处理

    一,运用场景:    解析EXCEL的时候,可能比较;我们库中表结构,不需要把原始的EXCEL全都保存下来;这时候可能有一部分,又恰巧要给别处调用一下;我们需要借用一下mysql库的临时表来

    12520

    mysql 的分页优化

    会逐行查找,是先查询再跳过优化思路(1)从业务逻辑不允许翻过100页,例如百度一般可以翻到70页左右(2)技术上select * from table limit 5000000,10 时就很慢了,概需要 4秒多优化方法(1)select * from table where id>5000000 limit 10;这样就非常快,0.02s左右,因为使用了id索引但这样用有前提,id是连续的,中间的不能删

    45550

    Salesforce 处理篇(二)Index

    好多程序最开始跑的是没有问题得,当达到一定比如百万级别以后,可能特别慢,或者更不好的情况下,直接崩溃了。 我们搜索一个自定义表,目前有30万条,因为他是100万条以内,所以如果使用了标准的索引,阈值 = 300000 * 30% = 90000条,也就是说当查询的SQL返回的如果使用标准索引只要返回的在 这里扩充两个对的SOQL比较灾难的两个filter,又常常是我们经常用到的。一个是使用 formula字段进行 filter,一个是使用 null 进行filter。 少的时候OK,当真正达到一定程度,你会发现这两种都是灾难性的。因为这两个默认的都是不带索引的!!! 如果项目中遇到了这两种使用在filter中,并且很庞,找salesforce提support设置索引,salesforce可以针对 null单独设置索引。

    25520

    分批执行封装

    分批执行封装1.1. 前言在执行定时任务的时候,我们常常会有这样的需求,当越来越,可能你一次查询的就会导致内存溢出,所以我们后期往往又要再不断优化,比如分批处理,但分页以后代码往往呈直线上升,且结构混乱更加复杂难懂 ,对此我就想写个封装方法,解决任何的分批库查询1.2. 思路事实上,分页等操作都是固定套路,我们只需要把查询整体及页,还有如何处理每一批抽象出来即可1.3. 总结抽象这样的工具方法,用Java8的lambda表达式,可以节省代码,且不用费心思创建类给它取名字,还是很好用的

    24110

    Confluence 6 针对备份 原

    XML 站点备份的方式只针对 Confluence 包含有几千页面的情况,XML 备份所需要的时间随着的变化而增加。 另外的一个问题是 XML 站点的备份将会包含上 G 的附件,随着的增加,磁盘使用也会显著增加。这是因为每一个 XML 备份都能够用来完全恢复站点。 当你在管理的 Confluence 安装实例的时候,你可以在备份策略中不备份附件,然后你可以手动备份你的 Confluence 附件, 这个附件通常存储在 home directory 目录中或者库 备份管理可以备份至修改的文件来替换备份所有内容,通过这种方式能节省的存储空间。 磁盘使用(Disk Usage)可以通过当前小和备份的频率同时进行评估。

    18130

    Salesforce 处理篇(一)Skinny Table

    随着使用的年限增加,会慢慢增多,比如针对 sales cloud的 account opportunity。 针对service cloud中的 account case。 当我们的达到百万或者千万级别。运行 report listview 会非常的慢,运行report偶尔也会出现超时情况。 因为 Skinny Table 的是只读的,所以针对的Report性能会有显著的提高。 Skinny Table不包含soft-deleted的,比如不包含在回收站的,即使SOQL设置 isDeleted=true在 Skinny Table无法查询出来。2. 总结:针对满足以下条件出现性能问题情况,可以考虑使用 Skinny Table. 使用前需要先确认是否满足这些条件,满足可以考虑使用,如果不满足,则使用其他的方案进行性能优化。

    25210

    ES下的查询优化

    规模很(比如万恶的trace日志)的时候我们有时候会发现第一次访问查询特别慢,可能有几秒钟的样子,然后后面的访问就很快了,这是为啥? 三个字段来搜索 如果你傻乎乎的往es里写入一行所有的字段,就会导致说70%的是不用来搜索的,结果硬是占了es机器上的filesystem cache的空间,单挑,就会导致filesystem 假设我们有6台机器,2个索引,一个放冷,一个放热,每个索引3个shard 3台机器放热index;另外3台机器放冷index 然后这样的话,我们的时候是在访问热index,热可能就占总的 但是对于冷而言,是在别的index里的,跟热index都不再相同的机器上,家互相之间都没什么联系了。 如果有人访问冷,可能是在磁盘上的,此时性能差点就差点吧,就10%的人去访问冷;90%的人在访问热

    8220

    下的集合过滤—Bloom Filter

    此时需要考虑解决的问题就是,在比较的情况下,既满足时间要求,又满足空间的要求。即我们需要一个时间和空间消耗都比较小的结构和算法。Bloom Filter就是一种解决方案。 在使用bloom filter时,绕不过的两点是预估n以及期望的误判率fpp,在实现bloom filter时,绕不过的两点就是hash函的选取以及bit组的小。 对于一个确定的场景,我们预估要存的为n,期望的误判率为fpp,然后需要计算我们需要的Bit组的小m,以及hash函的个k,并选择hash函(1)Bit小选择      根预估 (2)哈希函选择           由预估n以及bit组长度m,可以得到一个hash函的个k:?            这个过程的实现在两个地方:将放入bloom filter中判断是否已在bloom filter中这两个地方的实现同小异,区别只是,前者是put,后者是查

    90050

    获取TopK的几种方案

    一:介绍    生活中经常会遇到求TopK的问题,在小的情况下可以先将所有排序,最后进行遍历。 但是在情况下,这种的时间复杂度最低的也就是O(NlogN)此处的N可能为10亿这么字,时间复杂度过高,那么什么方法可以减少时间复杂度呢,以下几种方式,与家分享。 二:局部淘汰法 -- 借助“冒泡排序”获取TopK 思路: 可以避免对所有进行排序,只排序部分 冒泡排序是每一轮排序都会获得一个最值,则K轮排序即可获得TopK 时间复杂度空间复杂度 时间复杂度: 时间复杂度:每次对K个元素进行建堆,时间复杂度为:O(KlogK),加上N-K次的循环,则总时间复杂度为O((K+(N-K))logK),即O(NlogK),其中K为想要获取的TopK的N为总 ,代码内每一步都有注释便于理解 import java.util.Arrays; *** 通过堆这种结构* 获得中的TopK* public class TopKStack { public

    35120

    下的集合过滤—Bloom Filter

    此时需要考虑解决的问题就是,在比较的情况下,既满足时间要求,又满足空间的要求。即我们需要一个时间和空间消耗都比较小的结构和算法。Bloom Filter就是一种解决方案。 在使用bloom filter时,绕不过的两点是预估n以及期望的误判率fpp,在实现bloom filter时,绕不过的两点就是hash函的选取以及bit组的小。 对于一个确定的场景,我们预估要存的为n,期望的误判率为fpp,然后需要计算我们需要的Bit组的小m,以及hash函的个k,并选择hash函(1)Bit小选择   根预估n以及误判率 (2)哈希函选择 由预估n以及bit组长度m,可以得到一个hash函的个k:? 哈希函的选择对性能的影响应该是很的,一个好的哈希函要能近似等概率的将字符串映射到各个Bit。 这个过程的实现在两个地方:将放入bloom filter中判断是否已在bloom filter中这两个地方的实现同小异,区别只是,前者是put,后者是查

    40210

    下求N=a+b的组合

    题目:组A由1000W个随机正整(int)组成,设计算法,给定整n,在A中找出符合如下等式:n=a+b的a和b,说明算法思路以及时间复杂度是多少? 方法一:设一个辅助容器temp长度为N+1 遍历A,将A中小于等于N的字填入temp,具体的表现在temp中就是,其下标就是其位置元素的小 填完之后,遍历temp,找出i位置和n-i位置不为空的,而且这里要防止重复代码 : public void printNequalAB(int[] arr,int N){ 组A由1000W个随机正整(int)组成,设计算法,给定整n, 在A中找出符合如下等式:n=a+b的a

    6820

    下求最的K个问题

    思路:维护一个容为k的小根堆,以流的方式读取,向堆中添加 如果小根堆没满直接填 满了之后比较当前读取和堆顶组,如果当前,弹出堆顶,添加注意:对于问题如果有多台机器也可以分割文件分别取最的 public static void main(String arr=new int arr, PriorityQueue queue){ for(int i=0;iqueue.peek()){如果当前于小根堆最小

    6720

    Mysql 高并发的库优化

    Mysql 高并发的库优化一、库结构的设计 如果不能设计一个合理的库模型,不仅会增加客户端和服务器段程序的编程和维护的难度,而且将会影响系统实际运行的性能。 (例如:对外统计系统在7月16日出现 的异常的情况,并发的的访问造成,库的响应时间不能跟上刷新的速度造成。 在比较小的情况下,也许看不出明显的差别,但是当的情况下,这种情况就是极为糟糕的了。 15.在新建临时表时,如果一次性插入,那么可以使用 select into 代替 create table,避免造成 log ,以提高速度;如果,为了缓和系统表的资源,应先create 18.尽避免事务操作,提高系统并发能力。 19.尽避免向客户端返回,若,应该考虑相应需求是否合理。 20. 避免使用不兼容的类型。

    5940

    【干货】下,58同城mysql实践!

    WOT(World Of Tech)2015,互联网运维与开发者会将在北京举行,会上58同城将分享《下,58同城mysql实战》的主题,干货分享抢先看。   4)分片+分组,这是下,架构的实际情况?  二、下,mysql常见问题及解决思路  1)常见问题  如何保证可用性?  各色各异的读写比,怎么办?  如何做无缝倒库,加字段,扩容?   ,怎么解决?   a)服务双写  b)倒库  c)倒库完毕+校验  d)切库  2.4)解决思路:拆库  三、库拆库实战  四类场景覆盖99%拆库业务  a)“单key”场景,用户库如何拆分: user( 3.2)双写   4),解决思路是分片(拆库)   《四类拆库思路》   1)用户库,“单key”场景使用“单key”拆库   2)帖子库,“1对多”场景使用“1”分库,例如帖子库1个uid

    48690

    Windows Server AppFabric Caching支持的配置

    Memcache支持的小为1M,最新版本可以通过配置调整突破1M(参看http:www.cnblogs.comshanyouarchive201002011661271.html),AppFabric Caching也支持的缓存。 当你看到这样的错误的时候就需要调整参了。

    26690

    相关产品

    • 智能扫码

      智能扫码

      智能扫码(IS)为您提供便捷快速的扫码 SDK 服务,提供微信同款扫码服务,智能、快速、稳定、安全。智能扫码针对多码、大图小码、模糊识别等不同场景做了针对性的优化,提供最精准最快速的扫码服务。

    相关资讯

    热门标签

    扫码关注云+社区

    领取腾讯云代金券