首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

实现百万级数据从Excel导入到数据库的方式

它专为处理大数据量和复杂Excel文件进行了优化。EasyExcel在解析Excel时,不会将整个文件一次性加载到内存中,而是按行从磁盘逐个读取数据并解析。...首先进行数据检查,在插入操作检查数据格式等问题,然后在插入过程中处理异常情况。 处理方式多种多样,可通过事务回滚记录日志。...解决思路 所以,总体方案如下: 利用EasyExcel进行Excel数据读取,因其逐行读取数据而非一次性加载整个文件至内存。...经验证,通过上述方案,读取并插入100万条数据的Excel所需时间约为100秒,不超过2分钟。...每读取一条数据后,将其加入列表,在列表累积达到1000条时,执行一次数据库批量插入操作。若插入失败,则进行重试;若多次尝试仍失败,则记录错误日志。

27710
您找到你想要的搜索结果了吗?
是的
没有找到

【工具】一个投行工作十年MM的Excel操作大全

:TAB 2>Excel快捷键之处于END模式时在工作表中移动 打开关闭 END 模式:END 在一行列内以数据块为单位移动:END, 箭头键 移动到工作表的最后一个单元格....,删除选定区域:BACKSPACE 删除插入点右边的字符,删除选定区域:DELETE 删除插入点到行末的文本:CTRL+DELETE 向上下左右移动一个字符:箭头键 移到行首:HOME 重复最后一次操作...:F4 CTRL+Y 编辑单元格批注:SHIFT+F2 由行列标志创建名称:CTRL+SHIFT+F3 向下填充:CTRL+D 向右填充:CTRL+R 定义名称:CTRL+F3 8>Excel快捷键之设置数据格式...:F2 取消单元格编辑栏中的输入项:ESC 编辑活动单元格并清除其中原有的内容:BACKSPACE 将定义的名称粘贴到公式中:F3 完成单元格输入:ENTER 将公式作为数组公式输入:CTRL+SHIFT...+ 连字符 撤消最后一次操作:CTRL+Z 插入空白单元格:CTRL+SHIFT+ 加号 11>Excel快捷键之在选中区域内移动 在选定区域内由上往下移动:ENTER 在选定区域内由下往上移动:SHIFT

3.6K40

CSV文件编辑器——Modern CSV for mac

插入行和列。 删除行和列。 大文件处理 加载数十亿行的文件。 只读模式,可实现更高效的文件处理。 加载文件的速度比 Excel 快 11 倍。...按升序降序对行列进行排序。过滤行列。 可根据您的需要自定义明暗 主题 键盘快捷键您可以根据自己的喜好进行 设置,包括单元格大小、行/列阴影、文本字体等。...Modern CSV Mac功能特点 轻松编辑CSV文件 为什么移动列、复制行拆分单元格会很困难?使用现代 CSV,这很容易。 使用大多数命令,您可以一次对多个行、列单元格进行操作。...事实上,它的加载速度比 Excel 快 11 倍。 您可以自定义的 CSV 编辑器 我们将 Modern CSV 设计为一个易于使用的应用程序。...要更轻松地查看 CSV 文件,您可以设置主题(浅色深色)、更改单元格大小每隔一行一列添加阴影。 对于键盘忍者,我们提供了大多数命令键盘快捷键,您可以根据自己的喜好进行设置。

4.6K30

Excel催化剂功能第10波-快速排列工作表图形对象

文章出处说明 原文在简书上发表,再同步到Excel催化剂微信公众号其他平台上,文章后续有修改和更新将在简书上操作, 其他平台不作同步修改更新,因此建议阅读其他出处的文章时,尽可能跳转回简书平台上查看。...另不变形的图片排列,双击、右击图片会有相应的事件产生,后续谈论插入图片时再详细说明 多图按行排列 & 多图按列排列 上面单图排列操作,只能一次处理一张图形,如果有较多的图形需要调整位置排版,怎么办呢,一个个来处理...1波-工作表导航 - 简书 https://www.jianshu.com/p/d9b2ae29cebe Excel催化剂功能第2波-数字格式设置 - 简书 https://www.jianshu.com.../p/a758ac3e77e2 Excel催化剂功能第3波-与PowerbiDesktop互通互联 - 简书https://www.jianshu.com/p/e05460ad407d Excel催化剂功能第...PowerbiDeskTop中获取数据源 - 简书https://www.jianshu.com/p/21b2ca8fd2b8 Excel催化剂功能第6波-导出PowerbiDesktop模型数据字典

1.4K20

javascript打怪升级--把业务逻辑当练习题做

'2', num3:'3', tot:'6' },{ key:'b', num1:'11', num2:'22', num3:'33', tot:...这个三个数组进行去重再添加进accord,因为一个学生可能不止一次成绩优秀,不止一次获得过奖学金,不止一次获得过三好学生 //这样就方便下面的判断,只要学生的id在accord里面出现两次及以上就符合条件...//str //size-每隔几个字符进行分割 默认3 //delimiter-分割符 默认',' function formatText(str,size,delimiter){ var _str...,避免连表头也插入_data里面 if(index>0){ //往_data插入单元格个值,item[0]相当于excel中的姓名,item[1]就是excel中的联系电话...要求有两个: 1.一个提示列表里面,提示的信息每隔500ms随机展示。 2.同一轮循环里面,一个提示信息只能展示一次3.列表的提示信息全部展示完了,进行下一轮展示。

1.3K10

(ExcelVBA编程入门范例)

这是我第一次偿试对所学知识进行较大规模的整理,希望大家能多提改进意见和建议,以利于改进和提高,也有助于以后的学习和编写出更好的作品呈献给大家。...图00-06:刚打开VBE编辑器时的窗口 可以在“工程资源管理器”中双击任一对象打开代码窗口,或者选择菜单“插入——模块”插入——类模块”来打开代码窗口。...选择VBE菜单“插入——用户窗体”,即可插入一个用户窗体。当插入用户窗体后,在“工程资源管理器”窗口中会出现一个用户窗体对象,“工程属性”窗口显示当前用户窗体的属性,可对相关属性进行设置修改。...此时,会弹出一个警告框,询问在移除模块是否将其导出,可以根据需要进行选择。...2003高级VBA编程宝典 (2)Excel 2003与VBA编程从入门到精通(中文版) (3)巧学巧用Excel 2003 VBA与宏(中文版) (4)ExcelVBA应用程序专业设计实用指南

4.1K20

RPA与Excel(DataTable)

二、Excel操作的注意点 1. 同一个表格中不要存在相同列名的数据; 2. Excel中不能存在外链接; 3....:箭头键 移到行首:Home 重复上一次操作:F4Ctrl+Y 由行列标志创建名称:Ctrl+Shift+F3 向下填充:Ctrl+D 向右填充:Ctrl+R 定义名称:Ctrl+F3 插入超链接:Ctrl...:Ctrl+Shift+Enter 取消单元格编辑栏中的输入:Esc 在公式中,显示“插入函数”对话框:Shift+F3插入点位于公式中公式名称的右侧时,弹出“函数参数”对话框:Ctrl+A 当插入点位于公式中函数名称的右侧时...,插入参数名和括号:Ctrl+Shift+A 将定义的名称粘贴到公式中:F3 用SUM函数插入“自动求和”公式:Alt+=(等号) 将活动单元格上方单元格中的数值复制到当前单元格编辑栏:Ctrl+Shift...:F2 在单元格中换行:Alt+Enter 编辑活动单元格,然后清除该单元格,或在编辑单元格内容时删除活动单元格中的一字符:Backspace 删除插入点右侧的字符删除选定区域:Del 删除插入点到行末的文本

5.7K20

个人永久性免费-Excel催化剂功能第25波-小白适用的文本处理功能

Excel催化剂的系列功能没有相应的撤销功能,没有后悔药可吃,使用请记得对文档进行保存。 ?...因Excel本质是3大类型数据结构:文本、数值、和其他错误、逻辑值等。...用显示转文本后的效果 插入组 前面插入、后面插入也好理解,不细说。 中间插入 特意做了个示例效果,花了不少功夫,如果不记得可查看示例效果的展示,为了小白们,我也是拼了!...鼠标左键双击箭头位置即可复制 系列文章 一文带你全面认识Excel催化剂系列功能 安装过程详解及安装失败解决方法 第1波-工作表导航 第2波-数字格式设置 第3波-与PowerbiDesktop互通互联...Excel催化剂插件使用最新的布署技术,实现一次安装,日后所有更新自动更新完成,无需重复关注更新动态,手动下载安装包重新安装,只需一次安装即可随时保持最新版本!

1.6K30

JavaScript 打怪升级 —— 把业务逻辑当练习题做

这个三个数组进行去重再添加进accord,因为一个学生可能不止一次成绩优秀,不止一次获得过奖学金,不止一次获得过三好学生 //这样就方便下面的判断,只要学生的id在accord里面出现两次及以上就符合条件...//str //size-每隔几个字符进行分割 默认3 //delimiter-分割符 默认',' function formatText(str,size,delimiter){ var _str...$/, function ($0, $1, $2, $3) { return $1 + $2.replace(reg, '$&,') + $3; }) } ?...,避免连表头也插入_data里面 if(index>0){ //往_data插入单元格个值,item[0]相当于excel中的姓名,item[1]就是excel中的联系电话...要求: 一个提示列表里面,提示的信息每隔500ms随机展示。 同一轮循环里面,一个提示信息只能展示一次。 列表的提示信息全部展示完了,进行下一轮展示。

43130

Excel 常用的九十九个技巧 Office 自学教程快速掌握办公技巧

3、多个单元格同时输入选中所有单元格,在编辑栏输入内容,按下组合键【Ctrl+Enter】即可实现多个单元格同时输入。...7、重复上一次输入在单元格中输入内容按回车键进入下一个单元格后,再按组合键【Ctrl+D】即可以快速的重复上一次输入的内容。...11、一次插入多行多列在表格内同时选择多行多列,在选取区域内点击右键,选择【插入】则在选取区域的左侧上方会插入与选中行数列数相同的区域。...62、插入分页符选取要插入的位置 - 页面布局 - 分页符 - 插入分页符。63、隐藏 Excel 工作表界面选取要隐藏的工作表 - 视图 - 隐藏。...64、输入带方框圈的对号和错号选中需要输入的区域,设置字体为【Windings2】,分别输入大写的O、P、R、S、U就是对应的对号和错号。

7K21

Excel表格中最经典的36个小技巧,全在这儿了

目 录 技巧1、单元格内强制换行 技巧2、锁定标题行 技巧3、打印标题行 技巧4、查找重复值 技巧5、删除重复值 技巧6、快速输入对号√ 技巧7、万元显示 技巧8、隐藏0值 技巧9、隐藏单元格所有值。...技巧2、锁定标题行 选取第2行,视图 - 冻结窗格 - 冻结首行(选取第2行 - 冻结窗格)冻结后再向下翻看时标题行始终显示在最上面。 ?...你试着在黄色之外的区域修改插入行/列,就会弹出如下图所示的提示。 ? 技巧29、文字跨列居中显示 如果你不想合并单元格,又想让文字跨列显示。...技巧30、批注添加图片 在制作产品介绍表员工信息表时,常需要添加产品图片和员工照片,这时用批注插入图片是最好的选择。...下面的演示分为两部分: 1 隔行插入空行 2 分类插入空行 注:演示过程中打开定位窗口的组合键是 ctrl + g ?

7.7K21

Excel文件受损基本急救方法四则

2、直接修复法 最新版本的Excel具有直接修复受损文件的功能,大家可以利用Excel新增的“打开并修复”命令,来直接检查并修复Excel文件中的错误,只要单击该命令,Excel就会打开一个修复对话框,...3、偷梁换柱法 遇到无法打开受损Excel文件时,大家可以尝试使用Word程序来打开Excel文件,这种方法是利用Word直接读取Excel文件功能实现的,它通常适用于Excel文件头没有损坏的情况,下面是具体的操作步骤...的提示信息,此时大家可插入Microsoft Office安装盘,来完成该功能的安装任务; (3)接着Word程序会提示大家,是选择整个工作簿还是某个工作表,大家可以根据要恢复的文件的类型来选择; (4...: (1)在菜单栏中依次执行“工具”/“选项”命令,来打开选项设置框; (2)在该设置框中单击“保存”标签,并在随后打开的标签页面中将“禁用自动恢复”复选框取消; (3)选中该标签页面中的“保存自动恢复信息...,每隔X分钟”复选项,并输入指定Excel程序保存自动恢复文件的频率; (4)完成设置后,单击“确定”按钮退出设置对话框。

1.2K140

工作中必会的57个Excel小技巧

Excel小技巧有很多很多,但平时学的都比较零散,学了这个忘了那个。 为了方便同学们学习和收藏,兰色把工作中最常用、最简捷的小技巧进行一次整理,共57个。希望对同学们有所帮助。...2、为文件添加作者信息 在该excel文件图标上右键单击 -属性 -摘要 -在作者栏中输入 3、让多人通过局域网共用excel文件 审阅 -共享工作簿 -在打开的窗口上选中“允许多用户同时编辑...”...视图 -全部重排 -选排列的方向 2、同时查找一个工作簿中的两个工作表 视图 -新建窗口 -全部重排 -选排列方向 3、隐藏显示excel最上面的功能区 Ctrl+F1 4、隐藏excel工作表界面...0000 0000 七、图片处理 1、删除工作表中所有图片 ctrl+g定位 -定位条件 -对象 -删除 2、工作表插入背景图片 页面布局 -背景 -选择插入图片 3插入可以打印的背景 插入 -页眉页脚...2、多页强制打印到一页上 页面布局 -打印标题 -页面 -调整为1页宽1页高 3、按厘米设置行高 视图 -页面布局,在页面布局下行高单位是厘米 4、插入分页符 选取要插入的位置 -页面布局 -分页符 -

4K30

Excel技巧:显示分数的7种方法

标签:Excel技巧 有时候,我们需要在工作表中以分数形式显示数字,然而,Excel不会这样想,它会自动将你输入的分数转换为日期其它形式。本文介绍如何方便地在Excel工作表中显示分数。...图1 注意,如果无法显示精确的分数,Excel会将其四舍五入到最接近的结果;Excel会将分数将自动转换为最小分母,例如4/8将转换为1/2。...例如,在单元格中输入0 3/4后按回车键,Excel会自动将其转换为分数格式,如下图2所示。 图2 注意,如果输入一个没有前导数字的分数,Excel会认为我们需要日期文本。...方法3:固定分数的分母 前面提到过,Excel会自动将分数转换为最小分母。然而,有时我们想要固定分母。例如,固定16为分母的分数。...图6 方法7:设置字体 可以使用指定的字体,来插入文本形式的分数,如下图7所示。单击功能区“插入”选项卡“符号”组中的“符号”,在对话框中选择字体,然后找到合适的符号,单击“插入”。

4K20

个人永久性免费-Excel催化剂功能第40波-工资、年终奖个人所得税计算函数

文章出处说明 原文在简书上发表,再同步到Excel催化剂微信公众号其他平台上,文章后续有修改和更新将在简书上操作, 其他平台不作同步修改更新,因此建议阅读其他出处的文章时,尽可能跳转回简书平台上查看。...也盼望各位在岗的表哥表姐们多多反馈,可能有不足逻辑错误的地方多多指出。...对部分土豪们诉苦纳税好多好重、税后所得没几个钱时,本篇提供了根据纳税金额、税后金额反算税前的扣社保等后的税前收入(税前收入估计还可以除以85%得到真正的扣五险一金的税前工资,个人承担的社保、公积金保守也有...系列文章 一文带你全面认识Excel催化剂系列功能 安装过程详解及安装失败解决方法 第1波-工作表导航 第2波-数字格式设置 第3波-与PowerbiDesktop互通互联 第4波-一大波自定义函数高级应用...Excel催化剂插件使用最新的布署技术,实现一次安装,日后所有更新自动更新完成,无需重复关注更新动态,手动下载安装包重新安装,只需一次安装即可随时保持最新版本!

60430

百万级 Excel导入数据库 效率太低? 基于 SAX 的事件模型 导入,将会解决 效率问题

具体步骤如下: 准备写入的输出流,例如输出到文件内存中。 ​...2.创建 SAX 事件处理程序,通过实现不同的回调函数来处理不同的事件,例如开始解析 Workbook、解析 Cell 的值、结束解析 Workbook 等。...写入缓存的数据,例如每隔一定行数进行一次缓存写入。 需要注意的是,由于使用了 SAX 事件模型,需要自己实现解析事件处理程序。在处理复杂的 Excel 文件时,可能需要编写更为复杂的事件处理程序。...throws SAXException { if (qName.equals("row")) { isRow = false; // 每隔...10000 行进行一次缓存写入 if (rowIndex % 10000 == 0) { ((SXSSFSheet) outSheet).flushRows

13010
领券