专栏首页蛋未明的专栏网页实现批量数据导入功能

网页实现批量数据导入功能

场景

       我有一批平铺数据放在txt文件,其量大概在10W条,接下来我们希望将这10W条记录进行切割获取,并且将单条数据分析校验,然后插入到DB中。前提是我们使用的是HTTP文件上传方式来导入数据。现在的问题是:如果用户直接上传,然后我们一条条数据读取、校验并将其插入数据库,这个过程将会耗费非常长的时间(大概在1小时以上),而这么长的时间等待会导致apache、nginx或者浏览器端(一般情况下是60分钟)的超时。那么我们应该如何的解决这个问题呢?

分批次处理

       分批次解决办法意思就是,将文件的大数据转化为多个块,例如10W条分成20块,每块处理5K数据,这样每次处理的时间将会缩短,用户也可以实时的看到交互过程而不至于超时无法知晓结果。

1、使用本地读取文件数据方法,将数据分批次传递到服务端,服务端接手数据后处理返回,客户端获取到执行结果后批次的展示给用户结果。

2、Socket解决办法,服务端和客户端使用socket机制,客户端一次性将文件传递到服务端,服务端接受数据后批次处理,每次处理完成一部分将会通过socket通知前端部分处理结果完成。

       这种方法用户必须在前端等待查看执行结果,如果用户关闭则会导致只上传或者处理了部分数据,当然这种用户可以直接的看到运行过程。

异步过程处理

       异步的解决过程主要是,一次性上传到服务端,服务端接受数据后不立即执行,而是放在一个DB的队列中或者异步执行队列中,当执行完成后通过在DB中回调写入执行过程,而客户端则只需要在用户主动查询时,才会去查询结果。

1、通过使用异步函数,例如Node.js中的一些异步文件读取操作来异步执行,而同步则直接提示用户文件数据正在上传中。

2、通过队列任务模式,如果这种数据上传比较频繁,那么建议是使用队列任务模式,当前端有上传时,就将任务放在任务队列中,而再需要开启一个进程专门的去负责任务的读取以及解析执行过程,执行完成后再写入执行结果。

       这种方法用户无法实时的查看结果,服务端只能通过文件的大小来预估执行结束时间,这种方案的最大优点就是保证文件可以完成的上传和数据导入完成,缺点就是用户无法准确的知道执行结束的时间点。

欢迎提供更好的解决办法。

blog.lovedan.cn

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Node.Js执行原理图引发的思考

    蛋未明
  • [推荐]php编码规范

    蛋未明
  • 兼容IE、新版Chrome、Firefox,实现本地图片等比例缩放预览

    蛋未明
  • 站立潮头、无问西东 | 第二届“大数据在清华”高峰论坛成功举办

    2018年4月27日,由清华-青岛数据科学研究院主办、清数大数据产业联盟协办的第二届“大数据在清华”高峰论坛于主楼接待厅拉开帷幕。此次论坛以“站立潮头、无问西东...

    数据派THU
  • 数据说谎的艺术

    大数据时代,数据被称为新时期的石油,但与石油又不同,其价值的体现很大程度依赖于人的解释,虽然数据本身不会说谎,但这给数据说谎提供了操作空间,具备数据甄别能力对于...

    华章科技
  • 别再吹新零售了,先补点“数据新能源” 再说

    阿里巴巴CEO张勇曾说,大数据如今已经和水电煤等基础能源一样,成为商业领域的“新能源”。在新零售时代,如何收集、分析和应用大数据,用“新能源”驱动商业发展?

    DT数据侠
  • 贵阳数博会展馆 4万平方米展区千家企业N多新奇

    大数据文摘
  • 【数据挖掘】rattle:数据挖掘的界面化操作

    R语言是一个自由、免费、源代码开放的软件,它是一个用于统计计算和统计制图的优秀工具。这里的统计计算可以是数据分析、建模或是数据挖掘等,通过无数大牛提供的软件包,...

    小莹莹
  • Spring Boot的应用启动与关闭

    Spring Boot应用可以打成jar包,其中内嵌tomcat,因此可以直接启动使用。但是在Spring Boot应用启动之前,首先需要进行打包,本文讲述的是...

    Tyan
  • DuplicateFileException: Duplicate files copied in APK META-INF/LICENSEDuplicateFileException: Duplic

    一个会写诗的程序员

扫码关注云+社区

领取腾讯云代金券